阿里雲雙11訪談之Elasticsearch

摘要：阿里雲宣佈與Elastic公司建立了合作伙伴關係，並在雲棲大會上聯合釋出阿里雲Elasticsearch產品。在阿里雲雙11訪談Elasticsearch專場中，阿里雲大資料Elasticsearch資深產品經理洪陽為大家簡單介紹了阿里雲Elasticsearch的基本情況，並且分享了阿里雲Elasticsearch的優勢以及在日誌處理分析、搜尋以及安全等領域實際應用。

雙11第一波，紅包領不停，點選看詳情：https://promotion.aliyun.com/ntms/act/pre20171111.html

以下內容根據訪談視訊整理而成。

阿里雲Elasticsearch簡介
阿里雲Elasticsearch是阿里雲投入了大量資源開發的重磅產品。在杭州雲棲大會期間，阿里雲與Elasticsearch官方進行了聯合釋出，在雲棲大會上，Elasticsearch的創始人、Elastic 公司CEO Shay Banon也不遠萬里親臨現場與大家分享他與Elasticsearch共同經歷的那段歷史，他表示非常期待Elasticsearch社群能夠在中國與阿里雲碰撞出不同的火花。目前阿里雲Elasticsearch產品已經正式商業化了，大家可以登入阿里雲官方獲取關於Elasticsearch的更詳細資訊。

接下來分享一下阿里雲Elasticsearch的功能和特性。目前很多使用者都在ECS上自建了Elasticsearch，與這種自建的方案相比，阿里雲的Elasticsearch在剛開始定義這款產品的時候都沒有打算更換新名字，最主要的原因就是希望能夠基於Elasticsearch的一整套開源技術棧去實現雲化處理，進而為使用者提供服務。所以阿里雲Elasticsearch產品的底層是與開源社群實現了完全匹配的，大家可以理解成與開源社群完全相容。在此基礎之上，阿里雲Elasticsearch本身還提供了Kibana以及X-Pack這樣商業化外掛的預置，為了使使用者的使用更加順暢，還提供了像ik等的分詞外掛。因為在使用者長期的使用過程當中，隨著業務不斷髮展的過程往往會涉及到儲存的彈性擴容的需求，阿里雲Elasticsearch對於這些都基於阿里雲的底層平臺進行了處理，所以相對於自建而言，阿里雲Elasticsearch在這些方面會節約了大量的運維和部署成本。同時，阿里雲與Elasticsearch官方進行了戰略合作，Elasticsearch官方會提供7*24小時的技術支援，所以相比於自建而言，阿里雲Elasticsearch在售後方面也具有非常大的優勢。總結而言，阿里雲Elasticsearch產品有三個亮點：功能更加豐富、成本更加低廉、能夠提供更多服務支援。

阿里雲Elasticsearch產品在日誌分析領域的應用
目前，無論是在國內還是國外，Elasticsearch的應用場景其實都是非常廣的，很多中小型公司甚至一些大型的公司都在使用ELK框架，而ELK框架所解決的核心問題就是日誌分析。大家在做日誌分析的時候通常都會遇到幾個比較棘手的問題，比如在日誌收集和儲存方面，一般而言像異構資料來源太多，對接的資料搬遷任務比較重的時候也會涉及到很多的適配性問題，這也是比較痛苦的。而且ELK框架中的Logstash其實是可以做具有較高適配性的資料同步功能的，對於關係型資料庫以及增量資料和離線資料的搬遷都是有非常好的支援的，包括與非常火的Hadoop之間也存在ES-Hadoop外掛做雙向的資料搬遷的工作，所以在這個方面Elasticsearch還是比較強大的。

此外，在日誌處理上面還會涉及到搜尋。對於日誌搜尋而言，Elasticsearch本身提供全文檢索的能力是非常強大的。另外Elasticsearch還能夠提供後設資料或者指標搜尋這樣的功能。Elasticsearch本身還能夠提供基於地理座標的搜尋能力，現在很多基於地圖這部分的場景的搜尋也是可以應用到的。在日誌搜尋之後還會有一些分析等的需求，一般而言，無論是使用Hadoop進行分析還是使用關係型資料庫進行分析都是可以的，Elasticsearch的框架裡面也提供了很多強大的聚合分析能力。在Elasticsearch 5.X版本中，X-Pack外掛還提供了更為豐富的資料視覺化以及機器學習的功能，在資料分析以及挖掘方面還是可以提供給大家很多能力的。除此之外，在日誌分析的結果出來之後，對於檢視許可權以及安全管控部分，阿里雲的Elasticsearch整合了X-Pack，並且還提供了一個RDBC模型的許可權管控的能力。最後因為阿里雲具有彈性伸縮的優勢，使用者不需要去關心業務增長過程當中去採購機器、採購節點再進行資料備份等繁瑣的問題。總而言之，阿里雲Elasticsearch的這些優點就剛好將日誌分析場景下的訴求全部解決掉了。

阿里雲Elasticsearch的實際落地
在像共享單車、共享汽車等這樣的很多使用者的業務場景中都會涉及到地理位置資訊，比如每個使用者消費的時候都會產生一些經緯度、路線以及支付方式等資料。一般情況下，大部分公司都會有一些訴求，希望看到某個區域內在某個時間點的資料是怎樣的，那麼Elasticsearch本身就可以去支援的。當這些資料歸檔到Elasticsearch中成為索引之後，無論是基於地理資訊進行搜尋還是進行全文匹配，還是基於關鍵字去做搜尋最終形成一些聚合的資料包表出來都是非常方便的。

阿里雲Elasticsearch在安全領域的應用
在安全領域，阿里雲Elasticsearch也是在日誌部分表現出非常強大的處理能力。在安全方面，一般分為事前的安全監控和預處理、事中的阻斷侵入以及異常檢測、事後的對於日誌進行安全審計和有效資訊的挖掘。我們可以使用Elasticsearch在事前監控一些埠，因為資料是實時的，所以可以進行實時的監控資料展現；在事中，使用Elasticsearch可以非常方便地實現安全事件分析和流量統計，並且能夠非常迅速地給出反饋；在事後，還可以通過Elasticsearch對於安全日誌進行審計檢查以及搜尋，還可以進行深度的挖掘和資訊探查進而獲得更好的結果反饋。所以Elasticsearch在安全領域也能夠得到很好的利用。

阿里雲Elasticsearch在搜尋領域的應用
上面一直在談論日誌分析，其實大家都瞭解Elasticsearch也是一款搜尋產品，其實在搜尋場景下，Elasticsearch是一個老牌的服務，其全文檢索的能力也是非常強大的。而阿里雲的Elasticsearch攜帶了中文領域最火的ik分詞，使用者就可以基於這個分詞外掛做一些簡單的中文的索引。接下來，阿里雲Elasticsearch也會很快推出基於ik的自定義分詞庫，使用者可以將專業場景的分詞庫預置到Elasticsearch裡面去，獲得更好的查詢效果。

OpenSearch與Elasticsearch
提到全文檢索，大家也都知道阿里雲還有一款重磅產品叫做OpenSearch，這款產品是基於阿里巴巴淘系十多年來的搜尋業務自己研發的產品。而很多使用者都有一些困惑，就是如何在特定的場景下取捨OpenSearch和Elasticsearch。

其實OpenSearch和Elasticsearch這兩款產品之間的定位雖然存在一定的重合，但是卻不存在任何衝突。OpenSearch是阿里巴巴自研的，走的是阿里巴巴自己的技術棧，本身因為阿里巴巴主棧多年搜尋經驗的積累沉澱，OpenSearch會有很多比較優化的相關演算法提供給使用者，基於這些演算法就能夠使使用者獲得比較好的搜尋結果。在未來的整體規劃中，OpenSearch依然會在搜尋場景上繼續走下去，未來會提供一些個性化的搜尋推薦，還會做一些相關行業的分詞庫提供給大家。而Elasticsearch產品的定位在日誌分析和搜尋，未來阿里雲Elasticsearch會背靠生態在日誌分析、挖掘以及視覺化展現方面做更多的工作和努力，還會打通阿里雲上的儲存裝置以及資料庫產品之間資料的流通，更快地讓阿里雲上的客戶的資料能夠被Elasticsearch實現快速索引並提供服務。未來Elasticsearch也會在多可用區、服務穩定性、成本節約以及安全方面投入更多的精力，儘可能地降低使用者的使用成本並提高使用體驗和安全性。所以OpenSearch和Elasticsearch這兩款產品之間並不會有很大的衝突。

阿里雲Elasticsearch的“雙11”特惠

目前阿里雲Elasticsearch已經處於公開售賣階段了，如果大家想要獲得阿里雲Elasticsearch這款產品可通過兩個途徑，一個是通過阿里雲官網Elasticsearch服務頁面，另外一個就是可以在阿里雲大資料產品欄目中找到。在本次“雙11”活動中，阿里雲Elasticsearch也會為使用者提供最大的優惠，請大家把握住本次機會。此外，因為阿里雲與Elasticsearch官方達成了戰略合作，未來也會邀請Elasticsearch資深專家為大家進行服務支援，並且也會舉辦技術培訓等線下活動，具體情況請關注Elasticsearch產品的相關公告。

雙11第一波，紅包領不停，點選看詳情：https://promotion.aliyun.com/ntms/act/pre20171111.html