ELK在大資料運維中，有哪些作用？

ELK是Elasticsearch、Logstash、Kibana的簡稱，這三者是核心套件，但並非全部。後文的四種基本架構中將逐一介紹應用到的其它套件。

 

Elasticsearch是實時全文搜尋和分析引擎，提供蒐集、分析、儲存資料三大功能；是一套開放REST和JAVA API等結構提供高效搜尋功能，可擴充套件的分散式系統。它構建於Apache Lucene搜尋引擎庫之上。

 

Logstash是一個用來蒐集、分析、過濾日誌的工具。它支援幾乎任何型別的日誌，包括系統日誌、錯誤日誌和自定義應用程式日誌。它可以從許多來源接收日誌，這些來源包括 syslog、訊息傳遞（例如 RabbitMQ）和JMX，它能夠以多種方式輸出資料，包括電子郵件、websockets和Elasticsearch。

 

Kibana是一個基於Web的圖形介面，用於搜尋、分析和視覺化儲存在 Elasticsearch指標中的日誌資料。它利用Elasticsearch的REST介面來檢索資料，不僅允許使用者建立他們自己的資料的定製儀表板檢視，還允許他們以特殊的方式查詢和過濾資料。

 

在海量日誌系統的運維中，以下幾個方面是必不可少的：

1、分散式日誌資料集中式查詢和管理

 

2、系統監控，包含系統硬體和應用各個元件的監控

 

3、故障排查

 

4、安全資訊和事件管理

 

5、報表功能 gendan5.com/swiftcode.html

 

注意： ELK本身對POWER系統，還有IBM JAVA支援有一定侷限性，不過IBM Platform團隊已經將這些問題一一解決，使之可以完美地整合於多個平臺。除此之外，IBM Platform將ELK和IBM Platform Cluster Manager、IBM Platform EGO整合於一體。

 

用於 ELK自動部署和管理，有效提高了ELK的部署和管理效率。並對IBM Platform Converge、IBM Platform Conductor（包括Spark）提供監控和Dashboard等功能。