Kafka Eagle V1.3.4更新預覽

哥不是小蘿莉發表於2019-07-14

1.概述

Kafka Eagle是一款開源的Kafka叢集監控系統，原始碼託管在Github。目前Kafka Eagle已更新到V1.3.4版本，域名已經統一更新為http://www.kafka-eagle.org/，之前的下載地址和官網使用手冊地址均已替換，例如http://download.smartloli.org/替換為http://download.kafka-eagle.org/，而使用手冊地址http://ke.smartloli.org/替換為https://docs.kafka-eagle.org/。今天，筆者就帶著大家來整體分析一下Kafka Eagle。

2.內容

Kafka Eagle迭代至今，以及整合了許多功能，例如：多叢集管理、Topic大小統計、Topic MBean監控、Kafka多版本相容、Flink消費者應用程式支援等。

2.1 Kafka Eagle

2.1.1 背景

Kafka Eagle設計的背景，有以下幾點原因：

Apache Kafka官方沒有提供監控系統或是Web頁面，來視覺化Kafka叢集，這對管理和掌握Kafka的動態帶來極大的不方便，而開發者和運維人員無法及時把握Kafka的狀態，在定位分析一些問題的時候，會很不方便
已有的監控工具功能較少，對於現有的Kafka監控工具，功能較少，達不到想要的監控和管理效果
已有的監控工具使用難度較大，目前一些監控工具均需要自己編譯原始碼，而且在配置上很複雜，同時文件說明也沒有統一的規範，使用起來很不方便
告警支援不足，有些監控工具雖然支援郵件告警，但是，對於已有的IM支援比較欠缺，例如微信和釘釘的支援等

2.1.2 架構和核心模組

Kafka Eagle核心模組包含如下：

皮膚視覺化
主題管理，包含建立主題、刪除主題、主題列舉、主題配置、主題查詢等
消費者應用：對不同消費者應用進行監控，包含Kafka API、Flink API、Spark API、Storm API、Flume API、LogStash API等
叢集管理：包含對Kafka叢集和Zookeeper叢集的詳情展示，其內容包含Kafka啟動時間、Kafka埠號、Zookeeper Leader角色等。同時，還有多叢集切換管理，Zookeeper Client操作入口
叢集監控：包含對Broker、Kafka核心指標、Zookeeper核心指標進行監控，並繪製歷史趨勢圖
告警功能：對消費者應用資料積壓情況進行告警，以及對Kafka和Zookeeper監控度進行告警。同時，支援郵件、微信、釘釘告警通知
系統管理：包含使用者建立、使用者角色分配、資源訪問進行管理

Kafka Eagle架構組成如下所示：

視覺化：負責展示主題列表、叢集健康、消費者應用等
採集器：資料採集的來源包含Zookeeper、Kafka JMX & 內部Topic、Kafka API（這裡API針對Kafka 2.x以後的版本進行升級）
資料儲存：目前Kafka Eagle儲存採用MySQL或SQLite，資料庫和表的建立均是自動完成的，按照官方文件進行配置好，啟動Kafka Eagle就會自動建立，用來儲存後設資料和監控資料
監控：負責見消費者應用消費情況（是否有資料積壓）、叢集健康狀態（叢集節點是否掉線）
告警：對監控到的異常進行告警通知，支援郵件、微信、釘釘等方式
許可權管理：對訪問使用者進行許可權管理，對於管理員、開發者、訪問者等不同角色的使用者，分配不用的訪問許可權

2.1.3 選擇Kafka Eagle有哪些好處

選擇Kafka Eagle有哪些好處呢？首先Kafka Eagle安裝使用非常方便，這也是Kafka Eagle設計的初衷之一；其次，Kafka Eagle提供了友好的使用者互動介面，以及豐富的功能支援。同時，對於使用過程中遇到的BUG和問題，可以在QQ群中進行諮詢以及在Github原始碼中提issues。總計如下：