雅虎開源的Kafka叢集管理器(Kafka Manager)

五柳-先生發表於2015-12-09
Kafka

Kafka在雅虎內部被很多團隊使用,媒體團隊用它做實時分析流水線,可以處理高達20Gbps(壓縮資料)的峰值頻寬。
　　為了簡化開發者和服務工程師維護Kafka叢集的工作，構建了一個叫做Kafka管理器的基於Web工具，叫做 Kafka Manager。這個管理工具可以很容易地發現分佈在叢集中的哪些topic分佈不均勻，或者是分割槽在整個叢集分佈不均勻的的情況。它支援管理多個叢集、選擇副本、副本重新分配以及建立Topic。同時，這個管理工具也是一個非常好的可以快速瀏覽這個叢集的工具。
　　該軟體是用Scala語言編寫的。目前(2015年02月03日)雅虎已經開源了Kafka Manager工具。這款Kafka叢集管理工具主要支援以下幾個功能：
　　1、管理幾個不同的叢集；
　　2、很容易地檢查叢集的狀態(topics, brokers, 副本的分佈, 分割槽的分佈)；
　　3、選擇副本；
　　4、產生分割槽分配(Generate partition assignments)基於叢集的當前狀態；
　　5、重新分配分割槽。
　　以下是該叢集管理工具的截圖：





　　該軟體安裝需要條件如下：
　　1、Kafka 0.8.1.1或 0.8.2-beta
　　2、sbt 0.13.x
　　3、Java 7+
　　系統配置
　　系統最少需要配置zookeepe叢集的地址，可以在kafka-manager安裝包的conf目錄下面的application.conf檔案中進行配置。例如：

01 /**
02  * User: 過往記憶
03  * Date: 15-02-05
04  * Time: 上午02:30
05  * bolg: http://www.iteblog.com
06  * 本文地址：http://www.iteblog.com/archives/1264
07  * 過往記憶部落格，專注於hadoop、hive、spark、shark、flume的技術部落格，大量的乾貨
08  * 過往記憶部落格微信公共帳號：iteblog_hadoop
09  */
10  
11 kafka-manager.zkhosts="www.iteblog.com:2181"

　　部署kafka manager
　　下面的命令可以建立一個zip壓縮包，而這個壓縮包可以用來部署該應用：

01 /**
02  * User: 過往記憶
03  * Date: 15-02-05
04  * Time: 上午02:30
05  * bolg: http://www.iteblog.com
06  * 本文地址：http://www.iteblog.com/archives/1264
07  * 過往記憶部落格，專注於hadoop、hive、spark、shark、flume的技術部落格，大量的乾貨
08  * 過往記憶部落格微信公共帳號：iteblog_hadoop
09  */
10  
11 sbt clean dist

　　生成環境的部署情況可以檢視play framework 的官方文件。github下載地址請看這裡：
點選這下載該專案原始碼

尊重原創，轉載請註明： 轉載自過往記憶（http://www.iteblog.com/）
本文連結地址: 《雅虎開源的Kafka叢集管理器(Kafka Manager)》（http://www.iteblog.com/archives/1264）

相關文章