Linux安裝Kafka

dalaoyang發表於2018-12-23
LinuxKafka

本文介紹Linux安裝Kafka。

1.Kafka簡介

Kafka也是開源與Apache開源基金會的專案，由Scala和Java編寫。Kafka是一種高吞吐量的分散式釋出訂閱訊息系統。

Linux安裝Kafka

在百度百科是這樣介紹的：

Kafka是由Apache軟體基金會開發的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的分散式釋出訂閱訊息系統，它可以處理消費者規模的網站中的所有動作流資料。 這種動作（網頁瀏覽，搜尋和其他使用者的行動）是在現代網路上的許多社會功能的一個關鍵因素。 這些資料通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 對於像Hadoop的一樣的日誌資料和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的並行載入機制來統一線上和離線的訊息處理，也是為了通過叢集來提供實時的訊息。

Kafka官網地址為：kafka.apache.org/，感興趣的可以多多檢視官網文件。

2.準備工作

2.1 安裝環境

本文所安裝的Kafka為2.10版本，Linux系統版本為CentOS 7.2，使用Zookeeper是Kafka自帶的，安裝目錄為/usr/local/software/。

2.2 準備工具

1.Java

Kafka是依賴Java環境執行，所以需要在Linux系統內安裝Java環境。

2.安裝Kafka

步驟大致分為如下幾步：

2.1 下載Kafka

wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
複製程式碼

2.2 解壓Kafka

tar -zxvf kafka_2.10-0.10.2.1.tgz 
複製程式碼

2.3 進入配置檔案目錄

cd /usr/local/software/kafka_2.10-0.10.2.1/config
複製程式碼

2.4 修改配置檔案server.properties，新增下面內容：

broker.id=0
port=9092 #埠號
host.name=172.30.0.9 #伺服器IP地址，修改為自己的伺服器IP
log.dirs=/usr/local/logs/kafka #日誌存放路徑，上面建立的目錄
zookeeper.connect=localhost:2181 #zookeeper地址和埠，單機配置部署，localhost:2181
複製程式碼

2.5 編寫啟動指令碼

vi kafkastart.sh
複製程式碼
#啟動zookeeper
/usr/local/software/kafka_2.10-0.10.2.1/bin/zookeeper-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒後執行
sleep 3 
#啟動kafka
/usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &
複製程式碼

2.6 編寫關閉指令碼

vi kafkastop.sh
複製程式碼
#關閉zookeeper
/usr/local/software/kafka_2.10-0.10.2.1/bin/zookeeper-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒後執行
sleep 3 
#關閉kafka
/usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &
複製程式碼

2.7 啟動指令碼，關閉指令碼賦予許可權

chmod 777 kafkastart.sh
複製程式碼
chmod 777 kafkastop.sh
複製程式碼

3.安裝問題

安裝Kafka過程中沒有遇到太大的問題，一路輸入就通過了。

4.視覺化管理頁面安裝

kafka官網地址：github.com/linkedin/ka…，執行比較簡單，只是一個可執行jar（KafkaOffsetMonitor-assembly-0.2.1.jar）。

4.1 編寫啟動指令碼

java -Xms128M -Xmx128M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=128m -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8787 --refresh 10.seconds --retain 7.days 1>/usr/local/software/kafka-monitor/stdout.log 2>/usr/local/software/kafka-monitor/stderr.log &
複製程式碼

5.總結

以上安裝都是經過本人親測可用的，安裝過程還是比較簡單。

相關文章