一、準備工作

• 伺服器：最好是多臺，大於等於2
• 已經搭建好的zookeeper叢集
• 下載軟體kafka_2.11-0.10.0.1.tgz

二、建立目錄

#建立目錄
cd /opt/
mkdir kafka #建立專案目錄
cd kafka
mkdir kafkalogs #建立kafka訊息目錄，主要存放kafka訊息

#解壓軟體
tar -zxvf kafka_2.11-0.10.0.1.tgz

三、修改配置檔案

進入到config目錄

cd /opt/kafka/kafka_2.11-0.10.0.1/config/

主要關注：server.properties 這個檔案即可，我們可以發現在目錄下：

有很多檔案，這裡可以發現有Zookeeper檔案，我們可以根據Kafka內帶的zk叢集來啟動，但是建議使用獨立的zk叢集。

connect-console-sink.properties     log4j.properties
connect-console-source.properties   producer.properties
connect-distributed.properties      server.properties
connect-file-sink.properties        server1.properties
connect-file-source.properties      server2.properties
connect-log4j.properties        server3.properties
connect-standalone.properties       tools-log4j.properties
consumer.properties         zookeeper.properties

修改配置檔案：

broker.id=0  #當前機器在叢集中的唯一標識，和zookeeper的myid性質一樣
port=19092 #當前kafka對外提供服務的埠預設是9092
host.name=192.168.7.100 #這個引數預設是關閉的，在0.8.1有個bug，DNS解析問題，失敗率的問題。
num.network.threads=3 #這個是borker進行網路處理的執行緒數
num.io.threads=8 #這個是borker進行I/O處理的執行緒數
log.dirs=/opt/kafka/kafkalogs/ #訊息存放的目錄，這個目錄可以配置為“，”逗號分割的表示式，上面的num.io.threads要大於這個目錄的個數這個目錄，如果配置多個目錄，新建立的topic他把訊息持久化的地方是，當前以逗號分割的目錄中，那個分割槽數最少就放那一個
socket.send.buffer.bytes=102400 #傳送緩衝區buffer大小，資料不是一下子就傳送的，先回儲存到緩衝區了到達一定的大小後在傳送，能提高效能
socket.receive.buffer.bytes=102400 #kafka接收緩衝區大小，當資料到達一定大小後在序列化到磁碟
socket.request.max.bytes=104857600 #這個引數是向kafka請求訊息或者向kafka傳送訊息的請請求的最大數，這個值不能超過java的堆疊大小
num.partitions=1 #預設的分割槽數，一個topic預設1個分割槽數
log.retention.hours=168 #預設訊息的最大持久化時間，168小時，7天
message.max.byte=5242880  #訊息儲存的最大值5M
default.replication.factor=2  #kafka儲存訊息的副本數，如果一個副本失效了，另一個還可以繼續提供服務
replica.fetch.max.bytes=5242880  #取訊息的最大直接數
log.segment.bytes=1073741824 #這個引數是：因為kafka的訊息是以追加的形式落地到檔案，當超過這個值的時候，kafka會新起一個檔案
log.retention.check.interval.ms=300000 #每隔300000毫秒去檢查上面配置的log失效時間（log.retention.hours=168 ），到目錄檢視是否有過期的訊息如果有，刪除
log.cleaner.enable=false #是否啟用log壓縮，一般不用啟用，啟用的話可以提高效能
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183 #設定zookeeper的連線埠

四、啟動Kafka叢集

1.啟動服務

#從後臺啟動Kafka叢集（3臺都需要啟動）
cd
/opt/kafka/kafka_2.11-0.10.0.1//bin #進入到kafka的bin目錄 
./kafka-server-start.sh -daemon ../config/server.properties

2.檢查服務是否啟動

#執行命令jps
20348 Jps
4233 QuorumPeerMain
18991 Kafka

3.建立topic

#建立Topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 1 --topic meinv
#解釋
--replication-factor 2   #複製兩份
--partitions 1 #建立1個分割槽
--topic #主題為meinv

'''在一臺伺服器上建立一個釋出者'''
#建立一個broker，釋出者
./kafka-console-producer.sh --broker-list 192.168.7.100:19092 --topic meinv

'''在一臺伺服器上建立一個訂閱者'''
./kafka-console-consumer.sh --zookeeper localhost:12181 --topic meinv --from-beginning