Kafka 部署指南-好久沒有更新部落格了

尚墨發表於2018-08-10
Kafka

最近到了一家新公司，很多全新技術棧要理解。每天都在看各類 English Offcial Document，我的宗旨是我既然看懂了，就寫下來分享，這是第一篇。

基本需求：

1、已有 zookeeper 叢集
2、kafka 搭建請務必準備三臺伺服器

步驟：

1、下載所需要版本的 kafka 
2、上傳伺服器解壓
tar xzvf kafka_2.11-1.1.0.tgz
3、修改配置檔案

broker.id=1    # 必改項

num.network.threads=3    # 網路請求執行緒數

num.io.threads=8    # IO執行緒數

num.partitions=3    # 每個 topic 的分割槽數

log.dirs=/home/kafka/kafka-log    # kafka topic資料存放地址

log.retention.hours=72    # 資料儲存小時數，預設是168

zookeeper.connect=192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181

zookeeper.connection.timeout.ms=6000    # zookeeper 連線超時時間

 

4、啟動 kafka

kafka/bin/kafka-server-start.sh kafka/config/server.properties

 

部署完成後的工作：

# 建立主題

kafka/bin/kafka-topics.sh –create –zookeeper 192.168.1.162:2181 –replication-factor 1 –partitions 1 –topic opstest

# 生產者生產資料

kafka/bin/kafka-console-producer.sh –broker-list 192.168.1.163:9092 –topic opstest

# 消費者消費資料

kafka/bin/kafka-console-consumer.sh –zookeeper 192.168.1.173:2181 –topic opstest –from-beginning

 

相關文章