Kafka學習之（六）搭建kafka叢集

OldBoy~發表於2018-02-15
Kafka

想要搭建kafka叢集，必須具備zookeeper叢集，關於zookeeper叢集的搭建，在Kafka學習之（五）搭建kafka叢集之Zookeeper叢集搭建部落格有說明。需要具備兩臺以上裝有zookeeper的伺服器，其次，穩定可靠的kafka版本，本篇使用kafka_2.11-0.9.0.1。

準備

192.168.244.131、192.168.244.133、192.168.244.134，kafka下載地址 https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz（wget下載）

建立目錄並解壓

我習慣把壓縮包下載到/usr/local/src下，然後我把下載好的kafka tag包做了目錄拷貝。

# cd /usr/local
# mkdir kafka
# cd kafka 
# mkdir kafkalogs
# cp /usr/local/kafka......tar.gz /usr/local/kafka

編輯配置檔案

cd /usr/local/kafka/kafka_2.11-0.9.0.1/config/  //進入config目錄

主要關注：server.properties 這個檔案即可，我們可以發現在目錄下：
有很多檔案，這裡可以發現有Zookeeper檔案，我們可以根據Kafka內帶的zk叢集來啟動，但是建議使用獨立的zk叢集。

broker.id=0  #當前機器在叢集中的唯一標識，和zookeeper的myid性質一樣
port=19092 #當前kafka對外提供服務的埠預設是9092，這裡改大
host.name=192.168.244.131 #這個引數預設是關閉的，在0.8.1有個bug，DNS解析問題，在解析的時候會解析成ip，這裡會有失敗率。
num.network.threads=3 #這個是borker進行網路處理的執行緒數
num.io.threads=8 #這個是borker進行I/O處理的執行緒數
log.dirs=/usr/local/kafka/kafkalogs/ #訊息存放的目錄，這個目錄可以配置為“，”逗號分割的表示式，上面的num.io.threads要大於這個目錄的個數這個目錄，如果配置多個目錄，新建立的topic他把訊息持久化的地方是，當前以逗號分割的目錄中，那個分割槽數最少就放那一個
socket.send.buffer.bytes=102400 #傳送緩衝區buffer大小，資料不是一下子就傳送的，先回儲存到緩衝區了到達一定的大小後在傳送，能提高效能
socket.receive.buffer.bytes=102400 #kafka接收緩衝區大小，當資料到達一定大小後在序列化到磁碟
socket.request.max.bytes=104857600 #這個引數是向kafka請求訊息或者向kafka傳送訊息的請請求的最大數，這個值不能超過java的堆疊大小
num.partitions=1 #預設的分割槽數，一個topic預設1個分割槽數
log.retention.hours=168 #預設訊息的最大持久化時間，168小時，7天
message.max.byte=5242880  #訊息儲存的最大值5M
default.replication.factor=2  #kafka儲存訊息的副本數，為了安全，如果一個副本失效了，另一個還可以繼續提供服務
replica.fetch.max.bytes=5242880  #取訊息的最大直接數
log.segment.bytes=1073741824 #這個引數是：因為kafka的訊息是以追加的形式落地到檔案，當超過這個值的時候，kafka會新起一個檔案
log.retention.check.interval.ms=300000 #每隔300000毫秒去檢查上面配置的log失效時間（log.retention.hours=168 ），到目錄檢視是否有過期的訊息如果有，刪除
log.cleaner.enable=false #是否啟用log壓縮，一般不用啟用，啟用的話可以提高效能
zookeeper.connect=192.168.244.131:12181,192.168.244.133:12181,192.168.244.134:12181 #設定zookeeper的連線埠

上面的引數只是作為了解一下，實際搭建中需要根據場景來配置。

現在只需要對每臺機器的配置檔案做如下更改

#broker.id=0                             //每臺伺服器的broker.id都不能相同，從0開始，分別0、1、2
#listeners=PLAINTEXT://:9092

#hostname
host.name=192.168.244.131          //分別對應ip
 
log.dirs=/usr/local/kafka/kafkalogs  //日誌目錄

#在log.retention.hours=168            //下面新增下面三項
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880

#設定zookeeper的連線埠
zookeeper.connect=192.168.244.131:12181,192.168.244.133:12181,192.168.244.134:12181

啟動服務

在啟動kafka之前，確保每臺機器的防火牆關閉，其次zookeeper叢集也是啟動中，確保以上條件成立然後執行命令啟動kafka

#./kafka-server-start.sh -daemon ../config/server.properties    //在kafka的目錄下bin目錄執行。    表示後臺以server.properties配置檔案執行。  三臺分別執行
# jps  //檢查服務是否啟動
3506 Jps
3443 Kafka
3397 QuorumPeerMain

建立Topic來驗證是否建立成功

這是官方文件說明：http://kafka.apache.org/quickstart

//在192.168.244.131 建立Topic
# ./kafka-topics.sh --create --zookeeper 192.168.244.131:12181 --replication-factor 2 --partitions 1 --topic wt645631686

Created topic "wt645631686".


//解釋
--replication-factor 2   #複製兩份
--partitions 1 #建立1個分割槽
--topic #主題為wt645631686
//分別在192.168.244.133和192.168.244.134上建立訂閱者
# ./kafka-console-consumer.sh --zookeeper 192.168.244.134:12181 --topic wt645631686
//在192.168.244.131上建立釋出者
# ./kafka-console-producer.sh --broker-list 192.168.244.131:19092 --topict 645631686

在192.168.244.131上釋出測試，分別觀察另外兩臺機器。

topic其他說明

# ./kafka-topics.sh --list --zookeeper localhost:12181  //顯示我們建立的所有topic
# ./kafka-topics.sh --describe --zookeeper 192.168.244.131:12181 --topic wt645631686   //檢視指定topic情況
Topic:wt645631686    PartitionCount:1  //一個分割槽    ReplicationFactor:2    Configs:
    Topic: wt645631686    Partition: 0    Leader: 2    Replicas: 2,0     Isr: 2,0

到這裡kafka叢集就搭建完了~

日誌說明

預設kafka的日誌是儲存在/opt/kafka/kafka_2.10-0.9.0.0/logs目錄下的，這裡說幾個需要注意的日誌

  • server.log   ，kafka的執行日誌
  • state-change.log ，因為kafka他是用zookeeper來儲存狀態，所以他可能會進行切換，切換的日誌就儲存在這裡
  • controller.log ，kafka選擇一個節點作為“controller”,當發現有節點down掉的時候它負責在游泳分割槽的所有節點中選擇新的leader,這使得Kafka可以批量的高效的管理所有分割槽節點的主從關係。如果controller down掉了，活著的節點中的一個會備切換為新的controller.

檢視zookeeper情況

進入zookeeper的專案目錄

# pwd
/usr/local/zookeeper/zookeeper-3.4.6/bin

# ./zkCli.sh -server 127.0.0.1:12181  //預設是不用加’-server‘引數的因為我們修改了他的埠
Connecting to 127.0.0.1:12181
2018-02-15 15:12:57,356 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT
2018-02-15 15:12:57,360 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=localhost
2018-02-15 15:12:57,360 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_91
2018-02-15 15:12:57,363 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2018-02-15 15:12:57,363 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/local/jdk1.8.0_91/jre
2018-02-15 15:12:57,363 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/usr/local/zookeeper/zookeeper-3.4.6/bin/../build/classes:/usr/local/zookeeper/zookeeper-3.4.6/bin/../build/lib/*.jar:/usr/local/zookeeper/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/usr/local/zookeeper/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/usr/local/zookeeper/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/usr/local/zookeeper/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/usr/local/zookeeper/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/usr/local/zookeeper/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/usr/local/zookeeper/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/usr/local/zookeeper/zookeeper-3.4.6/bin/../conf:.:/usr/local/jdk/lib/dt.jar:/usr/local/jdk/lib/tools.jar
2018-02-15 15:12:57,363 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2018-02-15 15:12:57,363 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2018-02-15 15:12:57,364 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2018-02-15 15:12:57,364 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2018-02-15 15:12:57,364 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2018-02-15 15:12:57,365 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=2.6.32-358.el6.x86_64
2018-02-15 15:12:57,365 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2018-02-15 15:12:57,366 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2018-02-15 15:12:57,366 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/usr/local/zookeeper/zookeeper-3.4.6/bin
2018-02-15 15:12:57,368 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=127.0.0.1:12181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@799f7e29
Welcome to ZooKeeper!
2018-02-15 15:12:57,404 [myid:] - INFO  [main-SendThread(127.0.0.1:12181):ClientCnxn$SendThread@975] - Opening socket connection to server 127.0.0.1/127.0.0.1:12181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2018-02-15 15:12:57,481 [myid:] - INFO  [main-SendThread(127.0.0.1:12181):ClientCnxn$SendThread@852] - Socket connection established to 127.0.0.1/127.0.0.1:12181, initiating session
2018-02-15 15:12:57,496 [myid:] - INFO  [main-SendThread(127.0.0.1:12181):ClientCnxn$SendThread@1235] - Session establishment complete on server 127.0.0.1/127.0.0.1:12181, sessionid = 0x167509a9cdd0004, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: 127.0.0.1:12181(CONNECTED) 0] 
[zk: 127.0.0.1:12181(CONNECTED) 1] ls /   //檢視目錄情況 執行“ls /”
[controller, controller_epoch, brokers, zookeeper, admin, isr_change_notification, consumers, config]
//上面的顯示結果中：只有zookeeper是，zookeeper原生的，其他都是Kafka建立的
[zk: 127.0.0.1:12181(CONNECTED) 12] ls /
[controller, controller_epoch, brokers, zookeeper, admin, isr_change_notification, consumers, config]
[zk: 127.0.0.1:12181(CONNECTED) 13] ls /brokers/topics
[wt645631686]
[zk: 127.0.0.1:12181(CONNECTED) 14] ls /brokers/topics/wt645631686
[partitions]
[zk: 127.0.0.1:12181(CONNECTED) 15] ls /brokers/topics/wt645631686/partitions
[0]
[zk: 127.0.0.1:12181(CONNECTED) 16] get /brokers/ids/0
{"jmx_port":-1,"timestamp":"1543245597011","endpoints":["PLAINTEXT://192.168.244.131:19092"],"host":"192.168.244.131","version":2,"port":19092}
cZxid = 0x200000017
ctime = Mon Nov 26 07:19:57 PST 2018
mZxid = 0x200000017
mtime = Mon Nov 26 07:19:57 PST 2018
pZxid = 0x200000017
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x167509a9cdd0000
dataLength = 143
numChildren = 0
[zk: 127.0.0.1:12181(CONNECTED) 17] get /brokers/topics/wt645631686/partitions/0    //檢視partion
null 
cZxid = 0x200000029
ctime = Mon Nov 26 07:29:16 PST 2018
mZxid = 0x200000029
mtime = Mon Nov 26 07:29:16 PST 2018
pZxid = 0x20000002a
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

暫時完畢~

相關文章