Mac 使用 docker 搭建 kafka 叢集 + Zookeeper + kafka-manager

kenuo發表於2018-11-04

Kafka 搭建:

建立Zookeeper容器:

這裡我們用最簡單的方式建立一個獨立的Zookeeper節點,如果要考慮zookeeper的高可用,可以將其做成一個叢集,最好是能有多臺機器。

$ docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

預設的,容器內配置檔案在,/conf/zoo.cfg,資料和日誌目錄預設在/data 和 /datalog,需要的話可以將上述目錄對映到宿主機的可靠檔案目錄下。

建立kafka叢集節點:

使用docker命令可快速在同一臺機器搭建多個kafka,只需要改變brokerId和埠

  • 節點1:

    $ docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

  • 節點2:

    $ docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

  • 節點3:

    $ docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

這裡面主要設定了4個引數

KAFKA_BROKER_ID=0               
KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092

中間兩個引數的 192.168.0.102 改為 宿主機器 的IP地址,如果不這麼設定,可能會導致在別的機器上訪問不到 kafka。

怎麼檢視本機的 ip:

$ ifconfig en0

file

測試kafka:

  • 進入kafka容器的命令列

    $ docker exec -ti kafka /bin/bash

  • 進入kafka所在目錄

    $ cd opt/kafka_2.12-1.1.0/

建立Replication為2,Partition為2的topic:

$ bin/kafka-topics.sh --create --zookeeper 192.168.0.102:2181 --replication-factor 2 --partitions 2 --topic partopic

或者可以通過 kafka-manager 建立

file

檢視topic的狀態:

在kafka容器中的 opt/kafka_2.12-1.1.0/ 目錄下輸入

$ bin/kafka-topics.sh --describe --zookeeper 192.168.0.102:2181 --topic partopic

file

顯示每個分割槽的Leader機器為broker0,在broker0和1上具有備份,Isr代表存活的備份機器中存活的。
當停掉kafka1後,

$ docker stop kafka1

再檢視topic狀態,輸出結果:

Topic:partopic  PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: partopic Partition: 0    Leader: 0   Replicas: 0,1   Isr: 0
    Topic: partopic Partition: 1    Leader: 0   Replicas: 1,0   Isr: 0

建立Kafka管理節點:

kafka-manager有圖形化UI,可以方便的監控叢集狀態,調整佇列配置

$ docker run -itd --restart=always --name=kafka-manager -p 9000:9000 -e ZK_HOSTS="192.168.0.102:2181" sheepkiller/kafka-manager

容器啟動以後訪問主機的9000埠,0.0.0:9000

file

首次進入需要新增一個叢集標識,如下圖所示

file

配置好以後,通過Zookeeper該管理節點可以讀取到整個Kafka叢集的資訊,並且我們可以通過JMX直接看到叢集的健康狀態

file

也可以看到主題的讀寫速度,偏移量等資訊,如下圖所示:
file

Brokers ,Partitions,Replicas 都能看到
file

以及 group:
file

參考文章:

https://blog.csdn.net/lblblblblzdx/article/details/80548157

https://blog.csdn.net/lblblblblzdx/article/details/80548294

原文地址: mac 使用 docker搭建 kafka叢集 + Zookeeper + kafka-manager

by JeffreyBool blog :point_right: link

相關文章