### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 在hub.docker.com網站上，Star最多的kafka映象是wurstmeister/kafka，今天一起來實踐這個映象，使用此映象搭建kafka環境，並且生產和消費訊息；

### 實戰環境
1. 作業系統：CentOS7
2. Docker：17.03.2-ce
3. docker-compose：1.23.2

### 編寫docker-compose.yml
- wurstmeister在github開源了一份docker-compose.yml，在使用中遇到以下兩個問題：
- kafka的配置使用了引數"build: ."，因此啟動時會在本地構建映象，構建過程中有的網站訪問超時，導致映象構建失敗；
2. docker-compose.yml中環境變數的配置，在消費訊息時會出現異常"LEADER_NOT_AVAILABLE"；

- 針對上述問題，我對原有的docker-compose.yml做了修改和調整，本次實戰用到的docker-compose.yml內容如下：
```yml
version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka:2.11-0.11.0.3
    ports:
      - "9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://:9092
      KAFKA_LISTENERS: PLAINTEXT://:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
```
- 上面有個資料卷引數**/var/run/docker.sock**，這是個很重要的引數，使得容器內可以執行docker ps、docker port等命令，得到的結果和在宿主機上執行一樣，詳情請參考[《docker的/var/run/docker.sock引數》](https://blog.csdn.net/boling_cavalry/article/details/92846483)。
### 啟動server
- 在docker-compose.yml所在的資料夾下，執行命令**docker-compose up -d**，會先下載zookeeper和kafka的映象，然後建立容器；
- 執行命令**docker ps**，可見啟動了一個zookeeper和一個kafka容器：

```shell
[root@hedy kafka-docker]# docker ps
CONTAINER ID        IMAGE                              COMMAND                  CREATED             STATUS              PORTS                                                NAMES
ac99c60be2e3        wurstmeister/kafka:2.11-0.11.0.3   "start-kafka.sh"         5 seconds ago       Up 3 seconds        0.0.0.0:32773->9092/tcp                              kafka-docker_kafka_1
0a26b6c4119e        wurstmeister/zookeeper             "/bin/sh -c '/usr/..."   5 seconds ago       Up 3 seconds        22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   kafka-docker_zookeeper_1

```

- 由上面的命令可知kafka容器名稱是**kafka-docker_kafka_1**，zookeeper容器名稱是**kafka-docker_zookeeper_1**；

### 檢視版本號
- 執行以下命令檢視容器中的kafka版本號：

```shell
docker exec kafka-docker_kafka_1 find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'
```
- 上述命令執行後，我這邊控制檯顯示**kafka_2.11-0.11.0.3**，這表示Scala 的版本為2.11，kafka的版本是0.11.0.3；
- 執行以下命令檢視zookeeper版本：

```shell
docker exec kafka-docker_zookeeper_1 pwd
```
- 上述命令執行後，我這邊控制檯顯示**/opt/zookeeper-3.4.9**，這表示zookeeper的版本為3.4.9；

### 擴充套件broker
- 在docker-compose.yml所在的資料夾下，執行以下命令即可將borker總數從1個擴充套件到4個：
```shell
docker-compose scale kafka=4
```
- 執行命令**docker ps**，可見kafka容器已經擴充套件到4個：
```shell
[root@hedy kafka-docker]# docker ps
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                                NAMES
adf18015a95e        kafka-docker_kafka       "start-kafka.sh"         6 seconds ago       Up 3 seconds        0.0.0.0:32771->9092/tcp                              kafka-docker_kafka_2
d7eb1a9c9c72        kafka-docker_kafka       "start-kafka.sh"         6 seconds ago       Up 3 seconds        0.0.0.0:32770->9092/tcp                              kafka-docker_kafka_4
0dddf1728ebd        kafka-docker_kafka       "start-kafka.sh"         6 seconds ago       Up 4 seconds        0.0.0.0:32769->9092/tcp                              kafka-docker_kafka_3
19bc31339915        wurstmeister/zookeeper   "/bin/sh -c '/usr/..."   23 minutes ago      Up 23 minutes       22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   kafka-docker_zookeeper_1
11bbf5c6ebec        kafka-docker_kafka       "start-kafka.sh"         23 minutes ago      Up 23 minutes       0.0.0.0:32768->9092/tcp                              kafka-docker_kafka_1
```
- 接下來實戰訊息的生產和消費；

### 建立topic
- 建立一個topic，名為topic001，4個partition，副本因子2，執行以下命令即可：
```shell
docker exec kafka-docker_kafka_1 \
kafka-topics.sh \
--create --topic topic001 \
--partitions 4 \
--zookeeper zookeeper:2181 \
--replication-factor 2
```
- 執行以下命令檢視剛剛建立的topic，這次在容器kafka-docker_kafka_3上執行命令試試：
```shell
[root@hedy kafka-docker]# docker exec kafka-docker_kafka_3 \
kafka-topics.sh --list \
--zookeeper zookeeper:2181 \
topic001
```
- 可見剛剛建立的topic可以被查到；
- 檢視剛剛建立的topic的情況，borker和副本情況一目瞭然，如下：
```shell
[root@hedy kafka-docker]# docker exec kafka-docker_kafka_3 \
> kafka-topics.sh \
> --describe \
> --topic topic001 \
> --zookeeper zookeeper:2181
Topic:topic001	PartitionCount:4	ReplicationFactor:2	Configs:
	Topic: topic001	Partition: 0	Leader: 1002	Replicas: 1002,1003	Isr: 1002,1003
	Topic: topic001	Partition: 1	Leader: 1003	Replicas: 1003,1004	Isr: 1003,1004
	Topic: topic001	Partition: 2	Leader: 1004	Replicas: 1004,1001	Isr: 1004,1001
	Topic: topic001	Partition: 3	Leader: 1001	Replicas: 1001,1002	Isr: 1001,1002
```

### 消費訊息
- 執行如下命令，即可進入等待topic為**topic001**訊息的狀態：
```shell
docker exec kafka-docker_kafka_2 \
kafka-console-consumer.sh \
--topic topic001 \
--bootstrap-server kafka-docker_kafka_1:9092,kafka-docker_kafka_2:9092,kafka-docker_kafka_3:9092,kafka-docker_kafka_4:9092
```
- 目前還沒有生產訊息，因此控制檯不會有內容輸出，接下來嘗試生產訊息；

### 生產訊息
- 開啟一個新的視窗，執行如下命令，進入生產訊息的命令列模式，**注意不要漏掉引數"-it"**，我之前就是因為漏掉了引數"-it"，導致生產的訊息時雖然不提示異常，但是始終無法消費到訊息：
```shell
docker exec -it kafka-docker_kafka_1 \
kafka-console-producer.sh \
--topic topic001 \
--broker-list kafka-docker_kafka_1:9092,kafka-docker_kafka_2:9092,kafka-docker_kafka_3:9092,kafka-docker_kafka_4:9092
```
- 現在已經進入了生產訊息的命令列模式，輸入一些字串然後回車，再去消費訊息的控制檯視窗看看，已經有訊息列印出來，說明訊息的生產和消費都成功了；

- 至此，映象wurstmeister/kafka的實戰就完成了，在後續使用到kafka服務的時候，可以參考本次實戰快速搭建kafka叢集；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

kafka的Docker映象使用說明(wurstmeister/kafka)

相關文章