### 一、簡介

##### 1、介紹

Kafka是最初由Linkedin公司開發，是一個分散式、分割槽的、多副本的、多訂閱者，基於zookeeper協調的分散式日誌系統（也可以當做MQ系統），常見可以用於web/nginx日誌、訪問日誌，訊息服務等等，Linkedin於2010年貢獻給了Apache基金會併成為頂級開源專案。

##### 2、主要應用場景是

- 日誌收集：可以用kafka收集各種服務的日誌 ，透過已統一介面的形式開放給各種消費者。

- 訊息系統：解耦生產和消費者，快取訊息。

- 使用者活動追蹤：kafka可以記錄webapp或app使用者的各種活動，如瀏覽網頁，點選等活動，這些活動可以傳送到kafka，然後訂閱者透過訂閱這些訊息來做監控。

- 運營指標：可以用於監控各種資料。

##### 3、Kafka主要設計目標如下：

- 以時間複雜度為O(1)的方式提供訊息持久化能力，即使對TB級以上資料也能保證常數時間的訪問效能。
- 高吞吐率。即使在非常廉價的商用機器上也能做到單機支援每秒100K條訊息的傳輸。
- 支援Kafka Server間的訊息分割槽，及分散式消費，同時保證每個partition內的訊息順序傳輸。
- 同時支援離線資料處理和實時資料處理。
- Scale out:支援線水平擴充套件

##### 4、基本概念

kafka是一個分散式的分割槽的訊息，提供訊息系統應該具備的功能。

| 名稱          |                             解釋                             |
| ------------- | :----------------------------------------------------------: |
| broker        | 訊息中介軟體處理節點，一個broker就是一個kafka節點，多個broker構成一個kafka叢集。 |
| topic         | kafka根據訊息進行分類，釋出到kafka的每個訊息都有一個對應的topic |
| producer      |                      訊息生產（釋出）者                      |
| consumer      |                      訊息消費（訂閱）者                      |
| consumergroup | 訊息訂閱叢集，一個訊息可以被多個consumergroup消費，但是一個consumergroup只有一個consumer可以消費訊息。 |

### 二、環境準備

```
當前環境：centos7.9三臺
軟體版本：kafka_2.13-3.0.0
環境目錄：/usr/local/kafka
```

`下載kafka;包含了zookeeper(三臺機器都要操作)`

```
[root@localhost opt]# wget https://archive.apache.org/dist/kafka/3.0.0/kafka_2.13-3.0.0.tgz
[root@localhost opt]# tar zxvf kafka_2.13-3.0.0.tgz
[root@localhost opt]# mv kafka_2.13-3.0.0 /usr/local/kafka
```

`配置環境變數(三臺機器都要操作)`

```
[root@localhost opt]# vim /etc/profile
## 末尾新增
export ZOOKEEPER_HOME=/usr/local/kafka
export PATH=$PATH:$ZOOKEEPER_HOME/bin

## 載入環境變數
[root@localhost opt]# source /etc/profile
```

### 三、Zookeeper的安裝

> 由於Kafka分割槽位置和主題配置之類的後設資料都儲存在ZooKeeper群集中，所以要搭建kafka叢集環境必須先安裝zookeeper群集

`zookeeper配置檔案修改(三臺配置一樣)`

[root@localhost ~]# cd /usr/local/kafka/
[root@localhost kafka]# vim config/zookeeper.properties

```
dataDir=/tmp/zookeeper				## 主要用來配置zookeeper server資料的存放路徑
clientPort=2181						## zookeeper服務埠
tickTime=2000						## zookeeper客戶端與伺服器之間的心跳時間。預設值為2000毫秒，即2秒
initLimit=10						## Follower連線到Leader並同步資料的最大時間
syncLimit=5							## Follower同步Leader的最大時間
maxClientCnxns=0					## 客戶端最大連線數,設定0或者不設定表示取消連線數限制
admin.enableServer=false			## 禁用 Admin Server
server.0=192.168.1.13:2888:3888		## 配置zookeeper群集
server.1=192.168.1.108:2888:3888
server.2=192.168.1.143:2888:3888
```

`建立myid檔案(三臺機器都要操作)`

`192.168.1.13機器上`

```
[root@localhost kafka]# mkdir -p /opt/zookeeper;echo "0" > /tmp/zookeeper/myid
```

`192.168.1.108機器上`

```
[root@localhost kafka]# mkdir -p /opt/zookeeper;echo "1" > /tmp/zookeeper/myid
```

`192.168.1.143機器上`

```
[root@localhost kafka]# mkdir -p /opt/zookeeper;echo "2" > /tmp/zookeeper/myid
```

`建立system啟動檔案`

[root@localhost kafka]# vim /usr/lib/systemd/system/zookeeper.service

```
[Unit]
Description=zookeeper
After=network.target
Wants=network.target

[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/app/idk/bin"
User=root
Group=root
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
Restart=always

[Install]
WantedBy=multi-user.target
```

`啟動zookeeper`

[root@localhost kafka]# systemctl enable zookeeper.service 
[root@localhost kafka]# systemctl start zookeeper.service

### 四、Kafka的安裝

`kafka配置檔案修改`

[root@localhost ~]# cd /usr/local/kafka/
[root@localhost kafka]# vim config/server.properties 		(直接複製到另外兩臺)

```
broker.id=1												## 第一臺1，第二臺為2 第三臺為3
listeners=PLAINTEXT://:9092								## 監聽IP地址和埠
advertised.listeners=PLAINTEXT://192.168.1.13:9092		## 配置kafka的broker ip
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=404857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.1.13:2181,192.168.1.108:2181,192.168.1.143:2181	##連線zookeeper
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
```

```
## 修改192.168.1.108的配置
broker.id=2
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.168.1.108:9092

修改192.168.1.143的配置
broker.id=3
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.168.1.143:9092
```

```
## 修改JVM引數 (根據需求修改)
kafka_heap_opts：指定堆大小，預設是1GB

[root@localhost kafka]# vim bin/kafka-server-start.sh 
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G -XX:MaxDirectMemorySize=1G"			## 修改這一行即可
fi
```

`建立system啟動檔案`

[root@localhost kafka]# vim /usr/lib/systemd/system/kafka.service

```
[Unit]
Description=kafka
After=network.target
Wants=network.target

[Service]
Type=simple
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/app/idk/bin"
User=root
Group=root
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
Restart=always

[Install]
WantedBy=multi-user.target
```

`啟動zookeeper`
[root@localhost kafka]# systemctl enable kafka.service 
[root@localhost kafka]# systemctl start kafka.service

### 五、踩坑

##### 服務啟動不起來 找不到Java

> /usr/local/kafka/bin/kafka-run-class.sh: line 309: exec: java: not found

`第一種： 修改配置檔案中的Java環境`

```
## 修改kafka-run-class.sh 配置檔案
[root@localhost kafka]# vim bin/kafka-run-class.sh
## 找到如下：
# Which java to use
if [ -z "$JAVA_HOME" ]; then
  JAVA="/usr/local/jdk/bin/java"   				## 修改到絕對路徑
else
  JAVA="$JAVA_HOME/bin/java"
fi
```

`第二種： 做個軟連線`

```
[root@localhost kafka]# echo $PATH
/usr/local/bin:/usr/local/sbin:/usr/bin:/usr/sbin:/bin:/sbin:/home/laserx/.local/bin:/home/laserx/bin

[root@localhost kafka]# ln -s /usr/local/jdk1.8.0_251/bin/java /usr/local/bin/java
```

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/21066e3e309a467aa18b5128520c819c.jpeg#pic_center)

技術分享| 訊息佇列Kafka群集部署

相關文章