Clickhouse Docker叢集部署

山治先生發表於2021-08-16

寫在前面

　　抽空來更新一下大資料的玩意兒了，起初架構選型的時候有考慮Hadoop那一套做數倉，但是Hadoop要求的伺服器數量有點高，叢集至少6臺或以上，所以選擇了Clickhouse（後面簡稱CH）。CH做叢集的話，3臺伺服器起步就可以的，當然，不是硬性，取決於你的zookeeper做不做叢集，其次CH效能更強大，對於量不是非常巨大的場景來說，單機已經足夠應對OLAP多種場景了。

　　進入正題，相關環境：

IP	伺服器名	作業系統	服務	備註
172.192.13.10	server01	Ubuntu20.04	兩個Clickhouse例項、Zookeeper	CH例項1埠:tcp 9000, http 8123, 同步埠9009，MySQL 9004, 型別: 主分片1 CH例項2埠:tcp 9000, http 8124, 同步埠9010，MySQL 9005, 型別: server02的副本
172.192.13.11	server02	Ubuntu20.04	兩個Clickhouse例項、Zookeeper	CH例項3埠:tcp 9000, http 8123, 同步埠9009，MySQL 9004, 型別: 主分片2 CH例項4埠:tcp 9000, http 8124, 同步埠9010，MySQL 9005, 型別: server03的副本
172.192.13.12	server03	Ubuntu20.04	兩個Clickhouse例項、Zookeeper	CH例項5埠:tcp 9000, http 8123, 同步埠9009，MySQL 9004, 型別: 主分片3 CH例項6埠:tcp 9000, http 8124, 同步埠9010，MySQL 9005, 型別: server01的副本

　　在每一臺服務上都安裝docker，docker裡面分別安裝有3個服務：ch-main，ch-sub，zookeeper_node，如圖所示：

　　細心的已經看到，PORTS沒有對映關係，這裡是使用Docker host網路模式，模式簡單並且效能高，避免了很多容器間或跨伺服器的通訊問題，這個踩了很久。

環境部署

1. 伺服器環境配置

　　在每一臺伺服器上執行： vim /etc/hosts ，開啟hosts之後新增配置：

172.192.13.10 server01
172.192.13.11 server02
172.192.13.12 server03

2.安裝docker

　　太簡單，略...

3.拉取clickhouse、zookeeper映象

　　太簡單，略...

Zookeeper叢集部署

　　在每個伺服器上你想存放的位置，新建一個資料夾來存放zk的配置資訊，這裡是 /usr/soft/zookeeper/ ，在每個伺服器上依次執行以下啟動命令：

server01執行：

docker run -d -p 2181:2181 -p 2888:2888 -p 3888:3888 --name zookeeper_node --restart always \
-v /usr/soft/zookeeper/data:/data \
-v /usr/soft/zookeeper/datalog:/datalog \
-v /usr/soft/zookeeper/logs:/logs \
-v /usr/soft/zookeeper/conf:/conf \
--network host  \
-e ZOO_MY_ID=1  zookeeper

server02執行：

docker run -d -p 2181:2181 -p 2888:2888 -p 3888:3888 --name zookeeper_node --restart always \
-v /usr/soft/zookeeper/data:/data \
-v /usr/soft/zookeeper/datalog:/datalog \
-v /usr/soft/zookeeper/logs:/logs \
-v /usr/soft/zookeeper/conf:/conf \
--network host  \
-e ZOO_MY_ID=2  zookeeper

server03執行：

docker run -d -p 2181:2181 -p 2888:2888 -p 3888:3888 --name zookeeper_node --restart always \
-v /usr/soft/zookeeper/data:/data \
-v /usr/soft/zookeeper/datalog:/datalog \
-v /usr/soft/zookeeper/logs:/logs \
-v /usr/soft/zookeeper/conf:/conf \
--network host  \
-e ZOO_MY_ID=3  zookeeper

唯一的差別是： -e ZOO_MY_ID=* 而已。

　　其次，每臺服務上開啟 /usr/soft/zookeeper/conf 路徑，找到 zoo.cfg 配置檔案，修改為：

dataDir=/data
dataLogDir=/datalog
tickTime=2000
initLimit=5
syncLimit=2
clientPort=2181
autopurge.snapRetainCount=3
autopurge.purgeInterval=0
maxClientCnxns=60

server.1=172.192.13.10:2888:3888
server.2=172.192.13.11:2888:3888
server.3=172.192.13.12:2888:3888

然後進入其中一臺伺服器，進入zk檢視是否配置啟動成功：

docker exec -it zookeeper_node /bin/bash

./bin/zkServer.sh status

Clickhouse叢集部署

1.臨時映象拷貝出配置　　

　　執行一個臨時容器，目的是為了將配置、資料、日誌等資訊儲存到宿主機上：

docker run --rm -d --name=temp-ch yandex/clickhouse-server

　　拷貝容器內的檔案：

docker cp temp-ch:/etc/clickhouse-server/ /etc/

//https://www.cnblogs.com/EminemJK/p/15138536.html

2.修改config.xml配置

//同時相容IPV6，一勞永逸
<listen_host>0.0.0.0</listen_host>

//設定時區
<timezone>Asia/Shanghai</timezone>

//刪除原節點<remote_servers>的測試資訊
<remote_servers incl="clickhouse_remote_servers" />

//新增，和上面的remote_servers 節點同級
<include_from>/etc/clickhouse-server/metrika.xml</include_from>

//新增，和上面的remote_servers 節點同級
<zookeeper incl="zookeeper-servers" optional="true" />

//新增，和上面的remote_servers 節點同級
<macros incl="macros" optional="true" />

其他 listen_host 僅保留一項即可，其他listen_host 則註釋掉。

3.拷貝到其他資料夾

cp -rf /etc/clickhouse-server/ /usr/soft/clickhouse-server/main
cp -rf /etc/clickhouse-server/ /usr/soft/clickhouse-server/sub

main為主分片，sub為副本。

4.分發到其他伺服器

#拷貝配置到server02上
scp /usr/soft/clickhouse-server/main/ server02:/usr/soft/clickhouse-server/main/
scp /usr/soft/clickhouse-server/sub/ server02:/usr/soft/clickhouse-server/sub/ 
#拷貝配置到server03上
scp /usr/soft/clickhouse-server/main/ server03:/usr/soft/clickhouse-server/main/
scp /usr/soft/clickhouse-server/sub/ server03:/usr/soft/clickhouse-server/sub/

SCP真香。

　　然後就可以刪除掉臨時容器： docker rm -f temp-ch

配置叢集

　　這裡三臺伺服器，每臺伺服器起2個CH例項，環狀相互備份，達到高可用的目的，資源充裕的情況下，可以將副本Sub例項完全獨立出來，修改配置即可，這個又是Clickhouse的好處之一，橫向擴充套件非常方便。

1.修改配置

　　進入server1伺服器， /usr/soft/clickhouse-server/sub/conf 修改config.xml檔案，主要修改內容：

原：
<http_port>8123</http_port>
<tcp_port>9000</tcp_port>
<mysql_port>9004</mysql_port>
<interserver_http_port>9009</interserver_http_port>

修改為：
<http_port>8124</http_port>
<tcp_port>9001</tcp_port>
<mysql_port>9005</mysql_port>
<interserver_http_port>9010</interserver_http_port>

　　修改的目的目的是為了和主分片 main的配置區分開來，埠不能同時應用於兩個程式。server02和server03如此修改或scp命令進行分發。

2.新增叢集配置檔案metrika.xml

server01，main主分片配置：

　　進入/usr/soft/clickhouse-server/main/conf 資料夾內，新增metrika.xml檔案（檔案編碼：utf-8）。

<yandex>
    <!-- CH叢集配置,所有伺服器都一樣 -->
    <clickhouse_remote_servers>
        <cluster_3s_1r>
            <!-- 資料分片1  -->
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server01</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server03</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
            <!-- 資料分片2  -->
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server02</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server01</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
            <!-- 資料分片3  -->
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server03</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server02</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
        </cluster_3s_1r>
    </clickhouse_remote_servers>

    <!-- zookeeper_servers所有例項配置都一樣 -->
    <zookeeper-servers>
        <node index="1">
            <host>172.16.13.10</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>172.16.13.11</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>172.16.13.12</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

    <!-- marcos每個例項配置不一樣 -->
    <macros>
        <layer>01</layer>
        <shard>01</shard>
        <replica>cluster01-01-1</replica>
    </macros>

    <networks>
        <ip>::/0</ip>
    </networks>

    <!-- 資料壓縮演算法  -->
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>

　　<macros>節點每個伺服器每個例項不同，其他節點配置一樣即可，下面僅列舉<macros>節點差異的配置。

server01，sub副本配置：

<macros>
    <layer>01</layer>
    <shard>02</shard>
    <replica>cluster01-02-2</replica>
</macros>

server02，main主分片配置：

<macros>
    <layer>01</layer>
    <shard>02</shard>
    <replica>cluster01-02-1</replica>
</macros>

server02，sub副本配置：

<macros>
    <layer>01</layer>
    <shard>03</shard>
    <replica>cluster01-03-2</replica>
</macros>

server03，main主分片配置：

<macros>
    <layer>01</layer>
    <shard>03</shard>
    <replica>cluster01-03-1</replica>
</macros>

server03，sub副本配置：

<macros>
    <layer>01</layer>
    <shard>02</shard>
    <replica>cluster01-01-2</replica>
</macros>

　　至此，已經完成全部配置，其他的比如密碼等配置，可以按需增加。

叢集執行及測試

　　在每一臺伺服器上依次執行例項，zookeeper前面已經提前執行，沒有則需先執行zk叢集。

執行main例項：

docker run -d --name=ch-main -p 8123:8123 -p 9000:9000 -p 9009:9009 --ulimit nofile=262144:262144 \
-v /usr/soft/clickhouse-server/main/data:/var/lib/clickhouse:rw \
-v /usr/soft/clickhouse-server/main/conf:/etc/clickhouse-server:rw \
-v /usr/soft/clickhouse-server/main/log:/var/log/clickhouse-server:rw \
--add-host server01:172.192.13.10 \
--add-host server02:172.192.13.11 \
--add-host server03:172.192.13.12 \
--hostname server01 \
--network host \
--restart=always \
 yandex/clickhouse-server

執行sub例項：

docker run -d --name=ch-sub -p 8124:8124 -p 9001:9001 -p 9010:9010 --ulimit nofile=262144:262144 \
-v /usr/soft/clickhouse-server/sub/data:/var/lib/clickhouse:rw \
-v /usr/soft/clickhouse-server/sub/conf:/etc/clickhouse-server:rw \
-v /usr/soft/clickhouse-server/sub/log:/var/log/clickhouse-server:rw \
--add-host server01:172.192.13.10 \
--add-host server02:172.192.13.11 \
--add-host server03:172.192.13.12 \
--hostname server01 \
--network host \
--restart=always \
 yandex/clickhouse-server

　　在每臺伺服器執行命令，唯一不同的參數是hostname，因為我們前面已經設定了hostname來指定伺服器，否則在執行 select * from system.clusters 查詢叢集的時候，將 is_local 列全為0，則表示找不到本地服務，這是需要注意的地方。在每臺伺服器的例項都啟動之後，這裡使用正版DataGrip來開啟：

　　在任一例項上新建一個查詢：

create table T_UserTest on cluster cluster_3s_1r
(
    ts  DateTime,
    uid String,
    biz String
)
    engine = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/T_UserTest', '{replica}')
        PARTITION BY toYYYYMMDD(ts)
        ORDER BY ts
        SETTINGS index_granularity = 8192;

　　cluster_3s_1r是前面配置的叢集名稱，需一一對應上， /clickhouse/tables/ 是固定的字首，相關語法可以檢視官方文件了。

　　重新整理每個例項，即可看到全部例項中都有這張T_UserTest表，因為已經搭建zookeeper，很容易實現分散式DDL。

　　繼續新建Distributed分散式表：

CREATE TABLE T_UserTest_All ON CLUSTER cluster_3s_1r AS T_UserTest ENGINE = Distributed(cluster_3s_1r, default,  T_UserTest, rand())

每個主分片分別插入相關資訊：

--server01
insert into  T_UserTest values ('2021-08-16 17:00:00',1,1)
--server02
insert into  T_UserTest values ('2021-08-16 17:00:00',2,1)
--server03
insert into  T_UserTest values ('2021-08-16 17:00:00',3,1)

然後查詢分散式表 select * from T_UserTest_All ，

　　查詢對應的副本表或者關閉其中一臺伺服器的docker例項，查詢也是不受影響，時間關係不在測試。

最後

　　下班。

docker部署mysql叢集
2021-07-30
DockerMySql
Docker部署ElasticSearch叢集
2021-01-18
DockerElasticsearch
ClickHouse(04)如何搭建ClickHouse叢集
2022-07-12
使用docker部署hadoop叢集
2020-09-04
DockerHadoop
Docker叢集輕鬆部署ApacheStorm
2016-05-18
DockerApacheORM
docker 下部署mongodb Replica Set 叢集
2018-05-09
DockerMongoDB
【Docker】Docker三劍客實踐之部署叢集
2017-11-14
Docker
RabbitMQ系列（五）使用Docker部署RabbitMQ叢集
2018-07-24
MQDocker
docker初體驗：docker部署nginx負載均衡叢集
2021-08-30
DockerNginx負載
ClickHouse叢集資料均衡方案分享
2021-12-11
Docker Swarm：叢集
2017-11-09
DockerSwarm
Docker Swarm叢集
2016-06-01
DockerSwarm
Docker部署系列之Docker Compose安裝Redis三主三從叢集
2023-12-30
DockerRedis
Docker Swarm 叢集搭建
2019-12-10
DockerSwarm
Docker Swarm叢集初探
2019-03-01
DockerSwarm
Docker搭建ELK叢集
2021-06-29
Docker
docker搭建mysql叢集
2021-08-31
DockerMySql
Docker Elasticsearch 叢集配置
2021-02-25
DockerElasticsearch
docker-redis叢集
2020-10-20
DockerRedis
Docker搭建Redis叢集
2020-12-03
DockerRedis
Docker 搭建叢集 MongoDB
2020-09-08
DockerMongoDB
使用Docker Swarm快速搭建與部署你的服務叢集
2019-01-21
DockerSwarm
手把手教你用Docker部署一個MongoDB叢集
2015-02-09
DockerMongoDB
docker 1.12 版本 docker swarm 叢集
2016-06-23
DockerSwarm
docker下，極速搭建spark叢集(含hdfs叢集)
2022-08-17
DockerSpark
用Docker搭建RabbitMq的普通叢集和映象叢集
2021-11-17
DockerMQ
（三）docker-Elasticsearch 叢集
2020-06-06
DockerElasticsearch
使用docker 搭建rabbitmq 叢集
2019-04-19
DockerMQ
Docker Swarm 叢集搭建教程
2019-06-29
DockerSwarm
Docker swarm叢集搭建教程
2019-01-08
DockerSwarm
docker搭建consul叢集
2023-03-13
Docker
Redis 4.0叢集環境部署
2018-06-11
Redis
如何部署hadoop叢集
2013-10-29
Hadoop
用docker-machine建立Docker Swarm叢集
2017-03-02
DockerMacSwarm
【技術解析】如何用Docker實現SequoiaDB叢集的快速部署
2019-02-22
Docker
『中級篇』在docker-swarm叢集裡透過serivce部署wor
2021-09-09
DockerSwarm
用 Docker swarm 快速部署分散式圖資料庫 Nebula Graph 叢集
2020-10-14
DockerSwarm分散式資料庫
使用 Docker Compose 本地部署基於 Sentinel 的高可用 Redis 叢集
2018-03-04
DockerRedis