Kubernetes(k8s)部署redis-cluster叢集

Sunzz發表於2021-11-05

Redis Cluster 提供了一種執行 Redis 安裝的方法，其中資料在多個 Redis 節點之間自動分片。

Redis Cluster 還在分割槽期間提供了一定程度的可用性，這實際上是在某些節點出現故障或無法通訊時繼續操作的能力。但是，如果發生較大的故障（例如，當大多數主節點不可用時），叢集將停止執行。

那麼在實踐中，您從 Redis Cluster 中得到了什麼？

在多個節點之間自動拆分資料集的能力。
當部分節點出現故障或無法與叢集的其餘部分通訊時繼續操作的能力。

轉載請在文章開頭附上原文連結地址：https://www.cnblogs.com/Sunzz/p/15237497.html

Redis 叢集 TCP 埠

每個 Redis Cluster 節點都需要開啟兩個 TCP 連線。用於為客戶端提供服務的普通 Redis TCP 埠，例如 6379，以及名為叢集匯流排埠的第二個埠。叢集匯流排埠將通過將 10000 新增到資料埠（在此示例中為 16379）或通過使用叢集埠配置覆蓋它來派生。

第二個高埠用於叢集匯流排，即使用二進位制協議的節點到節點通訊通道。節點使用叢集匯流排進行故障檢測、配置更新、故障轉移授權等。客戶端永遠不要嘗試與叢集匯流排埠通訊，而應始終與普通 Redis 命令埠通訊，但請確保在防火牆中開啟這兩個埠，否則 Redis 叢集節點將無法通訊。

請注意，要使 Redis 叢集正常工作，您需要為每個節點：

用於與客戶端通訊的普通客戶端通訊埠（通常為 6379）對需要訪問叢集的所有客戶端以及所有其他叢集節點（使用客戶端埠進行金鑰遷移）開放。
叢集匯流排埠必須可從所有其他叢集節點訪問。

如果您不同時開啟兩個 TCP 埠，您的叢集將無法按預期工作。

叢集匯流排使用不同的二進位制協議，用於節點到節點的資料交換，更適合使用很少的頻寬和處理時間在節點之間交換資訊。

Redis 叢集和 Docker

目前 Redis Cluster 不支援 NATted 環境，也不支援重新對映 IP 地址或 TCP 埠的一般環境。

Docker 使用一種稱為埠對映的技術：與程式認為正在使用的埠相比，在 Docker 容器內執行的程式可能會使用不同的埠公開。這對於在同一伺服器中同時使用相同埠執行多個容器非常有用。

為了使 Docker 相容 Redis Cluster，需要使用Docker的主機組網方式。請檢視docker官方文件：https://docs.docker.com/engine/userguide/networking/dockernetworks/ 的--net=host選項以獲取更多資訊。

Redis Cluster 資料分片

Redis Cluster 不使用一致雜湊，而是一種不同形式的分片，其中每個鍵在概念上都是我們所謂的雜湊槽的一部分。

Redis 叢集中有 16384 個雜湊槽，要計算給定鍵的雜湊槽是多少，我們只需取金鑰的 CRC16 模數 16384。

Redis 叢集中的每個節點都負責雜湊槽的一個子集，例如，您可能有一個包含 3 個節點的叢集，其中：

節點 A 包含從 0 到 5500 的雜湊槽。
節點 B 包含從 5501 到 11000 的雜湊槽。
節點 C 包含從 11001 到 16383 的雜湊槽。

這允許在叢集中輕鬆新增和刪除節點。例如，如果我想新增一個新節點 D，我需要將一些雜湊槽從節點 A、B、C 移動到 D。同樣，如果我想從叢集中刪除節點 A，我可以移動 A 提供的雜湊槽到 B 和 C。當節點 A 為空時，我可以將其從叢集中完全刪除。

由於將雜湊槽從一個節點移動到另一個節點不需要停止操作，因此新增和刪除節點或更改節點持有的雜湊槽百分比不需要任何停機時間。

Redis Cluster 支援多鍵操作，只要涉及到單個命令執行（或整個事務，或 Lua 指令碼執行）的所有鍵都屬於同一個雜湊槽。使用者可以使用稱為雜湊標籤的概念強制多個鍵成為同一個雜湊槽的一部分。

Redis Cluster 規範中記錄了雜湊標籤，但要點是如果鍵中的 {} 括號之間有一個子字串，則只有字串內的內容會被雜湊，因此例如this{foo}key和another{foo}key 保證在同一個雜湊槽中, 並且可以在具有多個鍵作為引數的命令中一起使用。

Redis Cluster 主副本模型

為了在主節點子集出現故障或無法與大多數節點通訊時保持可用，Redis 叢集使用主副本模型，其中每個雜湊槽具有從 1（主節點本身）到 N 個副本（N -1 個額外的副本節點）。

在我們包含節點 A、B、C 的示例叢集中，如果節點 B 發生故障，叢集將無法繼續，因為我們不再有辦法為 5501-11000 範圍內的雜湊槽提供服務。

然而，當叢集建立時（或稍後），我們為每個主節點新增一個副本節點，這樣最終的叢集由主節點 A、B、C 和副本節點 A1、B1、C1 組成. 這樣，如果節點 B 出現故障，系統就能夠繼續執行。

節點 B1 複製 B，並且 B 失敗，叢集會將節點 B1 提升為新的 master 並繼續正常執行。

但是需要注意的是，如果節點 B 和 B1 同時發生故障，Redis Cluster 將無法繼續執行。

Redis 叢集一致性保證

Redis Cluster 無法保證強一致性。實際上，這意味著在某些情況下，Redis Cluster 可能會丟失系統已向客戶端確認的寫入。

Redis Cluster 會丟失寫入的第一個原因是因為它使用非同步複製。這意味著在寫入期間會發生以下情況：

您的客戶端寫入主 B。
主 B 向您的客戶端回覆 OK。
主 B 將寫入傳播到其副本 B1、B2 和 B3。

如您所見，B 在回覆客戶端之前不會等待來自 B1、B2、B3 的確認，因為這對 Redis 來說是一個令人望而卻步的延遲懲罰，因此如果您的客戶端寫入某些內容，B 會確認寫入，但會在此之前崩潰能夠將寫入傳送到其副本，其中一個副本（未收到寫入）可以提升為主，永遠失去寫入。

這與大多數配置為每秒將資料重新整理到磁碟的資料庫發生的情況非常相似，因此您已經能夠推理出這種情況，因為過去使用不涉及分散式系統的傳統資料庫系統的經驗。同樣，您可以通過強制資料庫在回覆客戶端之前將資料重新整理到磁碟來提高一致性，但這通常會導致效能低得令人望而卻步。在 Redis Cluster 的情況下，這相當於同步複製。

基本上，需要在效能和一致性之間進行權衡。

Redis 叢集在絕對需要時支援同步寫入，通過WAIT命令實現。這使得丟失寫入的可能性大大降低。但是，請注意，即使使用同步複製，Redis Cluster 也沒有實現強一致性：在更復雜的故障場景下，始終有可能將無法接收寫入的副本選為 master。

還有一個值得注意的場景是 Redis 叢集將丟失寫入，這種情況發生在網路分割槽期間，客戶端與少數例項（至少包括一個主例項）隔離。

以我們的 6 個節點叢集為例，它由 A、B、C、A1、B1、C1 組成，有 3 個主節點和 3 個副本節點。還有一個客戶端，我們將其稱為 Z1。

分割槽發生後，可能在分割槽的一側有 A、C、A1、B1、C1，而在另一側有 B 和 Z1。

Z1 仍然能夠寫入 B，B 將接受其寫入。如果分割槽在很短的時間內癒合，叢集將正常繼續。但是，如果分割槽持續足夠的時間讓 B1 在分割槽的多數側提升為 master，則 Z1 同時傳送給 B 的寫入將丟失。

請注意，Z1 能夠傳送到 B 的寫入量有一個最大視窗：如果分割槽的多數方已經有足夠的時間來選舉一個副本作為主節點，那麼少數方的每個主節點都將停止接受寫入。

這個時間量是 Redis Cluster 的一個非常重要的配置指令，稱為節點超時。

節點超時後，主節點被視為發生故障，並且可以由其副本之一替換。類似地，在節點超時後，主節點無法感知大多數其他主節點，它會進入錯誤狀態並停止接受寫入。

二、最終可用的yaml檔案

部署的是三個master,三個slave的redis-cluster叢集

1. redis-cluster.yaml

(1)如果叢集節大於6臺，可以放開116-127行的註釋。

(2)redis叢集密碼修改

　　63-64，163行 "PASSWORD" ,可根據自己情況進行修改。

(3)儲存類修改

　　修改192行 storageClassName: YOU-K8S-SC 為自己的儲存類.

　　195行儲存大小根據自己情況確定。

redis-cluster.yaml 檔案內容如下

  1 ---
  2 apiVersion: v1
  3 kind: ConfigMap
  4 metadata:
  5   name: init-cluster
  6 data:
  7   init_cluster.sh: |
  8     #!/bin/bash
  9     ns=$NAMESPACE
 10     RedisPwd=$1 
 11     cluster_domain=`awk '/search/{print $NF}'  /etc/resolv.conf`
 12     
 13     function cluster_init(){
 14         sleep 3
 15         n0=`/usr/bin/dig  +short redis-cluster-0.redis-service.${ns}.svc.${cluster_domain}`
 16         n1=$(/usr/bin/dig +short redis-cluster-1.redis-service.${ns}.svc.${cluster_domain})
 17         n2=$(/usr/bin/dig +short redis-cluster-2.redis-service.${ns}.svc.${cluster_domain})
 18         n3=$(/usr/bin/dig +short redis-cluster-3.redis-service.${ns}.svc.${cluster_domain})
 19         n4=$(/usr/bin/dig +short redis-cluster-4.redis-service.${ns}.svc.${cluster_domain})
 20         n5=`ip a|grep inet|tail -1|awk '{print $2}'|awk -F "/" '{print $1}'`
 21         #n5=`/usr/bin/dig  +short redis-cluster-5.redis-service.${ns}.svc.cluster.local`
 22         #n5=$(/usr/bin/dig +short redis-cluster-5.redis-service.${ns}.svc.cluster.local)
 23         echo "0:$n0 1:$n1 2:$n2 3:$n3 4:$n4 5:$n5"
 24         echo yes | /usr/local/bin/redis-cli -a $RedisPwd  --cluster create ${n0}:6379 ${n1}:6379 ${n2}:6379 ${n3}:6379 ${n4}:6379 ${n5}:6379 --cluster-replicas 1 && echo "redis-cluster init finshed" || echo "xxxx.... "
 25     }
 26     
 27     function set_password(){
 28         sleep 5
 29         echo "start save cluster password"
 30         /usr/local/bin/redis-cli -h redis-cluster -p 6379 config set masterauth $RedisPwd && \
 31         /usr/local/bin/redis-cli -h redis-cluster config set requirepass $RedisPwd
 32         echo "end save cluster password"
 33         sleep 1
 34         
 35        # for i in $(seq 0 5)
 36        # do
 37        #     redis_host=redis-cluster-${i}.redis-service.${ns}.svc.${cluster_domain}
 38        #     /usr/local/bin/redis-cli -h ${redis_host} -a $RedisPwd config set masterauth  $RedisPwd
 39        #     /usr/local/bin/redis-cli -h ${redis_host} config set requirepass $RedisPwd
 40        #     /usr/local/bin/redis-cli -h ${redis_host} -a $RedisPwd  config rewrite
 41        # done
 42     }
 43     cluster_init && set_password
 44     echo "ok......"
 45 
 46 ---
 47 apiVersion: v1
 48 kind: ConfigMap
 49 metadata:
 50   name: redis-cluster-config
 51 data:
 52   redis.conf: |
 53     bind 0.0.0.0
 54     appendonly yes
 55     cluster-enabled yes
 56     cluster-config-file nodes.conf
 57     cluster-node-timeout 5000
 58     dir /data/
 59     port 6379
 60     pidfile /var/run/redis.pid
 61     logfile "redis.log"
 62     protected-mode no
 63     masterauth "PASSWORD"
 64     requirepass "PASSWORD"
 65 
 66 ---
 67 apiVersion: v1
 68 kind: Service
 69 metadata:
 70   name: redis-service
 71   labels:
 72     app: redis-cluster
 73 spec:
 74   ports:
 75   - name: redis-port
 76     port: 6379
 77   clusterIP: None
 78   selector:
 79     app: redis-cluster
 80     appCluster: redis-cluster
 81 ---
 82 apiVersion: v1
 83 kind: Service
 84 metadata:
 85   name: redis-cluster
 86   labels:
 87     app: redis-cluster
 88 spec:
 89   ports:
 90   - name: redis-port
 91     protocol: "TCP"
 92     port: 6379
 93     targetPort: 6379
 94   selector:
 95     app: redis-cluster
 96     appCluster: redis-cluster
 97 
 98 ---
 99 apiVersion: apps/v1
100 kind: StatefulSet
101 metadata:
102   name: redis-cluster
103 spec:
104   serviceName: "redis-service"
105   replicas: 6
106   selector:
107     matchLabels:
108       app: redis-cluster
109   template:
110     metadata:
111       labels:
112         app: redis-cluster
113         appCluster: redis-cluster
114     spec:
115       terminationGracePeriodSeconds: 20
116 #      affinity:
117 #        podAntiAffinity:
118 #          preferredDuringSchedulingIgnoredDuringExecution:
119 #          - weight: 100
120 #            podAffinityTerm:
121 #              labelSelector:
122 #                matchExpressions:
123 #                - key: app
124 #                  operator: In
125 #                  values:
126 #                  - redis-cluster
127 #              topologyKey: kubernetes.io/hostname
128       containers:
129       - name: redis
130         image: linuxpy/redis:cluster-v3
131         imagePullPolicy: Always
132         env:
133           - name: NAMESPACE
134             valueFrom:
135               fieldRef:
136                 fieldPath: metadata.namespace
137           - name: POD_NAME
138             valueFrom:
139               fieldRef:
140                 fieldPath: metadata.name
141           - name: MY_POD_IP
142             valueFrom:
143               fieldRef:
144                 fieldPath: status.podIP
145         command:
146           - "redis-server" 
147         args:
148           - /usr/local/etc/redis.conf
149           - --cluster-announce-ip
150           - "$(MY_POD_IP)"
151         resources: 
152           requests:  
153             cpu: "100m"                  
154             memory: "100Mi" 
155         lifecycle:
156           postStart:
157             exec:
158               command:
159               - /bin/bash
160               - -c
161               - > 
162                 if [ `hostname` = "redis-cluster-5" ]; then
163                 bash /opt/init_cluster.sh "PASSWORD" 1>/tmp/init.log 2>&1;
164                 fi;
165         ports:
166           - name: redis
167             containerPort: 6379
168             protocol: "TCP"
169           - name: cluster
170             containerPort: 16379
171             protocol: "TCP"
172         volumeMounts:
173           - name: "data" 
174             mountPath: "/data/"
175           - name: redis-cluster-config
176             mountPath: /usr/local/etc/
177           - name: init-cluster
178             mountPath: /opt/
179       volumes:
180         - name: redis-cluster-config
181           configMap:
182             name: redis-cluster-config
183         - name: init-cluster
184           configMap:
185             name: init-cluster
186 
187   volumeClaimTemplates:
188   - metadata:
189       name: data
190     spec:
191       accessModes: [ "ReadWriteOnce" ]
192       storageClassName: YOU-K8S-SC
193       resources:
194         requests:
195           storage: 1Gi

2.部署redis-cluster

kubectl -n xxxx apply -f redis-cluster.yaml

3.驗證

連線叢集, 一定要使用 -c ，指明是連線redis叢集，-a 是指定密碼。

redis-cli -h redis-cluster -a abcd -c

二、詳細過程

如果你對具體的過程沒有興趣，只想找一個能用得yaml檔案，那就不用往下看了。

1.叢集初始化指令碼 init_cluster.sh

$NAMESPACE k8s通過環境變數傳進來, redis叢集密碼通過變數傳進來

#!/bin/bash
ns=$NAMESPACE
RedisPwd=$1 
cluster_domain=`awk '/search/{print $NF}'  /etc/resolv.conf`

function cluster_init(){
    sleep 3
    n0=`/usr/bin/dig  +short redis-cluster-0.redis-service.${ns}.svc.${cluster_domain}`
    n1=$(/usr/bin/dig +short redis-cluster-1.redis-service.${ns}.svc.${cluster_domain})
    n2=$(/usr/bin/dig +short redis-cluster-2.redis-service.${ns}.svc.${cluster_domain})
    n3=$(/usr/bin/dig +short redis-cluster-3.redis-service.${ns}.svc.${cluster_domain})
    n4=$(/usr/bin/dig +short redis-cluster-4.redis-service.${ns}.svc.${cluster_domain})
    n5=`ip a|grep inet|tail -1|awk '{print $2}'|awk -F "/" '{print $1}'`
    #n5=`/usr/bin/dig  +short redis-cluster-5.redis-service.${ns}.svc.cluster.local`
    #n5=$(/usr/bin/dig +short redis-cluster-5.redis-service.${ns}.svc.cluster.local)
    echo "0:$n0 1:$n1 2:$n2 3:$n3 4:$n4 5:$n5"
    echo yes | /usr/local/bin/redis-cli -a $RedisPwd  --cluster create ${n0}:6379 ${n1}:6379 ${n2}:6379 ${n3}:6379 ${n4}:6379 ${n5}:6379 --cluster-replicas 1 && echo "redis-cluster init finshed" || echo "xxxx.... "
}

function set_password(){
    sleep 5
    echo "start save cluster password"
    /usr/local/bin/redis-cli -h redis-cluster -p 6379 config set masterauth $RedisPwd && \
    /usr/local/bin/redis-cli -h redis-cluster config set requirepass $RedisPwd
    echo "end save cluster password"
    sleep 1
    
   # for i in $(seq 0 5)
   # do
   #     redis_host=redis-cluster-${i}.redis-service.${ns}.svc.${cluster_domain}
   #     /usr/local/bin/redis-cli -h ${redis_host} -a $RedisPwd config set masterauth  $RedisPwd
   #     /usr/local/bin/redis-cli -h ${redis_host} config set requirepass $RedisPwd
   #     /usr/local/bin/redis-cli -h ${redis_host} -a $RedisPwd  config rewrite
   # done
}
cluster_init && set_password
echo "ok......"

2.sources.list 檔案

這裡使用阿里雲映象，目的是安裝軟體，讓映象中有dig命令來獲取各個節點得IP地址。

deb http://mirrors.aliyun.com/debian/ buster main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster main non-free contrib
deb http://mirrors.aliyun.com/debian-security buster/updates main
deb-src http://mirrors.aliyun.com/debian-security buster/updates main
deb http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib
deb http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib

3. 製作映象的Dockerfile

FROM redis:5.0
ADD sources.list /etc/apt/sources.list
ADD redis.conf init_cluster.sh /usr/local/etc/
RUN apt-get update && apt-get install dnsutils iproute2 -y && apt-get clean && rm -rf /var/lib/apt/lists/*

4.製作映象

docker build -t you-redis:cluster-v3 .

5.遇到的問題

init_cluster.sh檔案中獲取最後一個pod的ip，不知道為什麼後而種方式死活就是不行

n5=`ip a|grep inet|tail -1|awk '{print $2}'|awk -F "/" '{print $1}'`
#n5=`/usr/bin/dig  +short redis-cluster-5.redis-service.${ns}.svc.cluster.local`
#n5=$(/usr/bin/dig +short redis-cluster-5.redis-service.${ns}.svc.cluster.local)

參考：https://redis.io/topics/cluster-tutorial

Redis-cluster叢集搭建部署
2020-12-20
Redis
Kubernetes(k8s)叢集部署（k8s企業級Docker容器集
2021-09-09
K8SDocker
kubeadm部署K8S叢集
2021-01-18
K8S
Ansible部署K8s叢集
2022-02-28
K8S
Kubernetes部署叢集Mysql服務
2023-03-10
MySql
k8s 部署生產vault叢集
2020-06-21
K8S
Kubernetes 部署 Nebula 圖資料庫叢集
2020-02-26
資料庫
基於containerd 部署 kubernetes 1.28叢集
2024-03-29
AI
在滴滴雲上搭建 Redis-Cluster 叢集
2018-12-26
Redis
Kubernetes (k8s) 叢集部署（五）完整版
2020-06-10
K8S
Kubernetes (k8s) 叢集部署（一）完整版
2020-06-09
K8S
Kubernetes (k8s) 叢集部署（二）完整版
2020-06-09
K8S
Kubernetes (k8s) 叢集部署（三）完整版
2020-06-09
K8S
Kubernetes (k8s) 叢集部署（四）完整版
2020-06-09
K8S
通過kubeadm工具部署k8s叢集
2022-01-25
K8S
【k8s】使用Terraform一鍵部署EKS叢集
2021-12-03
K8SORM
基於kubeasz部署高可用k8s叢集
2023-04-23
K8S
Containerd+Kubernetes搭建k8s叢集教程。
2024-03-15
AIK8S
使用Rancher在Kubernetes上部署EMQ X叢集
2019-12-23
MQ
日誌分析系統 - k8s部署ElasticSearch叢集
2022-01-05
K8SElasticsearch
純手工搭建k8s叢集-(2)核心模組部署
2021-09-09
K8S
Kubernetes實戰：高可用叢集的搭建和部署
2021-07-22
利用 Kubeadm部署 Kubernetes 1.13.1 叢集實踐錄
2018-12-27
容器化 | 在 Kubernetes 上部署 RadonDB MySQL 叢集
2022-09-19
MySql
【趙強老師】使用kubeadmin部署K8s叢集
2020-04-24
K8S
k8s叢集部署
2021-02-08
K8S
在kubernetes 叢集內訪問k8s API服務
2019-05-13
K8SAPI
極簡的配置單節點Kubernetes（k8s）叢集
2018-12-15
K8S
使用 Kubeadm+Containerd 部署一個 Kubernetes 叢集
2022-01-26
AI
實踐展示openEuler部署Kubernetes 1.29.4版本叢集
2024-04-22
使用Kubeadm建立k8s叢集之部署規劃（三十）
2019-07-24
K8S
1.還不會部署高可用的kubernetes叢集?看我手把手教你使用二進位制部署v1.23.6的K8S叢集實踐(上)
2022-05-19
K8S
docker部署mysql叢集
2021-07-30
DockerMySql
Docker部署ElasticSearch叢集
2021-01-18
DockerElasticsearch
Kubernetes 叢集搭建（上）
2020-06-02
Kubernetes 叢集搭建（下）
2020-06-02
Kubernetes叢集搭建（vagrant）
2019-05-01
kubernetes與web叢集
2018-12-13
Web