基於 Redis3.2.4 叢集搭建說明

lihuayang發表於2019-01-19

摘要

用兩臺虛擬機器（ip: 10.60.44.76、ip: 10.60.44.105）共 6 個節點，一臺虛擬機器 3 個節點，模擬出 3 master、3 salve 環境

redis 版本：redis-3.2.4
linux 版本：centos6.5（ip: 10.60.44.76）、centos7.0（ip: 10.60.44.105）

注意：

一個 redis 例項就是一個節點
linux 最好是都在 root 許可權下操作
redis-cluster 最小配置是三主三從
關閉防火牆（節點與節點之間通訊需要開放指定的埠，單純為了方便，在生產環境忌用）

centos 6.5

service iptables stop # 關閉命令：
chkconfig iptables off # 永久關閉防火牆
service iptables status # 兩個命令同時執行，執行完成後檢視防火牆關閉狀態

centos 7.0

systemctl stop firewalld.service # 停止firewall
systemctl disable firewalld.service # 禁止firewall開機啟動
firewall-cmd --state # 檢視預設防火牆狀態（關閉後顯示notrunning，開啟後顯示running）

一、下載安裝包

安裝包在附件 redis-3.2.4.tar.gz。也可以使用 wget 外掛下載

wget http://download.redis.io/releases/redis-3.2.4.tar.gz

二、單點安裝部署

單點指的是一個 redis 例項，需要先下載 redis 的原始碼，接著進行編譯、安裝，完成通過命令啟動該例項

解壓、編譯、安裝

[root@localhost Desktop]# tar zxvf redis-3.2.4.tar.gz
[root@localhost Desktop]# cd redis-3.2.4
[root@localhost redis-3.2.4]# cd src && make install

建立相關目錄

# 存放 redis 相關命令檔案
[root@localhost src]# mkdir -p /usr/local/redis/bin
# 存放 redis 的配置檔案
[root@localhost src]# mkdir -p /usr/local/redis/etc

移動命令、配置檔案

# 移動 redis 配置檔案（配置檔案在解壓好的目錄）
[root@localhost redis-3.2.4]# mv redis.conf /usr/local/redis/etc
# 移動 redis 命令檔案（命令檔案在解壓好的目錄中的 src 目錄）
[root@localhost src]# mv mkreleasehdr.sh redis-benchmark redis-check-aof redis-check-rdb redis-cli redis-server redis-sentinel redis-trib.rb /usr/local/redis/bin

啟動服務

# 指定配置檔案啟動 redis
[root@localhost src]# /usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf

檢視狀態

# 或者是 netstat -tunpl | grep 6379
ps -ef | grep redis

三、叢集搭建部署

建立叢集節點資料夾

名為 7031-7033 的資料夾置於 10.60.44.76 的機子中，7034-7036 資料夾置於 10.60.44.105 的機子中

mkdir -p /usr/local/redis-cluster
cd /usr/local/redis-cluster
# 建立各個節點資料夾
mkdir 7031 7032 7033 # IP 為 10.60.44.76 的機子上執行
mkdir 7034 7035 7036 # IP 為 10.60.44.105 的機子上執行

修改、拷貝配置檔案

此處以 10.60.44.76 的機子為例，另一臺操作一致

cp /usr/local/redis/etc/redis.conf /usr/local/redis-cluster/7031
cd /usr/local/redis-cluster/7031
vi redis.conf

修改配置檔案，範本如下

port 7031     # 繫結埠
bind 本機ip    # 物理 ip：如 10.60.44.76 
dir /usr/local/redis-cluster/7031 # 指定資料存放路徑
cluster-enabled yes # 啟動叢集模式
cluster-config-file redis-7031.conf # 指定叢集節點配置檔案
daemonize yes # 後臺啟動
cluster-node-timeout 5000 # 指定叢集節點超時時間
appendonly yes # 指定持久化方式

將 7031 的 redis.conf 改完後再拷貝到剩下的 2 個目錄（7032、7033）中，再全域性替換 redis.conf 中的 7031 為對應的節點編號（7032、7033）即可。同理得 10.60.44.105 機子

移動完後 ip 為 10.60.44.76 的 /usr/local/ 目錄結構圖如下：（10.60.44.105 同理）

[root@localhost local]# cd /usr/local/ && tree -L 3
.
├── bin
.......
├── redis
│   ├── bin
│   │   ├── mkreleasehdr.sh
│   │   ├── redis-benchmark
│   │   ├── redis-check-aof
│   │   ├── redis-check-rdb
│   │   ├── redis-cli
│   │   ├── redis-sentinel
│   │   ├── redis-server
│   │   └── redis-trib.rb
│   └── etc
│       └── redis.conf
├── redis-cluster
│   ├── 7031
│   │   └── redis.conf
│   ├── 7032
│   │   └── redis.conf
│   └── 7033
│       └── redis.conf
.......
└── src

安裝 Ruby 和啟動外掛

叢集的啟動需要用到 Ruby 實現的 redis-trib.rb 外掛，所以需要先安裝 Ruby 環境和其外掛，命令如下：

# 步驟一：建議不使用 yum 安裝。使用網上自己下載原始碼的形式安裝，版本可以稍微新一點
yum install ruby
# 步驟二：一般不會出錯
yum install rubygems
# 步驟三：容易出錯，下面有常見解決方案
gem install redis

此步驟需要很多環境，容易出錯，附上常見錯誤解決方法：

錯誤一：no such file to load — zlib

進入 ruby 原始碼資料夾並安裝 ruby 自身提供的 zlib 包

[root@localhost ruby-2.3.3]# cd ext/zlib
[root@localhost zlib]# ruby ./extconf.rb
[root@localhost zlib]# make
[root@localhost zlib]# make install

錯誤二：–with-openssl-include=/usr/local/ssl/include/ –with-openssl-lib=/usr/local/ssl/lib

處理方法同錯誤一：

[root@localhost ruby-2.3.3]# cd ext/openssl
[root@localhost zlib]# ruby ./extconf.rb
[root@localhost zlib]# make
[root@localhost zlib]# make install

錯誤三：Unable to require openssl, install OpenSSL and rebuild ruby (preferred) or use non-HTTPS sources

首先檢視一下 $openssl version 是不是安裝了 OpenSSL

[root@localhost /]# openssl version
OpenSSL 1.0.1e-fips 11 Feb 2013

沒有，則新安裝一個 OpenSSL，具體教程不展開。如果有，則更換 gem 源的地址：

# 檢視 gem 源
[root@localhost /]# gem source
# 刪除 https 源 
[root@localhost /]# gem source -r https://rubygems.org/ to remove
# 新增 http 源
[root@localhost /]# gem source -a http://rubygems.org/ to read

開啟叢集個節點

在兩臺機子中分別執行下面命令，啟動叢集中的每個節點

 # 10.60.44.76
for((i=1;i<=3;i++)); do /usr/local/redis/bin/redis-server /usr/local/redis-cluster/703$i/redis.conf; done
# 10.60.44.105
for((i=4;i<=6;i++)); do /usr/local/redis/bin/redis-server /usr/local/redis-cluster/703$i/redis.conf; done

檢視各節點狀態

檢視節點的開啟狀態

ps -ef | grep redis-server

結果如下：

### 10.60.44.76
root      18992      1  0 04:37 ?        00:00:09 /usr/local/redis/bin/redis-server 10.60.44.76:7031 [cluster]              
root      18994      1  0 04:37 ?        00:00:09 /usr/local/redis/bin/redis-server 10.60.44.76:7032 [cluster]              
root      18998      1  0 04:37 ?        00:00:10 /usr/local/redis/bin/redis-server 10.60.44.76:7033 [cluster]              
root      41471  16554  0 05:29 pts/2    00:00:00 grep redis-server
### 10.60.44.105
root      50565      1  0 04:37 ?        00:00:07 /usr/local/redis/bin/redis-server 10.60.44.105:7034 [cluster]
root      50567      1  0 04:37 ?        00:00:08 /usr/local/redis/bin/redis-server 10.60.44.105:7035 [cluster]
root      50571      1  0 04:37 ?        00:00:08 /usr/local/redis/bin/redis-server 10.60.44.105:7036 [cluster]
root      51273  34592  0 05:29 pts/1    00:00:00 grep --color=auto redis-server

建立叢集

每個節點正常開啟後，在兩臺機子任意一臺上執行：

/usr/local/redis/bin/redis-trib.rb create --replicas 1 10.60.44.76:7031 10.60.44.76:7032 10.60.44.76:7033 10.60.44.105:7034 10.60.44.105:7035 10.60.44.105:7036

連線叢集檢視狀態

登入客戶端，並測試讀寫（記得要加上 -c 選項，不然會報錯）

# 10.60.44.76
/usr/local/redis/bin/redis-cli -c -h 10.60.44.76 -p 7031
cluster info # 顯示叢集資訊

顯示欄位 cluster_state:ok 為正常執行狀態，說明叢集搭建成功

使用 cluster nodes 檢視叢集各節點的當前狀態，可以檢視主從節點的分配和連線和情況。如下：

10.60.44.76:7031> cluster nodes
1212605fcb1dd351d07d167c26b368e992c85723 10.60.44.76:7032 slave 1baa876789f68ed2e273ab7cb1d4e954fa7fc60c 0 1498187489957 11 connected
396e92e2e8207be6a4a93e29fd16670656477131 10.60.44.105:7036 master - 0 1498187486928 9 connected 5461-10922
37ecfb611a8201ce2bf40a2bf0ce398704083baf 10.60.44.76:7031 slave 396e92e2e8207be6a4a93e29fd16670656477131 0 1498187488947 9 connected
82326f032fc040d7ed59f87ee9ddd500ad19d704 10.60.44.76:7033 slave 135173619dfc7bdbef98f5d5f07d6b1fcd6474dc 0 1498187483893 6 connected
1baa876789f68ed2e273ab7cb1d4e954fa7fc60c 10.60.44.105:7034 master - 0 1498187487937 11 connected 0-5460
135173619dfc7bdbef98f5d5f07d6b1fcd6474dc 10.60.44.105:7035 myself,master - 0 0 3 connected 10923-16383

關閉叢集

關閉叢集需要將節點逐個關閉，可以使用指令碼自動完成：

# 10.60.44.76
for((i=1;i<=3;i++)); do /usr/local/redis/bin/redis-cli -c -h 10.60.44.76 -p 703$i shutdown; done 
# 10.60.44.105
for((i=4;i<=6;i++)); do /usr/local/redis/bin/redis-cli -c -h 10.60.44.105 -p 703$i shutdown; done

刪除叢集檔案

每次新建立叢集之前需要將自動生成的配置檔案和資料庫刪除，命令如下：

# 10.60.44.76
for((i=1;i<=3;i++)); do rm -f /usr/local/redis-cluster/703$i/dump.rdb /usr/local/redis-cluster/703$i/redis-703$i.conf /usr/local/redis-cluster/703$i/appendonly.aof; done
# 10.60.44.105
for((i=4;i<=6;i++)); do rm -f /usr/local/redis-cluster/703$i/dump.rdb /usr/local/redis-cluster/703$i/redis-703$i.conf /usr/local/redis-cluster/703$i/appendonly.aof; done

四、叢集操作

當前存在叢集節點情況如下：

# 7034（主）- 7032（從）
# 7035（主）- 7033（從）
# 7036（主）- 7031（從）
82326f032fc040d7ed59f87ee9ddd500ad19d704 10.60.44.76:7033 slave 135173619dfc7bdbef98f5d5f07d6b1fcd6474dc 0 1498199288536 6 connected
396e92e2e8207be6a4a93e29fd16670656477131 10.60.44.105:7036 master - 0 1498199282454 9 connected 5461-10922
135173619dfc7bdbef98f5d5f07d6b1fcd6474dc 10.60.44.105:7035 master - 0 1498199289546 3 connected 10923-16383
1baa876789f68ed2e273ab7cb1d4e954fa7fc60c 10.60.44.105:7034 master - 0 1498199285499 11 connected 0-5460
37ecfb611a8201ce2bf40a2bf0ce398704083baf 10.60.44.76:7031 myself,slave 396e92e2e8207be6a4a93e29fd16670656477131 0 0 1 connected
1212605fcb1dd351d07d167c26b368e992c85723 10.60.44.76:7032 slave 1baa876789f68ed2e273ab7cb1d4e954fa7fc60c 0 1498199287523 11 connected

增加一個主節點

在原有的叢集之上新增一個新的主節點，需要開啟新的節點，接著將此節點新增進叢集中並分配槽，詳細如下描述：

1. 建立節點需要的相關檔案（資料夾、配置檔案）

[root@localhost /]# mkdir /usr/local/redis-cluster/7037

2. 拷貝並修改配置檔案

將配置檔案中的 7036 字串全部替換為 7037，此處不再累述

[root@localhost /]# cp /usr/local/redis-cluster/7036/redis.conf  /usr/local/redis-cluster/7037/

3. 啟動新建立的節點

[root@localhost /]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/7037/redis.conf

4. 將新節點新增進已存在叢集中成為其中一主節點

# 引數一：所要新增的新節點 ip 和埠；引數二：存在的叢集中的任意線上節點 ip 和埠
[root@localhost /]# redis-trib.rb add-node 10.60.44.105:7037 10.60.44.105:7034

成功後列印資訊如下：

>>> Adding node 10.60.44.105:7037 to cluster 10.60.44.105:7034
>>> Performing Cluster Check (using node 10.60.44.105:7034)
............... 省略
>>> Send CLUSTER MEET to node 10.60.44.105:7037 to make it join the cluster.
[OK] New node added correctly.

5. 檢視新增新節點後的叢集節點資訊

3f2c74e5888907c494b8b728210175144657f218 10.60.44.105:7037 master - 0 1498199380639 0 connected
396e92e2e8207be6a4a93e29fd16670656477131 10.60.44.105:7036 master - 0 1498199384698 9 connected 5461-10922
135173619dfc7bdbef98f5d5f07d6b1fcd6474dc 10.60.44.105:7035 master - 0 1498199381655 3 connected 10923-16383
1baa876789f68ed2e273ab7cb1d4e954fa7fc60c 10.60.44.105:7034 master - 0 1498199383685 11 connected 0-5460

6. 給新節點分配雜湊槽

[root@localhost /]# /usr/local/redis/bin/redis-trib.rb reshard 10.60.44.105:7037
# 分配多少槽點給新節點
How many slots do you want to move (from 1 to 16384)? 1000
# 哪個是接受節點？（填入新節點的 id）
What is the receiving node ID? 3f2c74e5888907c494b8b728210175144657f218
Please enter all the source node IDs.
  Type `all` to use all the nodes as source nodes for the hash slots.
  Type `done` once you entered all the source nodes IDs.
# 從所有主節點中隨機選取
Source node #1: all

7. 檢視分配槽後的叢集節點資訊

3f2c74e5888907c494b8b728210175144657f218 10.60.44.105:7037 master - 0 1498201081749 12 connected 0-332 5461-5794 10923-11255
396e92e2e8207be6a4a93e29fd16670656477131 10.60.44.105:7036 master - 0 1498201080733 9 connected 5795-10922
135173619dfc7bdbef98f5d5f07d6b1fcd6474dc 10.60.44.105:7035 master - 0 1498201082755 3 connected 11256-16383
1baa876789f68ed2e273ab7cb1d4e954fa7fc60c 10.60.44.105:7034 master - 0 1498201078714 11 connected 333-5460

增加一個從節點

在原有的叢集之上為其中一個主節點（7037）新增一個新的從節點（7038），需要開啟新的從節點，並將此節點新增進叢集中，詳細如下描述：

1. 建立節點需要的相關檔案（資料夾、配置檔案）

[root@localhost /]# mkdir /usr/local/redis-cluster/7038

2. 拷貝並修改配置檔案

將配置檔案中的 7036 字串，全部替換為 7038，此處不再累述

[root@localhost /]# cp /usr/local/redis-cluster/7036/redis.conf  /usr/local/redis-cluster/7038/

3. 啟動新建立的節點

[root@localhost /]# /usr/local/redis/bin/redis-server /usr/local/redis-cluster/7038/redis.conf

4. 將新節點新增進叢集中

# 引數一：所要新增的新節點 ip 和埠；引數二：存在的叢集中的任意線上節點 ip 和埠
[root@localhost /]# redis-trib.rb add-node 10.60.44.105:7038 10.60.44.105:7034

成功後列印資訊如下：

>>> Adding node 10.60.44.105:7038 to cluster 10.60.44.105:7034
>>> Performing Cluster Check (using node 10.60.44.105:7034)
............... 省略
>>> Send CLUSTER MEET to node 10.60.44.105:7038 to make it join the cluster.
[OK] New node added correctly.

5. 檢視新增新節點後的叢集節點資訊

9cc99dc2e2721d6712c55e293c21c7f3b9c2f95c 10.60.44.105:7038 master - 0 1498201399078 0 connected
3f2c74e5888907c494b8b728210175144657f218 10.60.44.105:7037 master - 0 1498201398374 12 connected 0-332 5461-5794 10923-11255
.......

6. 將埠為 7038 的節點置為 7037 埠的從節點

[root@localhost /]# redis-cli -c -h 10.60.44.105 -p 7038 cluster replicate 3f2c74e5888907c494b8b728210175144657f218

7. 檢視設定為從節點後的叢集節點資訊

9cc99dc2e2721d6712c55e293c21c7f3b9c2f95c 10.60.44.105:7038 slave 3f2c74e5888907c494b8b728210175144657f218 0 1498201731111 12 connected
3f2c74e5888907c494b8b728210175144657f218 10.60.44.105:7037 master - 0 1498201398374 12 connected 0-332 5461-5794 10923-11255
.......

刪除一個主節點

刪除叢集中埠為 7037 的主節點，填入叢集中叢集中任意節點 ip 埠和所要刪除節點的 id。(需要先將所擁有的槽分配到其他的主節點)

[root@localhost /]# usr/local/redis/bin/redis-trib.rb del-node 10.60.44.105:7034 3f2c74e5888907c494b8b728210175144657f218

刪除一個從節點

同理得主節點

五、叢集測試

模擬 oom（Out Of Meomery）

redis-cli debug oom

模擬當機

redis-cli debug segfault

模擬 hang

redis-cli -p 6379 DEBUG sleep 30

參考資料：

http://www.cnblogs.com/hjwubl…
http://blog.csdn.net/cfl20121…
http://www.cnblogs.com/wuxl36…
http://www.redis.cn/topics/cl…
http://wiki.jikexueyuan.com/p…

linux搭建kafka叢集，多master節點叢集說明
2022-04-06
LinuxKafkaAST
基於Dokcer搭建Redis叢集（主從叢集）
2020-12-10
Redis
Redis 叢集功能說明
2012-02-20
Redis
基於 ZooKeeper 搭建 Spark 高可用叢集
2019-06-29
Spark
基於zookeeper+leveldb搭建activemq叢集
2015-12-22
MQ
RHEL 7特性說明（六）：叢集
2014-07-16
基於 ZooKeeper 搭建 Hadoop 高可用叢集
2019-06-25
Hadoop
基於kerberos的hadoop安全叢集搭建
2021-06-20
ROSHadoop
Hadoop的叢集環境部署說明
2018-10-12
Hadoop
Redis 3.0介紹及叢集說明
2015-10-20
Redis
基於 HAProxy + KeepAlived 搭建 RabbitMQ 高可用叢集
2020-01-06
MQ
PC基於Linux的叢集環境搭建？
2003-01-01
Linux
MySQL Galera cluster叢集常用引數說明
2018-05-16
MySql
基於docker環境下搭建redis主從叢集
2020-06-22
DockerRedis
基於滴滴雲伺服器搭建 Consul 叢集
2018-12-14
伺服器
基於Kubernetes v1.24.0的叢集搭建（一）
2022-06-14
基於Kubernetes v1.24.0的叢集搭建（二）
2022-06-15
基於Kubernetes v1.24.0的叢集搭建（三）
2022-06-17
搭建zookeeper叢集（偽叢集）
2020-11-22
叢集搭建
2018-02-07
Oracle 11g RAC 叢集 SCAN IP Listener說明
2016-12-02
Oracle
基於Hadoop不同版本搭建hive叢集（附配置檔案）
2020-05-28
HadoopHive
工作日誌——基於k8s搭建spark叢集
2018-12-16
K8SSpark
基於Docker搭建Percona XtraDB Cluster資料庫叢集
2018-08-07
Docker資料庫
quay.io/coreos/etcd 基於Docker映象的叢集搭建
2016-03-23
Docker
zookeeper叢集及kafka叢集搭建
2021-06-28
Kafka
雲主機centos7搭建基於docker的hadoop叢集
2019-03-14
CentOSDockerHadoop
如何基於Jupyter notebook搭建Spark叢集開發環境
2021-10-12
Spark開發環境
DevOpsSOP 基於阿里雲VPC搭建Storm+Kafka+Zookeeper叢集
2018-03-08
dev阿里ORMKafka
Redis系列：搭建Redis叢集(叢集模式)
2020-09-23
Redis模式
redis叢集搭建
2021-09-13
Redis
nacos 叢集搭建
2021-08-09
kafka叢集搭建
2019-01-19
Kafka
Ambari叢集搭建
2018-11-28
搭建ELK叢集
2018-11-15
RabbitMQ叢集搭建
2020-12-18
MQ
HBASE叢集搭建
2020-11-29
zookeeper 叢集搭建
2020-09-23

基於 Redis3.2.4 叢集搭建說明

摘要

一、下載安裝包

二、單點安裝部署

解壓、編譯、安裝

建立相關目錄

移動命令、配置檔案

啟動服務

檢視狀態

三、叢集搭建部署

建立叢集節點資料夾

修改、拷貝配置檔案

安裝 Ruby 和啟動外掛

開啟叢集個節點

檢視各節點狀態

建立叢集

連線叢集檢視狀態

關閉叢集

刪除叢集檔案

四、叢集操作

增加一個主節點

1. 建立節點需要的相關檔案（資料夾、配置檔案）

2. 拷貝並修改配置檔案

3. 啟動新建立的節點

4. 將新節點新增進已存在叢集中成為其中一主節點

5. 檢視新增新節點後的叢集節點資訊

6. 給新節點分配雜湊槽

7. 檢視分配槽後的叢集節點資訊

增加一個從節點

1. 建立節點需要的相關檔案（資料夾、配置檔案）

2. 拷貝並修改配置檔案

3. 啟動新建立的節點

4. 將新節點新增進叢集中

5. 檢視新增新節點後的叢集節點資訊

6. 將埠為 7038 的節點置為 7037 埠的從節點

7. 檢視設定為從節點後的叢集節點資訊

刪除一個主節點

刪除一個從節點

五、叢集測試

相關文章