支撐微博億級社交平臺，小白也能玩轉Redis叢集(實戰篇)

分散式系統架構發表於2019-11-06
Redis

上篇文章《支撐微博億級社交平臺，小白也能玩轉Redis叢集(原理篇)》介紹了Redis叢集相關原理，這篇文章將介紹Redis Cluster叢集的搭建、配置，運維、擴容等具體操作

叢集搭建

2018年10月 Redis 釋出了穩定版本的 5.0 版本，推出了各種新特性，其中一點是叢集管理工具從基於Ruby的redis-trib.rb移植到基於C語言redis-cli中，方便叢集的構建和管理

Redis Cluster叢集執行至少需要包含3個主節點，實現高可用最少需要3主3從6個節點

以下步驟基於Redis 5.0.5版本，介紹如何在一臺 Linux 伺服器上搭建有3主3從的6節點的 Redis叢集

  • 步驟1 建立安裝目錄
mkdir -p /data/project/redis-cluster
複製程式碼
  • 步驟2 下載原始碼並解壓編譯
cd /data/project/redis-cluster
wget http://download.redis.io/releases/redis-5.0.5.tar.gz
tar xzf redis-5.0.5.tar.gz
cd redis-5.0.5
make
複製程式碼

執行make後，如果報錯“jemalloc/jemalloc.h：沒有那個檔案或目錄”，可以改為用以下命令：

make MALLOC=libc
複製程式碼
  • 步驟3 建立6個Redis配置檔案 6個配置檔案不能在同一個目錄，下面Redis 6個節點分別安裝在7000~7005埠 首先建立配置檔案目錄及檔案，定義如下：
mkdir -p /data/project/redis-cluster/nodes/7000
mkdir -p /data/project/redis-cluster/nodes/7001
mkdir -p /data/project/redis-cluster/nodes/7002
mkdir -p /data/project/redis-cluster/nodes/7003
mkdir -p /data/project/redis-cluster/nodes/7004
mkdir -p /data/project/redis-cluster/nodes/7005

touch /data/project/redis-cluster/nodes/7000/redis.conf
touch /data/project/redis-cluster/nodes/7001/redis.conf
touch /data/project/redis-cluster/nodes/7002/redis.conf
touch /data/project/redis-cluster/nodes/7003/redis.conf
touch /data/project/redis-cluster/nodes/7004/redis.conf
touch /data/project/redis-cluster/nodes/7005/redis.conf
複製程式碼

redis.conf配置檔案的內容為：

############################## 網路 ##############################
# 埠
port 7000
# 非保護模式，如果值為yes，則必須是 bind配置指定的ip的機器連線或者使用密碼連線
protected-mode no 

############################## 通用 ##############################
# 後臺執行
daemonize yes 
# 記錄redis程式pid
pidfile  /var/run/redis_7000.pid

############################## 叢集 ##############################
# 啟用叢集模式
cluster-enabled yes 
cluster-config-file nodes_7000.conf
# 叢集節點如果在該超時時間(毫秒)內不可達，則認為節點處於故障狀態
cluster-node-timeout 15000

############################## 持久化 ##############################
# AOF, RDB持久化檔案目錄
dir /data/project/redis-cluster/nodes
# 開啟AOF持久化
appendonly yes
# AOF檔名
appendfilename "appendonly_7000.aof"
# 當目前aof檔案大小超過上一次重寫的aof檔案大小的百分之多少進行重寫
auto-aof-rewrite-percentage 100
# 設定允許重寫的最小aof檔案大小，避免了達到約定百分比但尺寸仍然很小的情況還要重寫
auto-aof-rewrite-min-size 64mb
# RDB檔名
dbfilename dump_7000.rdb
複製程式碼

其中 port 、 pidfile、cluster-config-file、appendfilename、 dbfilename配置需要隨著節點的不同而調整

配置項說明可以參考redis-5.0.5/redis.conf，每一項都介紹得很詳細，推薦閱讀

  • 步驟4 啟動節點
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7000/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7001/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7002/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7003/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7004/redis.conf
/data/project/redis-cluster/redis-5.0.5/src/redis-server /data/project/redis-cluster/nodes/7005/redis.conf
複製程式碼

ps -ef|grep redis，可以看到6個redis程式已啟動：

支撐微博億級社交平臺，小白也能玩轉Redis叢集(實戰篇)

  • 步驟5 啟動叢集 使用如下命令啟動叢集，IP地址自行替換：
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster create 192.168.56.102:7000 192.168.56.102:7001 192.168.56.102:7002 192.168.56.102:7003 192.168.56.102:7004 192.168.56.102:7005 --cluster-replicas 1
複製程式碼

啟動成功資訊如下：

支撐微博億級社交平臺，小白也能玩轉Redis叢集(實戰篇)

到此，Redis Cluster 叢集搭建完成

叢集資訊檢視

Redis5的redis-cli新增系列叢集運維功能，檢視命令詳情：

/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster help
複製程式碼

支撐微博億級社交平臺，小白也能玩轉Redis叢集(實戰篇)

命令引數具體作用可以參考官方文件，下面會基於其中一些常用命令對叢集進行管理

  • 檢查節點狀態
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster check 192.168.56.102:7000
複製程式碼

支撐微博億級社交平臺，小白也能玩轉Redis叢集(實戰篇)

  • 檢視叢集資訊
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster info 192.168.56.102:7000
複製程式碼

支撐微博億級社交平臺，小白也能玩轉Redis叢集(實戰篇)

叢集擴容

叢集現在有3主3從，下面新增4個節點擴容變成5主5從

  • 步驟1 啟動新節點 建立4個Redis配置檔案，埠號為7006~7009，然後啟動節點(參考“叢集搭建”的步驟3和步驟4)
  • 步驟2 新節點加入叢集 設定4個節點分別加入已有redis叢集，2個為主節點，2個為從節點
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7006 192.168.56.102:7005 
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7007 192.168.56.102:7005 

# 24e2c是節點7006的id，代表該節點加入叢集併為7006的從節點
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7008 192.168.56.102:7005 --cluster-slave --cluster-master-id 24e2c369678952b07d95c0a4b49c2d7a7b2e2bf7 
# 24e2c是節點7007的id，代表該節點加入叢集併為7007的從節點
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster add-node 192.168.56.102:7009  192.168.56.102:7005 --cluster-slave --cluster-master-id ab0f74a19819a74238df7a510494e9418678cbe1
複製程式碼

此時叢集狀態如下，其中主節點7006和主節點7007還沒分配任何slot，在下面的步驟會進行分配：

支撐微博億級社交平臺，小白也能玩轉Redis叢集(實戰篇)

  • 步驟3 模擬slot重新平衡分配 基於rebalance命令，增加--cluster-simulat引數，檢視會遷移哪些slots，而不會真正執行遷移操作
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster rebalance 192.168.56.102:7000 --cluster-threshold 1 --cluster-use-empty-masters  --cluster-simulat
複製程式碼

返回以下遷移資訊：

支撐微博億級社交平臺，小白也能玩轉Redis叢集(實戰篇)

  • 步驟4 執行slot重新平衡分配 執行rebalance命令，平衡叢集節點slot數量，重新分配slot( 去掉--cluster-simulat)
/data/project/redis-cluster/redis-5.0.5/src/redis-cli --cluster rebalance 192.168.56.102:7000 --cluster-threshold 1 --cluster-use-empty-masters
複製程式碼

支撐微博億級社交平臺，小白也能玩轉Redis叢集(實戰篇)

至此，叢集擴容完成，叢集縮容的話，需要基於reshard將需被下線的結點中的slot移到其他結點，然後基於del-node命令刪除結點

總結

這篇文章介紹Redis Cluster叢集一些基本實現，篇幅所限，後面有機會再展開介紹Redis一些線上問題踩坑經驗、監控運維平臺建設，歡迎繼續關注

參考

redis cluster管理工具redis-trib-rb詳解 weizijun.cn/2016/01/08/…

支撐微博億級社交平臺，小白也能玩轉Redis叢集(實戰篇)

相關文章