CentOS7 搭建 Redis 叢集

LB477發表於2021-05-11
CentOSRedis

一、手動搭建

1. 準備節點

CentOS7 安裝 Redis

節點數量至少為 6 個才能保證組成完整高可用的叢集

(1) 目錄結構

cluster
├── 9001
│   ├── data
│   │   ├── appendonly.aof
│   │   └── nodes-9001.conf
│   ├── redis-9001.conf
│   └── redis-9001.log
├── 9002
│   ├── data
│   │   ├── appendonly.aof
│   │   └── nodes-9002.conf
│   ├── redis-9002.conf
│   └── redis-9002.log
...

(2) 準備配置檔案

cd cluster
mkdir -p 9001/data 9002/data 9003/data 9004/data 9005/data 9006/data
cp ../redis-6.0.9/redis.conf 9001/redis-9001.conf
vi 9001/redis-9001.conf
    port 9001
    daemonize yes
    bind 192.168.11.40
    dir /root/cluster/9001/data/
    pidfile /var/run/redis_9001.pid
    cluster-enabled yes  # 叢集模式執行
    cluster-config-file nodes-9001.conf
    cluster-node-timeout 15000
    # appendonly yes
    logfile "/root/cluster/9001/redis-9001.log"

複製 & 替換：:%s/9001/9002/g

(3) 啟動服務

/usr/local/redis/bin/redis-server /root/cluster/9001/redis-9001.conf
...
tail 9001/redis-9001.log
kill `cat /var/run/redis_9001.pid`

啟動後會自動在 data 目錄建立叢集配置檔案nodes-9001.conf。當叢集內節點資訊發生變化時，節點會自動儲存叢集狀態到該配置檔案，最好不要手動修改。如果啟動時存在叢集配置檔案，節點會使用配置檔案內容初始化叢集資訊

$ cat 9001/data/nodes-9001.conf
8ccdb0963411ebd05ce21952bdd4b7597825afdc :0@0 myself,master - 0 0 0 connected
vars currentEpoch 0 lastVoteEpoch 0
$ /usr/local/redis/bin/redis-cli -h 192.168.11.40 -p 9001
192.168.11.40:9001> cluster nodes
8ccdb0963411ebd05ce21952bdd4b7597825afdc :9001@19001 myself,master - 0 0 0 connected

節點 ID：40 位 16 進位制字串，用於唯一標識叢集內一個節點。節點 ID 只建立一次，而執行 ID 每次重啟都會變化

2. 節點握手

節點握手指一批執行在叢集模式下的節點通過 Gossip 協議彼此通訊，以互相感知

$ /usr/local/redis/bin/redis-cli -h 192.168.11.40 -p 9001
192.168.11.40:9001> cluster meet 192.168.11.40 9002
OK
192.168.11.40:9001> cluster nodes
8ccdb0963411ebd05ce21952bdd4b7597825afdc 192.168.11.40:9001@19001 myself,master - 0 0 0 connected
5786e3237c7fa413ed22465d15be721f95e72cfa 192.168.11.40:9002@19002 master - 0 1620703357871 1 connected

cluster meet 是一個非同步命令，作用是節點彼此交換狀態資料資訊，執行之後立刻返回，在內部與目標節點進行握手通訊：

  • 節點 9001 本地建立 9002 節點資訊物件，併傳送 meet 訊息
  • 節點 9002 接受到 meet 訊息後，儲存 9001 節點資訊並回復 pong 訊息
  • 之後節點 9001 和 9002 彼此定期通過 ping/pong 訊息進行節點通訊

叢集內任意節點都可執行 cluster meet 命令來加入新節點，握手狀態會通過訊息在叢集內傳播：其他節點會自動發現新節點併發起握手流程

節點建立握手之後叢集還不能正常工作，此時叢集處於下線狀態，所有資料讀寫都被禁止。因為槽沒有分配到節點，因此叢集無法完成槽到節點的對映

192.168.11.40:9001> set hello world
(error) CLUSTERDOWN Hash slot not served
192.168.11.40:9001> cluster info
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:0
...

3. 分配槽

Redis 叢集把所有的資料對映到 16384 個槽中。只有當槽全部分配給節點後，叢集才進入線上狀態

分配槽：

/usr/local/redis/bin/redis-cli -h 192.168.11.40 -p 9001 cluster addslots {0..5461}
/usr/local/redis/bin/redis-cli -h 192.168.11.40 -p 9002 cluster addslots {5462..10922}
/usr/local/redis/bin/redis-cli -h 192.168.11.40 -p 9003 cluster addslots {10923..16383}

檢視叢集資訊：

192.168.11.40:9001> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
...
192.168.11.40:9001> cluster nodes
cebb7ed63d469748d4015ede6b4a0f5ff59c9322 192.168.11.40:9006@19006 master - 0 1620704406746 0 connected
1b7785f80c4712c6ba4abd71cc93027fa85a02f8 192.168.11.40:9005@19005 master - 0 1620704406000 4 connected
8ccdb0963411ebd05ce21952bdd4b7597825afdc 192.168.11.40:9001@19001 myself,master - 0 1620704404000 2 connected 0-5461
9408059de8b2dd712f0a9381a3b7aad561aef206 192.168.11.40:9004@19004 master - 0 1620704407753 5 connected
85ceb9826e8aa003169c46fb4ba115c72002d4f9 192.168.11.40:9003@19003 master - 0 1620704407000 3 connected 10923-16383
5786e3237c7fa413ed22465d15be721f95e72cfa 192.168.11.40:9002@19002 master - 0 1620704408763 1 connected 5462-10922

每個負責處理槽的節點應該具有從節點，保證當它出現故障時可以自動進行故障轉移

首次啟動的節點和被分配槽的節點都是主節點，從節點負責複製主節點槽資訊和相關的資料

192.168.11.40:9004> cluster replicate 8ccdb0963411ebd05ce21952bdd4b7597825afdc
OK
192.168.11.40:9005> cluster replicate 5786e3237c7fa413ed22465d15be721f95e72cfa
OK
192.168.11.40:9006> cluster replicate 85ceb9826e8aa003169c46fb4ba115c72002d4f9
OK

192.168.11.40:9001> cluster nodes
cebb7ed63d469748d4015ede6b4a0f5ff59c9322 192.168.11.40:9006@19006 slave 85ceb9826e8aa003169c46fb4ba115c72002d4f9 0 1620704825926 3 connected
1b7785f80c4712c6ba4abd71cc93027fa85a02f8 192.168.11.40:9005@19005 slave 5786e3237c7fa413ed22465d15be721f95e72cfa 0 1620704825000 1 connected
8ccdb0963411ebd05ce21952bdd4b7597825afdc 192.168.11.40:9001@19001 myself,master - 0 1620704824000 2 connected 0-5461
9408059de8b2dd712f0a9381a3b7aad561aef206 192.168.11.40:9004@19004 slave 8ccdb0963411ebd05ce21952bdd4b7597825afdc 0 1620704824921 2 connected
85ceb9826e8aa003169c46fb4ba115c72002d4f9 192.168.11.40:9003@19003 master - 0 1620704824000 3 connected 10923-16383
5786e3237c7fa413ed22465d15be721f95e72cfa 192.168.11.40:9002@19002 master - 0 1620704823914 1 connected 5462-10922

二、使用 redis-trib.rb 搭建叢集（過時）

【Redis5.0 後使用 redis-cli 搭建叢集】

redis-trib.rb 是採用 Ruby 實現的 Redis 叢集管理工具。內部通過 Cluster 相關命令幫我們簡化叢集建立、檢查、槽遷移和均衡等常見運維操作

1. Ruby 環境

安裝 Ruby

wget https://cache.ruby-lang.org/pub/ruby/2.7/ruby-2.7.3.tar.gz
tar -zxvf ruby-2.7.3.tar.gz
cd ruby-2.7.3
./configure --prefix=/usr/local/ruby
make
make install
cd /usr/local/ruby
cp bin/ruby /usr/local/bin
cp bin/gem /usr/local/bin

安裝 rubygem redis 依賴

wget http://rubygems.org/downloads/redis-4.2.5.gem
gem install -l redis-4.2.5.gem
gem list

遇到問題

$ gem install -l redis-4.2.5.gem
ERROR:  Loading command: install (LoadError)
	cannot load such file -- zlib
ERROR:  While executing gem ... (NoMethodError)
    undefined method `invoke_with_build_args' for nil:NilClass

解決（openssl 同理）

yum -y install zlib-devel
cd ruby-2.7.3/ext/zlib
ruby ./extconf.rb
make
make install

安裝 redis-trib.rb

cp /{redis_home}/src/redis-trib.rb /usr/local/bin
redis-trib.rb

2. 建立叢集

# --replicas 1：指定叢集中每個主節點配備幾個從節點
redis-trib.rb create --replicas 1 192.168.11.40:9001 192.168.11.40:9002 192.168.11.40:9003 192.168.11.40:9004 192.168.11.40:9005 192.168.11.40:9006
# 叢集完整性檢查
redis-trib.rb check 192.168.11.40:9001
  • 會自動完成節點握手和槽分配過程
  • 會盡可能保證主從節點不分配在同一機器下
  • 節點列表順序用於確定主從角色，先主節點之後是從節點
  • 節點地址必須是不包含任何槽/資料的節點，否則會拒絕建立叢集

三、使用 redis-cli 搭建叢集

redis-cli --cluster create 192.168.11.40:9001 192.168.11.40:9002 192.168.11.40:9003 192.168.11.40:9004 192.168.11.40:9005 192.168.11.40:9006 --cluster-replicas 1

相關文章