更多技術記錄，請參考軟體開發 | 程式設計 | RustFisher
為實現redis的高可用，我們採用主從模式加哨兵的方法。
一主二從三哨兵，共啟動6個redis容器。本文示例在同一個伺服器上進行操作。
開發環境
- centos 假設ip地址為 x.x.x.1
- docker 1.13.1
- redis 7.0.2
系統為centos
cat /proc/version
Linux version 3.10.0-693.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC) ) #1 SMP Tue Aug 22 21:09:27 UTC 2017
後面的操作將在root許可權下進行
docker版本
docker -v
Docker version 1.13.1, build 7d71120/1.13.1
redis版本
我們使用7.0.2版本。用到的伺服器上的redis最好統一版本。
docker pull redis:7.0.2
不同版本的redis的配置不一定相同。如果啟動容器出現一直在restarting的情況，去看一下log
檢視已經啟動的redis容器中的redis版本
docker exec -it [容器id] redis-server -v
Redis server v=7.0.2 sha=00000000:0 malloc=jemalloc-5.2.1 bits=64 build=40f017f9608e455e
來官網找對應的安裝包 http://download.redis.io/releases/
解壓後可以得到redis.conf和sentinel.conf檔案
主從結構
一個主redis，2個從redis。它們使用不同的3個埠，注意檢查防火牆的設定。
本文假設伺服器的ip為x.x.x.1。
啟動主redis
主redis，即master。
啟動主redis容器
docker run --restart=always -p 6400:6379 --name redis-CNT-MASTER \
-d redis:7.0.2 redis-server --requirepass 778899 --masterauth 778899
6400:6379指定伺服器的6400對應redis容器裡的6379埠--requirepass 778899設定密碼--masterauth 778899從redis連上來需要的密碼
進入容器檢視狀態
docker exec -it redis-CNT-MASTER redis-cli
127.0.0.1:6379> auth 778899
OK
127.0.0.1:6379> info replication
啟動1號從redis
從redis使用配置的方式
檔案結構 /home/dapp/projects/rustfisher/redis-slave1
├── data
└── redis.conf
1號從redis的redis.conf除掉註釋後的部分
#bind 0.0.0.0 # 不用bind
slaveof x.x.x.1 6400 # 記得改成你的伺服器ip
replica-announce-ip x.x.x.1 # 記得改成你的伺服器ip
replica-announce-port 6401 # 從redis對外的埠，後面啟動的時候也要配置的
protected-mode no
port 6379
masterauth 778899
requirepass 778899
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile ""
databases 16
always-show-logo no
set-proc-title yes
proc-title-template "{title} {listen-addr} {server-mode}"
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
rdb-del-sync-files no
dir ./
replica-serve-stale-data yes
replica-read-only yes
repl-diskless-sync yes
repl-diskless-sync-delay 5
repl-diskless-sync-max-replicas 0
repl-diskless-load disabled
repl-disable-tcp-nodelay no
replica-priority 100
acllog-max-len 128
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
replica-lazy-flush no
lazyfree-lazy-user-del no
lazyfree-lazy-user-flush no
oom-score-adj no
oom-score-adj-values 0 200 800
disable-thp yes
appendonly yes
appendfilename "appendonly.aof"
appenddirname "appendonlydir"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble yes
aof-timestamp-enabled no
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-listpack-entries 512
hash-max-listpack-value 64
list-max-listpack-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-listpack-entries 128
zset-max-listpack-value 64
hll-sparse-max-bytes 3000
stream-node-max-bytes 4096
stream-node-max-entries 100
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
dynamic-hz yes
aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes
jemalloc-bg-thread yes
啟動1號從redis
docker run --restart=always -p 6401:6379 --name redis-CNT-S1 \
-v /home/dapp/projects/rustfisher/redis-slave1/redis.conf:/etc/redis/redis.conf \
-v /home/dapp/projects/rustfisher/redis-slave1/data:/data \
-d redis:7.0.2 redis-server /etc/redis/redis.conf
6401:63791號從redis對外埠是6401redis-CNT-S1容器名字
啟動2號從redis
配置檔案可以複製1號的。然後記得修改它的宣稱ip和埠
replica-announce-ip x.x.x.1
replica-announce-port 6402 # 2號用的埠
啟動2號從redis，需要注意對應的路徑
docker run --restart=always -p 6402:6379 --name redis-CNT-S2 \
-v /home/dapp/projects/rustfisher/redis-slave2/redis.conf:/etc/redis/redis.conf \
-v /home/dapp/projects/rustfisher/redis-slave2/data:/data \
-d redis:latest redis-server /etc/redis/redis.conf
檢視主從資訊info replication
進入主redis容器，輸入redis-cli，auth後，檢查情況info replication
例如進入主redis容器檢視。此時connected_slaves:2。slave的ip和port應該和它們宣稱replica-announce的一致。
在主redis中set a 123，在1號和2號從redis裡get a可以看到效果。
哨兵 sentinel
我們會啟動3個新的redis容器，即3個哨兵。這3個哨兵都監聽主redis。
哨兵1號
新建一個哨兵1號用的目錄 /home/dapp/projects/rustfisher/sentinel1
├── conf
│ └── sentinel.conf
└── data
先編輯配置檔案 sentinel.conf
port 6411
dir "/tmp"
sentinel monitor master001 x.x.x.1 6400 2 # 記得修改成你的主redis的ip和埠
sentinel auth-pass master001 778899 # 密碼是前面定的
sentinel down-after-milliseconds master001 30000
sentinel parallel-syncs master001 1
sentinel failover-timeout master001 180000
sentinel deny-scripts-reconfig yes
port 6411指定的是哨兵容器裡自己的埠sentinel monitor指定了要監聽的主master的ip和埠，最後那個2表示需要2個哨兵投票master001是我們給主redis起的名字，後面都用這個
啟動1號哨兵
docker run --restart=always -p 6411:6411 --name redis-sentinel-CNT-1 --privileged=true \
-v /home/dapp/projects/rustfisher/sentinel1/conf:/usr/local/etc/redis/conf/ \
-d redis:7.0.2 redis-sentinel /usr/local/etc/redis/conf/sentinel.conf
注意：這裡需要對映的是目錄。
-v目錄對目錄。
進入容器後，可以檢視相關資訊。redis-cli需要指定埠-p 6411
root@aa8d208546d1:/data# redis-cli -p 6411
127.0.0.1:6411> sentinel master master001
檢視伺服器上1號哨兵的 sentinel.conf ，發現多了一些內容，是redis哨兵寫進來的
# Generated by CONFIG REWRITE
latency-tracking-info-percentiles 50 99 99.9
user default on nopass ~* &* +@all
sentinel myid b43e361ff80b8f9106cb1d4bb59421aa909ac370
sentinel config-epoch master001 0
sentinel leader-epoch master001 0
sentinel current-epoch 0
sentinel known-replica master001 x.x.x.1 6401
sentinel known-replica master001 x.x.x.1 6402
啟動2號哨兵
配置2號的路徑/home/dapp/projects/rustfisher/sentinel2。
sentinel.conf配置內容和前面一樣，啟動時候埠用-p 6412:6411
docker run --restart=always -p 6412:6411 --name redis-sentinel-CNT-2 --privileged=true \
-v /home/dapp/projects/rustfisher/sentinel2/conf:/usr/local/etc/redis/conf/ \
-d redis:7.0.2 redis-sentinel /usr/local/etc/redis/conf/sentinel.conf
啟動3號哨兵
同理，路徑用3號自己的 /home/dapp/projects/rustfisher/sentinel3/conf
埠-p 6413:6411
docker run --restart=always -p 6413:6411 --name redis-sentinel-CNT-3 --privileged=true \
-v /home/dapp/projects/rustfisher/sentinel3/conf:/usr/local/etc/redis/conf/ \
-d redis:7.0.2 redis-sentinel /usr/local/etc/redis/conf/sentinel.conf
檢視哨兵情況
進入哨兵redis容器檢視情況
root@5dc0468fb71f:/data# redis-cli -p 6411
127.0.0.1:6411> sentinel master master001
num-slaves表示從redis的數量num-other-sentinels表示除自己外的哨兵數量
哨兵測試
停掉主redis容器
docker stop [id]
例如
docker stop redis-CNT-MASTER
過一會等選出新的主redis。然後再啟動剛才停掉的容器redis-CNT-MASTER。檢視資訊，發現它是role:slave
[root@rustfisher_test01 redis-slave1]# docker exec -it redis-CNT-MASTER redis-cli -a 778899 info replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave
master_host:x.x.x.1
master_port:6402
master_link_status:up
master_last_io_seconds_ago:0
master_sync_in_progress:0
slave_read_repl_offset:886622
slave_repl_offset:886622
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:6e8a8cb6c167abeb743e668b654e2f470a537742
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:886622
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:409622
repl_backlog_histlen:477001
從上面看出，現在的主redis變成x.x.x.1:6402了。
哨兵常見問題
配置檔案對映
指定配置檔案sentinel.conf對映到容器內時，直接了使用檔案對映。
這麼做有可能導致哨兵沒有寫入配置檔案的許可權, 檢視log會看到：
WARNING: Sentinel was not able to save the new configuration on disk!!!: Device or resource busy.
解決方法是使用目錄對映。像上面那樣：
-v /home/dapp/projects/rustfisher/sentinel2/conf:/usr/local/etc/redis/conf/
哨兵myid
主從與哨兵redis都啟動後，看起來OK了。但stop掉主redis後，哨兵並沒有選出新的主redis。
有一種可能是哨兵改寫的sentinel.conf裡使用了相同的myid。
grep -nr myid
sentinel1/conf/sentinel.conf:11:sentinel myid b43e361ff80b8f9106cb1d4bb59421aa909ac370
sentinel2/conf/sentinel.conf:11:sentinel myid e19342addbcdd8d034c1e91ed74ff94a7aec2e2a
sentinel3/conf/sentinel.conf:11:sentinel myid d0393d72f69556f2047cf8c84cfa20f4df6ed4ff
解決方法是stop掉那個哨兵，刪掉myid那行，然後重啟哨兵。它會自動生成新的myid。