docker搭建redis叢集和Sentinel,實現故障轉移

yq055783發表於2021-03-07

0.引言

公司開發需要用到redis,雖然有運維自動搭建,還是記錄下如何搭建redis叢集和Sentinel。

採用的是vagrant虛擬機器+docker的方式進行搭建。

搭建思路:

  首先是借鑑下其他部落格的docker搭建步驟,直接搭建。主要是:

https://blog.csdn.net/qq_40369435/article/details/91357479

   然後就是記錄搭建過程中遇到的問題,以及如何一步步解決的。

  最後測試。

搭建的叢集是:

  redis叢集:1主2從

  sentinel叢集:3臺

1.基礎安裝

注:基礎安裝是根據已有部落格搭建的,有很多問題,不是最終步驟。最終步驟在第三部分總結給出,當然也可能有問題,畢竟各個環境可能不同。

(1)在虛擬機器中安裝docker-compose

預設已經安裝過了docker。

1)拉取安裝包

curl -L "https://get.daocloud.io/docker/compose/releases/download/1.27.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

2)給docker-compose增加執行許可權

chmod +x /usr/local/bin/docker-compose

注:最開始安裝docker-compose是先安裝python的pip,再通過pip安裝docker-compose,但升級pip時問題太多,乾脆直接找個拉取原始碼的直接下載。慚愧之前搞了那麼久的python。

 

(2)搭建redis叢集

1)新建docker-compose.yml檔案

version: '2.0'
services:
  master:
    image: redis
    container_name: redis-master
    ports:
      - 6379:6379

  slave1:
    image: redis
    container_name: redis-slave-1
    ports:
      - 6380:6379
    command: redis-server --slaveof redis-master 6379

  slave2:
    image: redis
    container_name: redis-slave-2
    ports:
      - 6381:6379
    command: redis-server --slaveof redis-master 6379

2)啟動redis叢集

docker-compose up -d

啟動後,

docker ps;  # 檢視容器啟動情況

如果容器啟動不成功,docker ps不會列出正在執行的容器,需要檢視已經啟動過的容器

docker ps -a;  #檢視啟動過的容器

這個時候,如果啟動失敗,通過docker ps -a知道啟動失敗的容器id,再通過檢視日誌的方式找出錯誤:

docker logs 容器id(一部分即可);  # 檢視容器的日誌
docker logs -f 容器id(一部分即可); # 動態檢視容器的日誌

(3)搭建sentinel叢集

1)sentinel配置檔案

一共三臺sentinel,準備三份配置檔案,分別是sentinel1.conf、sentinel2.conf和sentinel3.conf,將這三份配置檔案放在

/usr/local/etc/redis/sentinel.conf目錄下。

 

port 26379
dir "/tmp"
# 自定義叢集名,其中 127.0.0.1 為 redis-master 的 ip,6379 為 redis-master 的埠,2 為最小投票數(因為有 3 臺 Sentinel 所以可以設定成 2)
sentinel deny-scripts-reconfig yes
#自己的虛擬機器ip地址
sentinel monitor mymaster 192.168.165.10 6379 2
sentinel config-epoch mymaster 0
sentinel leader-epoch mymaster 0
# Generated by CONFIG REWRITE(後面這3個註釋掉了)
# sentinel known-replica mymaster 172.26.0.2 6379
# sentinel known-replica mymaster 172.26.0.3 6379
# sentinel current-epoch 0

 

同樣的內容,複製到sentinel2.conf和sentinel3.conf'

 

2)docker-compose.yml

version: '2.0'
services:
  sentinel1:
    image: redis
    container_name: redis-sentinel-1
    ports:
      - 26379:26379
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel1.conf:/usr/local/etc/redis/sentinel.conf

  sentinel2:
    image: redis
    container_name: redis-sentinel-2
    ports:
      - 26380:26379
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel2.conf:/usr/local/etc/redis/sentinel.conf

  sentinel3:
    image: redis
    container_name: redis-sentinel-3
    ports:
      - 26381:26379
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel3.conf:/usr/local/etc/redis/sentinel.conf

docker-compose.yml檔案也放在/usr/local/etc/redis/sentinel.conf目錄下

3)啟動sentinel叢集

docker-compose up -d

 

redis叢集和sentinel叢集按照上面步驟,可以通過docker執行,以為已經搭建成功,也可以連線到redis叢集中。測試在主庫中寫,兩個從庫中都可以讀出來,從庫也不可以寫內容。但是測試主庫下線時,此時2個從庫並沒有有一個切換到主庫。開始進行找錯。

 

2.找問題與解決

 

主要問題:

  redis叢集的主從是成功的,但故障遷移時是失敗的。

先看看測試故障遷移的方法:

  1)進入redis-master容器

docker exec -it redis-master /bin/bash

  2)進入redis環境

redis-cli -p 6379

  3)檢視redis角色

info

檢視,知道redis-master是master節點。同樣步驟檢視redis-slave-1和redis-slave-2,都是slave節點

  4)停掉master節點

docker stop redis-master

再去檢視redis-slave-1和redis-slave-2,發現這兩個節點還是slave,並沒有一個成為master,表示sentinel故障轉移失敗。

 

注:之前沒有找到檢視sentinel日誌的方法(docker logs -f 容器id),在master節點下線時直接檢視sentinel的日誌可以直觀看到redis的下線、選舉和當選主節點的過程。

 

初步認為原因可能是sentinel監控節點失敗的原因:

檢視過程:

  1)進入到redis-sentinel-1節點,檢視節點資訊

docker exec -it redis-sentinel-1/bin/bash  
redis-cli -p 26379
sentinel master mymaster
sentinel slaves mymaster

  2)發現redis-slave節點都下線了

 

 

 但實際redis-slave節點是線上的,表明是sentinel認為redis-slave下線 了。可能是之間網路不通的原因導致的。

此時,查詢其他網頁,發現可以看到sentinel的logs。

檢視sentinel的日誌:

docker logs redis-sentinel-1

有:

 

 

 

看日誌,確實在sentinel啟動後,redis-slave是下線了。

嘗試1:

最開始看到WARN的資訊:Device or resource busy,以為是裝置被佔用(conf檔案會被sentinel再寫入),就往這個方向解決:

出現這個Warning,原因可能是:不能修改配置檔案,容器中的配置檔案是掛載到外部的。(一般修改檔案都是新生成一個然後替換原來的),就會報Device or resource busy.----->不是主要原因(因為發現其他可以正常故障遷移的也會有這個warning資訊)

嘗試2:
萬能的防火牆、埠原因

 

 檢查本地的防火牆,發現防火牆是關閉的,不是我這邊下線的原因。

嘗試3:

sentinel.conf配置檔案問題,沒有開啟引數

https://blog.csdn.net/weixin_30649859/article/details/97698005

按照上面思路解決,仍然行不通

嘗試4:

找到關鍵性原因:sentinel和slave不能通訊,導致sentinel認為slave下線了---》主動下線

https://blog.csdn.net/woluoyifan/article/details/84252705 

https://www.cnblogs.com/erbiao/archive/2018/06/08/9156215.html 

 

 

上面特別強調docker的1:1埠對映。但沒有給出具體的解決方案。

繼續找尋解決方法:

https://cloud.tencent.com/developer/article/1343834 

 

https://www.cnblogs.com/JulianHuang/p/12650721.html

 這篇文章具有決定性幫助作用,首先他考慮到了docker環境下埠對映問題,其次他考慮到了網路問題。

按照這篇文章從新搭建下,發現最後還是出現了redis-slave在sentinel一啟動就下線的問題。

看評論,應該是配置檔案中sentinel埠都一樣,實際應該每個配置檔案都不同的。按照這種方法進行修改,不幸的是,還是失敗。

繼續再這篇部落格的思路上思考,裡面提出了network和redis_defalut的網路配置,將重心放到解決這個上面。

最開始在配置檔案中配置這個,啟動redis-sentinel叢集會報錯:

 

 按照上面的提示,進行docker network create redis_default操作,應該是建立這個網路,就可以成功啟動sentinel叢集。

按照道理說,redis-master中應該有自己的network資訊的,可能是這篇博主的network資訊是redis_default和我機器上的不同,不然怎麼會又要建立一個。按照這個思路,進入到redis-master容器中,檢視資訊。

docker inspect redis-master

發現:

 

 確實,我的機器上加redisconf_default

到這算是有個突破口了。

根據這幾輪的探索,主要針對最後一篇部落格做了如下幾個點的修改:
1)redis叢集的埠對應是:

63796379
63806379
63816379

這樣在commondmaster的埠才是6379,sentinel.conf中的埠也是6379。

2)sentinel資料夾的docker-compose.yml

 

networks:
  default:
    external:
      name: redisconf_default

3)sentinel.conf

sentinel1.confsentinel2.confsentinel3.confport都不相同,分別是263792638026381 。

sentinel monitorip地址是master節點的dockerip地址,port就是masterport

 

經過上面的修改,發現故障遷移是成功的。

 

3.最終安裝步驟

下面是適合我的機器的最終安裝步驟,經過測試可以行的通。但不能保證完全沒有問題。有問題就解決唄。

(1)安裝docker-compose

curl -L "https://get.daocloud.io/docker/compose/releases/download/1.27.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

(2)搭建redis叢集

1)在/usr/local/etc/redis/redis.conf目錄下,新建docker-compose.yml

 

version: '3'
services:
  master:
    image: redis
    container_name: redis-master
    command: redis-server --requirepass redis_pwd  --masterauth redis_pwd
    ports:
      - 6379:6379
  slave1:
    image: redis
    container_name: redis-slave-1
    ports:
      - 6380:6380
    command:  redis-server --slaveof redis-master 6379 --requirepass redis_pwd --masterauth redis_pwd
  slave2:
    image: redis
    container_name: redis-slave-2
    ports:
      - 6381:6381
    command: redis-server --slaveof redis-master 6379 --requirepass redis_pwd --masterauth redis_pwd

--requirepass:指定redis登陸的密碼。redis叢集指定了,sentinel也指定相同的,否則都不指定(沒驗證過)

 

2)docker-compose up -d啟動redis叢集

3)檢視redis-master節點的docker-ip和network name

 

docker inspect redis-master

 

 關鍵的是上面的redisconf_default和IPAddress

 

(2)搭建sentinel叢集

1)在/usr/local/etc/redis/sentinel.conf目錄下,新建docker-compose.yml

具體內容為:

version: '3'
services:
  sentinel1:
    image: redis
    container_name: redis-sentinel-1
    ports:
      - 26379:26379
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel1.conf:/usr/local/etc/redis/sentinel.conf
  sentinel2:
    image: redis
    container_name: redis-sentinel-2
    ports:
    - 26380:26380
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel2.conf:/usr/local/etc/redis/sentinel.conf
  sentinel3:
    image: redis
    container_name: redis-sentinel-3
    ports:
      - 26381:26381
    command: redis-sentinel /usr/local/etc/redis/sentinel.conf
    volumes:
      - ./sentinel3.conf:/usr/local/etc/redis/sentinel.conf
networks:
  default:
    external:
      name: redisconf_default

2)在/usr/local/etc/redis/sentinel.conf目錄下,新建sentinel1.conf、sentinel2.conf和sentinel3.conf

 sentinel1.conf

port 26379
dir /tmp
sentinel monitor mymaster 172.20.0.3 6379 2
sentinel auth-pass mymaster redis_pwd
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes

sentinel2.conf的port為26380,sentinel3.conf的port為26381,其他都一樣

 3)docker-compose up -d啟動sentinel叢集

 

 4.測試

sentinel啟動之後,通過docker logs -f sentinel容器id看日誌:

 

 

之前mymaster的192.168網段(錯誤的配置下)變成和現在slave的同網段了,就可以ping通了,後面沒有+sdown slave的資訊。就會一直阻塞在這,等待新的操作記錄日誌。

此時在另一個視窗關閉master節點:docker stop redis-master

日誌為:

 

 

進入到sentinel的redis-cli中,sentinel slaves mymaster檢視,slave都啟動的

 

 

 

 

 

至此,搭建叢集應該成功,有問題再記錄解決。

 

相關文章