redis 叢集搭建以及redislive監測部署

棋子發表於2019-01-19
Redis

redis 叢集搭建以及監測環境

實現3主3從的叢集 虛擬機器單機ip:192.168.40.128

叢集基本搭建

簡單下載

  • 通過 wget http://download.redis.io/releases/redis-4.0.10.tar.gz
  • 解壓縮 tar zxvf redis-4.0.10.tar.gz
  • 指定安裝路徑，切換root使用者執行make && make PREFIX=/usr/local/redis install，可能出現許可權不夠的問題，sudo同樣會報錯，直接使用root進行操作。

安裝編譯工具

  • sudo apt-get update
  • sudo apt-get install gcc
  • sudo apt-get install make
  • sudo apt-get install tcl

建立redis叢集資料夾

  • 因為是/usr，所以始終都是在root許可權下進行操作
  • cd /usr/local/redis
  • mkdir cluster
  • cd cluster
  • mkdir 7000 7001 7002 7003 7004 7005

修改配置檔案

複製redis conf內的config檔案複製到六個資料夾中，並且修改以下內容

# 埠號  
port 7000  
# 後臺啟動  
daemonize yes  
# 開啟叢集  
cluster-enabled yes  
#叢集節點配置檔案  
cluster-config-file nodes-7000.conf  
# 叢集連線超時時間  
cluster-node-timeout 5000  
# 程式pid的檔案位置  
pidfile /home/ubuntu/redis-4.0.10/pid/redis-7000.pid
#工作資料夾
dir "/home/ubuntu/redis-4.0.10/working"
# 開啟aof  
appendonly yes  
# aof檔案路徑  
appendfilename "appendonly-7005.aof"  
# rdb檔案路徑  
dbfilename dump-7000.rdb

redis 的配置檔案中的bind指定的是redis伺服器的網路卡ip，也就是redis伺服器的ip

啟動指令碼

  • cd /home/ubuntu/redis-4.0.10/
  • touch start.link.sh為了操作簡單,建立指令碼
  • 修改啟動指令碼，為
#!/bin/bash
export BASE_FLOD="/usr/local/redis"
{BASE_FLOD}/bin/redis-server /usr/local/redis/cluster/7000/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7001/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7002/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7003/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7004/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7005/redis.conf
#cd src
#./redis-trib.rb create --replicas 1 192.168.40.128:7000 192.168.40.128:7001 192.168.40.128:7002 192.168.40.128:7003 192.168.40.128:7004 192.168.40.128:7005

其中註釋的是為了簡化初始啟動的，ip需要跟每個節點配置的redis.conf 中bind 屬性繫結的一致,啟動後可以通過ps -ef | grep redis命令查詢對應的執行緒是否啟動

叢集啟動

  • 關聯程式使用的ruby寫的，所以要搭建rudy的執行環境，需要安裝rudbygem
  • sudo apt-get install ruby rubygems -y
  • gem install redis,執行到這裡會感覺十分慢，需要耐心等待，在redis安裝目錄下，src資料夾redis-trib.rb
  • 執行redis-trib.rb create --replicas 1 192.168.40.128:7000 192.168.40.128:7001 192.168.40.128:7002 192.168.40.128:7003 192.168.40.128:7004 192.168.40.128:7005,檢查配置的資訊是否有錯誤，沒有直接yes就可以. [OK] All 16384 slots covered.代表接群啟動成功。

節點檢視，重啟

檢視叢集執行狀態：使用命令./redis-trib.rb check 192.168.40.128:7000，進行叢集的狀態檢查

效能測試

自帶測試工具redis-benchmark

  • redis-benchmark -h 192.168.40.128 -p 6379 -c 100 -n 100000100個併發連線，100000個請求，檢測 host 為 localhost 埠為6379的 redis 伺服器效能。
  • redis-benchmark -h 192.168.40.128 -p 6379 -q -d 100測試存取大小為100位元組的資料包的效能。
  • redis-benchmark -t set,lpush -n 100000 -q只測試某些操作的效能。
  • redis-benchmark -n 100000 -q script load "redis.call(‘set’,’foo’,’bar’)"只測試某些數值存取的效能。

叢集密碼設定

叢集搭建初始不需要密碼，啟動完成後，先看每個節點的配置檔案是否有讀寫許可權，如果沒有讀寫許可權，需要chmod修改的讀寫許可權，通過

./redis-cli -c -p port
config set masterauth password
config set requirepass password
config rewrite

分別連線每個節點進行設定
若要重啟發現連線不上，修改啟動指令碼 redis-trib.rb.sh 99行，配置啟動指令碼密碼啟動
@r = Redis.new(:host => @info[:host], :port => @info[:port], :timeout => 60,:password => "password")

程式碼測試

/*
 *叢集連線測試
 */

@Test
public void testJedisCluster() {
    Set<HostAndPort> nodes = new LinkedHashSet<>();
    //所有主機節點ip和埠
    nodes.add(new HostAndPort("192.168.40.128", 7000));
    nodes.add(new HostAndPort("192.168.40.128", 7001));
    nodes.add(new HostAndPort("192.168.40.128", 7002));
    nodes.add(new HostAndPort("192.168.40.128", 7003));
    nodes.add(new HostAndPort("192.168.40.128", 7004));
    nodes.add(new HostAndPort("192.168.40.128", 7005));
    //沒有密碼
    //JedisCluster cluster = new JedisCluster(nodes);
    //新增密碼呼叫
    JedisCluster cluster = new JedisCluster(nodes, 5000, 5000, 10, "password", new GenericObjectPoolConfig());
    //cluster.zadd("test_1", String.valueOf(""),"id_2");
    System.out.println(cluster.zscore("test_1", "id_1"));
    try {
        cluster.close();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

主從模式、哨兵、叢集的關係

  1. 主從模式是指定複製和持久化關係，指定了主從備份的關係
  2. 哨兵：當主資料庫遇到異常中斷服務後，開發者可以通過手動的方式選擇一個從資料庫來升格為主資料庫，以使得系統能夠繼續提供服務。主要是為了解決主從複製手動切換主從關係的檢測工具，可以自動切換主從。
  3. 使用哨兵，redis每個例項也是全量儲存，每個redis儲存的內容都是完整的資料，浪費記憶體且有木桶效應。為了最大化利用記憶體，可以採用叢集，就是分散式儲存。即每臺redis儲存不同的內容，共有16384個slot。每個redis分得一些slot，hash_slot = crc16(key) mod 16384 找到對應slot，鍵是可用鍵，如果有{}則取{}內的作為可用鍵，否則整個鍵是可用鍵叢集至少需要3主3從，且每個例項使用不同的配置檔案，主從不用配置，叢集會自己選。

監控部署

RedisLive搭建部署

執行環境部署

  1. git clone https://github.com/kumarnitin/RedisLive.git
    下載redislive,解壓縮unzip -o -d /home/ubuntu/ RedisLive-master.zip
  2. 進入資料夾 `pip install -r requirements.txt -i
    http://pypi.douban.com/simple/ –trusted-host
    pypi.douban.com`指定豆瓣源，下載速度更快。

  3. 進入src資料夾，複製example檔案，編輯

    "RedisServers":
[
    {
    "server": "192.168.40.128",
    "port" : 7000,
    "password" : "password"
    },
    //...多個監聽
],

"DataStoreType" : "redis",

"RedisStatsServer": //儲存的redis監聽介面
{
    "server" : "127.0.0.1",
    "port" : 6379
},

"SqliteStatsStore" :
{
    "path":  "/home/ubuntu/redis-4.0.10/working/redislive.db" //進行儲存的檔案
} }
  4. ubuntu@ubuntu:~/redis-4.0.10$ mkdir pid
    ubuntu@ubuntu:~/redis-4.0.10$ mkdir log
    ubuntu@ubuntu:~/redis-4.0.10$ mkdir working
    //儲存aof，rdb，node-config檔案。
  5. RedisLive分為兩部分，其中一部分為監控指令碼，另一部分為web服務，所以需要分別啟動。`./redis-monitor.py
    –duration=120`./redis-live.py
  6. 訪問http://192.168.40.128:8888/index.html

Q&A

  1. redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster redis node的redis.conf 繫結ip設定為指定的redis節點ip，啟動叢集時只用指定ip啟動，不使用192.168.40.128
  2. connect refuse 關閉防火牆

  3. No module named redis

    • 檢視python位置 which python
    • 先備份 sudo cp /usr/bin/python /usr/bin/python_cp
    • 刪除 sudo rm /usr/bin/python
    • 預設設定成python3.5，建立連結 sudo ln -s /usr/bin/python3.5 /usr/bin/python

相關文章