centos下部署redis服務環境及其配置說明

散盡浮華發表於2017-01-09

 

Redis是一個開源的使用ANSI C語言編寫、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value資料庫,並提供多種語言的API。從2010年3月15日起,Redis的開發工作由VMware主持。
redis是一個key-value儲存系統。和Memcached類似,它支援儲存的value型別相對更多,包括string(字串)、 list(連結串列)、set(集合)、zset(sorted set –有序集合)和hash(雜湊型別)。這些資料型別都支援push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原 子性的。在此基礎上,redis支援各種不同方式的排序。與memcached一樣,為了保證效率,資料都是快取在記憶體中區別的是redis會週期性的 把更新的資料寫入磁碟或者把修改操作寫入追加的記錄檔案,並且在此基礎上實現了master-slave(主從)同步。

先簡單說說redi和mysql的一些區別:

redis和mysql要根據具體業務場景去選型
   
mysql:資料放在磁碟   redis:資料放在記憶體
redis適合放一些頻繁使用,比較熱的資料,因為是放在記憶體中,讀寫速度都非常快

首先要知道mysql儲存在磁碟裡,redis儲存在記憶體裡,redis既可以用來做持久儲存,也可以做快取,而目前大多數公司的儲存都是mysql + redis,其中:
mysql作為主儲存,redis作為輔助儲存被用作快取,加快訪問讀取的速度,提高效能。

那麼為什麼不直接全部用redis儲存呢?
因為redis儲存在記憶體中,如果儲存在記憶體中,儲存容量肯定要比磁碟少很多,那麼要儲存大量資料,只能花更多的錢去購買記憶體,造成在一些不需要高效能的地方是相對比較浪費的,所以目前基本都是mysql(主) + redis(輔),在需要效能的地方使用redis,在不需要高效能的地方使用mysql,好鋼用在刀刃上
1)mysql支援sql查詢,可以實現一些關聯的查詢以及統計;
2)redis對記憶體要求比較高,在有限的條件下不能把所有資料都放在redis;
3)mysql偏向於存資料,redis偏向於快速取資料,但redis查詢複雜的表關係時不如mysql,所以可以把熱門的資料放redis,mysql存基本資料

下面記錄下redis服務安裝過程:
安裝依賴軟體
[root@dev src]# yum install gcc-c++ tcl

下載並安裝redis(百度雲盤下載地址:https://pan.baidu.com/s/1bAxZzC    提取密碼:ngsc)(redis官網下載最新版:https://redis.io/
[root@dev src]# wget http://download.redis.io/redis-stable.tar.gz
[root@dev src]# tar xvzf redis-stable.tar.gz
[root@dev src]# cd redis-stable
[root@dev redis-stable]# make
--------------------------------------------------------------------------
如果編譯安裝過程中,出現報錯:
zmalloc.h:51:31: error: jemalloc/jemalloc.h: No such file or directory

原因:一些編譯依賴或原來編譯遺留出現的問題
解決方案:make distclean。清理一下,然後再make。
-------------------------------------------------------------------------

在make成功以後,會在src目錄下多出一些可執行檔案:redis-server,redis-cli等等。
[root@dev redis-stable]# cd ./src
[root@dev src]# cp redis-server redis-cli redis-check-aof redis-check-rdb redis-sentinel redis-trib.rb /usr/local/bin/

然後新建目錄,存放配置檔案
[root@dev src]# mkdir /etc/redis
[root@dev src]# mkdir /var/redis
[root@dev src]# mkdir /var/redis/log
[root@dev src]# mkdir /var/redis/run
[root@dev src]# mkdir /var/redis/redis

在redis解壓根目錄中找到配置檔案模板,複製到如下位置。
[root@dev src]# cd ../
[root@dev redis-stable]# cp redis.conf /etc/redis/redis.conf

修改redis.conf配置檔案
[root@dev redis-stable]# vim /etc/redis/redis.conf
.......
port 6379
.......
daemonize yes
.......
pidfile /var/redis/run/redis_6379.pid
.......
logfile /var/redis/log/redis_6379.log
.......
dir /var/redis/redis                  //工作目錄,dump檔案所在目錄

---------------------------------------------------------------------------------------------------------------------------------
redis預設的持久化方式是RDB,資料寫入到dump檔案中。如果要啟用AOF持久化,就在redis.conf檔案中配置如下:
appendonly yes         #啟用AOF持久化方式
appendfilename "appendonly.aof"       #AOF檔案的名稱,預設為appendonly.aof
# appendfsync always        #每次收到寫命令就立即強制寫入磁碟,是最有保證的完全的持久化,但速度也是最慢的,一般不推薦使用。
appendfsync everysec        #每秒鐘強制寫入磁碟一次,在效能和持久化方面做了很好的折中,是受推薦的方式。
# appendfsync no         #完全依賴OS的寫入,一般為30秒左右一次,效能最好但是持久化最沒有保證,不被推薦。
---------------------------------------------------------------------------------------------------------------------------------

啟動redis服務
[root@dev redis-stable]# redis-server /etc/redis/redis.conf
[root@dev redis-stable]# ps -ef|grep redis
root 3795 1 0 15:33 ? 00:00:00 redis-server 127.0.0.1:6379
root 3799 31415 0 15:33 pts/1 00:00:00 grep --color redis
[root@dev redis-stable]# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 3795 root 4u IPv4 58627495 0t0 TCP localhost:6379 (LISTEN)

設定開機啟動
[root@dev ~]# echo "/usr/local/bin/redis-server /etc/redis/redis.conf" >> /etc/rc.local

關閉redis服務
[root@dev ~]# redis-cli shutdown //預設是6379埠
如果埠變化可以指定埠
[root@dev ~]# redis-cli -p 6379 shutdown

------------------------------------------------------------------------------------------------------------
還可以通過如下方法,設定redis服務啟動指令碼及開機自啟動
將redis解壓包下utils下redis啟動指令碼redis_init_script拷貝至/etc/init.d/,並修改指令碼名稱(也可不修改)為redis
[root@dev ~]# cp /usr/local/src/redis-stable/utils/redis_init_script /etc/init.d/redis
[root@dev ~]# chmod +x /etc/init.d/redis

修改指令碼pid及conf路徑為實際路徑
[root@dev ~]# vim /etc/init.d/redis
......
REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/redis/run/redis_6379.pid
CONF="/etc/redis/redis.conf"
......

這樣,就可以直接用下面的命令關閉和啟動redis服務了
[root@dev ~]# /etc/init.d/redis stop
Stopping ...
Redis stopped
[root@dev ~]# lsof -i:6379
[root@dev ~]# /etc/init.d/redis start
Starting Redis server...
[root@dev ~]# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 9372 root 4u IPv4 58648940 0t0 TCP localhost:6379 (LISTEN)

設定自啟動
[root@dev ~]# chkconfig redis on
redis 服務不支援 chkconfig

這是因為沒有在啟動指令碼/etc/init.d/redis里加入redis啟動優先順序資訊,可新增如下紅色字型的兩行:
[root@dev ~]# vim /etc/init.d/redis
#!/bin/sh
#
# chkconfig: 2345 90 10                                                     //注意:後面的英文空格
# description: Redis is a persistent key-value database          //注意:後面的英文空格

# Simple Redis init.d script conceived to work on Linux systems
# as it does use of the /proc filesystem.
REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/redis/run/redis_6379.pid
CONF="/etc/redis/redis.conf"
.......

[root@dev ~]# chkconfig redis on
[root@dev ~]# chkconfig --list|grep redis
redis 0:關閉 1:關閉 2:啟用 3:啟用 4:啟用 5:啟用 6:關閉
------------------------------------------------------------------------------------------------------------

初始化Redis的密碼
有以下2個步驟:
1)在配置檔案中有個引數: requirepass 這個就是配置redis訪問密碼的引數。
比如 requirepass test123
2)配置檔案中引數生效需要重啟重啟redis 。
重啟redis服務後,發現使用redis-cli -p 6379的無密碼方式仍能登入redis,只是登入進去後不能做任何操作。
需要用密碼登入redis-cli -p 6379 -a test123後,才能正常操作

那麼不重啟redis的情況下如何配置密碼?
1)在配置檔案中配置requirepass的密碼(當redis重啟時密碼依然有效)。
# requirepass foobared
比如修改成:
requirepass test123
2)進入redis重定義引數
檢視當前的密碼:
[root@slaver251 redis-2.4.16]# redis-cli -p 6379
redis 127.0.0.1:6379>
redis 127.0.0.1:6379> config get requirepass
1) "requirepass"
2) ""
127.0.0.1:6379>
顯示密碼是空的,
然後設定密碼:
redis 127.0.0.1:6379> config set requirepass test123
OK
再次查詢密碼:
redis 127.0.0.1:6379> config get requirepass
(error) ERR operation not permitted
此時報錯了!
現在只需要密碼認證就可以了。
redis 127.0.0.1:6379> auth test123
OK
再次查詢密碼:
redis 127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "test123"
密碼已經得到修改。
當到了可以重啟redis的時候,由於配置引數已經修改,所以密碼會自動生效。
要是配置引數沒新增密碼,那麼redis重啟,密碼將相當於沒有設定。
==================================================================================

masterauth是當master節點設定了密碼保護時,slave節點連線master節點的密碼這個是在slave節點配置的
1)如果master節點不設定密碼(即不設定requirepass密碼),那麼slave節點在配置同步的時候,只需配置:
#slaveof master的ip 埠
slaveof 192.168.1.150 6379 
2)如果master節點配置了requirepass密碼,那麼slave就需要配置masterauth密碼來連線master。特別注意: 如果要設定密碼的話,masterauth和requirepass都要設定,否則主從切換時,會有授權問題! (並且兩者密碼要設定一樣)
比如:
master 節點配置: 

     port 6379
     requirepass redis                                       # master節點只需要設定這一個密碼

slave1 節點配置:
    port 6479
    slaveof 192.168.1.150 6379
    masterauth redis        # 注意,這個是連線master節點,同步資料用的密碼.  slave節點需要設定這兩個密碼
    requirepass redis       # 這個是slave節點上登入自己的redis用的密碼

=================================================================================
除了在配置檔案裡設定redis密碼,也可以直接在命令列裡設定密碼:

1)設定有密碼
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207  -p 6379 config set masterauth "redis123"
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207  -p 6379 config set requirepass "redis123"
OK
[root@redis-node01 ~]# 

2)登入
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 p 7000 -a "redis123"
192.168.10.207:7000> 

或者
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 
192.168.10.207:7000> auth redis123
OK
192.168.10.207:7000> 

3)再次設定無密碼
[root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 
192.168.10.207:7000> auth redis123
OK 
192.168.10.207:7000> config set masterauth ""
OK
192.168.10.207:7000> config set requirepass ""
OK
192.168.10.207:7000> 

slave端的相關配置
slave-read-only yes     #從2.6版本開始支援只讀的slave,預設是yes的
masterauth <master-password> #如果master配置了requirepass設定密碼,slave需要配置連線master的密碼
slave-serve-stale-data yes    #當slave與master斷開或者複製正在進行的時候是否繼續提供服務,預設是yes繼續服務,可以配置為no返回錯誤提示“SYNC with master in progress”(除了INFO和SLAVEOF命令)
repl-ping-slave-period 10 #slave傳送心跳的間隔時間,預設是10秒

master端的相關配置
repl-diskless-sync no     #是否使用無盤複製 Diskless replication,預設是no
repl-diskless-sync-delay 5   #無盤複製延時開始秒數,預設是5秒,意思是當PSYNC觸發的時候,master延時多少秒開始向master傳送資料流,以便等待更多的slave連線可以同時傳送資料流,因為一旦PSYNC開始後,如果有新的slave連線master,只能等待下次PSYNC。可以配置為0取消等待,立即開始
repl-backlog-size 1mb   #複製流的記憶體緩衝區大小,用於增量同步,當master-slave斷開的時候,master儲存在複製流記憶體緩衝區的資料大小限制,預設是1mb。如果至少有1個slave連線的話,就會釋放
repl-backlog-ttl 3600   #複製流的記憶體緩衝區過時時間,預設3600秒,就是說無論儲存在複製流記憶體緩衝區的資料大小是否超過限制,當master-slave斷開超過上述時間就會釋放
min-slaves-to-write 3    #從2.8版本開始,可以配置與master連線的slave的最少數量,預設是0沒有限制,如果配置>0,需要結合下面的選項一起使用,只有同時滿足這2個選項,master才能接收寫操作
min-slaves-max-lag 10 #允許master-slave的心跳最大間隔,預設是10秒,需要結合min-slaves-to-write選項一起使用

複製+持久化的資料完整性考慮
如果master配置了slave,那麼強烈建議master啟用持久化。因為當master重啟的時候,如果沒有啟用持久化,資料會全部丟失,而且當slave重新連線master的時候,slave原有的資料也會被清空。如果真的要配置不啟用持久化,最好不要設定自動啟動master,除非資料全部丟失對你來說不重要。

======================================================================
當redis服務日誌出現下面報錯:

34145] 01 Jan 17:42:02 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue 
add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' 

原因分析:
redis在dump資料的時候,會fork出一個子程式,理論上child程式所佔用的記憶體和parent是一樣的,比如parent佔用的記憶體為8G,這個時候也要同樣分配8G的記憶體給
hild,如果記憶體無法負擔,往往會造成redis伺服器的down機或者IO負載過高,效率下降。所以這裡比較優化的記憶體分配策略應該設定為 1(表示核心允許分配所有的實體記憶體,
而不管當前的記憶體狀態如何)。

overcommit_memory引數說明: 
設定記憶體分配策略(可選,根據伺服器的實際情況進行設定) /proc/sys/vm/overcommit_memory 可選值:0、1、2。 
0:表示核心將檢查是否有足夠的可用記憶體供應用程式使用;如果有足夠的可用記憶體,記憶體申請允許;否則,記憶體申請失敗,並把錯誤返回給應用程式。 
1:表示核心允許分配所有的實體記憶體,而不管當前的記憶體狀態如何。 
2:表示核心允許分配超過所有實體記憶體和交換空間總和的記憶體。

解決辦法:
# echo 1 > /proc/sys/vm/overcommit_memory

或者
# vim /etc/sysctl.conf 
vm.overcommit_memory=1
# sysctl -p

下面是對redis.conf檔案配置解釋:

1. Redis預設不是以守護程式的方式執行,可以通過該配置項修改,使用yes啟用守護程式
    daemonize no
2. 當Redis以守護程式方式執行時,Redis預設會把pid寫入/var/run/redis.pid檔案,可以通過pidfile指定
    pidfile /var/run/redis.pid
3. 指定Redis監聽埠,預設埠為6379,作者在自己的一篇博文中解釋了為什麼選用6379作為預設埠,因為6379在手機按鍵上MERZ對應的號碼,而MERZ取自義大利歌女Alessia Merz的名字
    port 6379
4. 繫結的主機地址。說明只能redis-cli連線本機redis的時候只能通過這個ip連線。
    bind 127.0.0.1
5.當 客戶端閒置多長時間後關閉連線,如果指定為0,表示關閉該功能
    timeout 300
6. 指定日誌記錄級別,Redis總共支援四個級別:debug、verbose、notice、warning,預設為verbose
    loglevel verbose
7. 日誌記錄方式,預設為標準輸出,如果配置Redis為守護程式方式執行,而這裡又配置為日誌記錄方式為標準輸出,則日誌將會傳送給/dev/null
    logfile stdout
8. 設定資料庫的數量,預設資料庫為0,可以使用SELECT <dbid>命令在連線上指定資料庫id
    databases 16
9. 指定在多長時間內,有多少次更新操作,就將資料同步到資料檔案,可以多個條件配合
    save <seconds> <changes>
    Redis預設配置檔案中提供了三個條件(開啟這三行的上面一行的註釋,即 save "" 這個註釋去掉就表示關閉snapshot快照功能;):
    save 900 1
    save 300 10
    save 60 10000
    分別表示900秒(15分鐘)內有1個更改,300秒(5分鐘)內有10個更改以及60秒內有10000個更改。
10. 指定儲存至本地資料庫時是否壓縮資料,預設為yes,Redis採用LZF壓縮,如果為了節省CPU時間,可以關閉該選項,但會導致資料庫檔案變的巨大
    rdbcompression yes
11. 指定本地資料庫檔名,預設值為dump.rdb
    dbfilename dump.rdb
12. 指定本地資料庫存放目錄
    dir ./
13. 設定當本機為slav服務時,設定master服務的IP地址及埠,在Redis啟動時,它會自動從master進行資料同步
    slaveof <masterip> <masterport>
14. 當master服務設定了密碼保護時,slav服務連線master的密碼. 如果要設定密碼的話,masterauth和requirepass都要設定,否則主從切換時,會有授權問題! (並且兩者密碼要設定一樣)
    masterauth <master-password>
15. 設定Redis連線密碼,如果配置了連線密碼,客戶端在連線Redis時需要通過AUTH <password>命令提供密碼,預設關閉
    requirepass foobared  
16. 設定同一時間最大客戶端連線數,預設無限制,Redis可以同時開啟的客戶端連線數為Redis程式可以開啟的最大檔案描述符數,如果設定 maxclients 0,表示不作限制。當客戶端連線數到達限制時,Redis會關閉新的連線並向客戶端返回max number of clients reached錯誤資訊
    maxclients 128
17. 指定Redis最大記憶體限制,Redis在啟動時會把資料載入到記憶體中,達到最大記憶體後,Redis會先嚐試清除已到期或即將到期的Key,當此方法處理 後,仍然到達最大記憶體設定,將無法再進行寫入操作,但仍然可以進行讀取操作。Redis新的vm機制,會把Key存放記憶體,Value會存放在swap區
    maxmemory <bytes>
18. 指定是否在每次更新操作後進行日誌記錄,Redis在預設情況下是非同步的把資料寫入磁碟,如果不開啟,可能會在斷電時導致一段時間內的資料丟失。因為 redis本身同步資料檔案是按上面save條件來同步的,所以有的資料會在一段時間內只存在於記憶體中。預設為no
    appendonly no
19. 指定更新日誌檔名,預設為appendonly.aof
appendfilename appendonly.aof
20. 指定更新日誌條件,共有3個可選值: 
    appendfsync no:表示等作業系統進行資料快取同步到磁碟。完全依賴OS的寫入,一般為30秒左右一次,效能最好但是持久化最沒有保證,不被推薦。(快) 
    appendfsync always:#每次收到寫命令就立即強制寫入磁碟,是最有保證的完全的持久化,但速度也是最慢的,一般不推薦使用。(慢,安全) 
    appendfsync everysec:表示每秒同步一次(折中,預設值),每秒鐘強制寫入磁碟一次,在效能和持久化方面做了很好的折中,這種fsync策略可以兼顧速度和安全性,是受推薦的方式。
    appendfsync everysec
21. 指定是否啟用虛擬記憶體機制,預設值為no,簡單的介紹一下,VM機制將資料分頁存放,由Redis將訪問量較少的頁即冷資料swap到磁碟上,訪問多的頁面由磁碟自動換出到記憶體中(在後面的文章我會仔細分析Redis的VM機制)
vm-enabled no
22. 虛擬記憶體檔案路徑,預設值為/tmp/redis.swap,不可多個Redis例項共享
vm-swap-file /tmp/redis.swap
23. 將所有大於vm-max-memory的資料存入虛擬記憶體,無論vm-max-memory設定多小,所有索引資料都是記憶體儲存的(Redis的索引資料 就是keys),也就是說,當vm-max-memory設定為0的時候,其實是所有value都存在於磁碟。預設值為0
vm-max-memory 0
24. Redis swap檔案分成了很多的page,一個物件可以儲存在多個page上面,但一個page上不能被多個物件共享,vm-page-size是要根據儲存的 資料大小來設定的,作者建議如果儲存很多小物件,page大小最好設定為32或者64bytes;如果儲存很大大物件,則可以使用更大的page,如果不 確定,就使用預設值
vm-page-size 32
25. 設定swap檔案中的page數量,由於頁表(一種表示頁面空閒或使用的bitmap)是在放在記憶體中的,,在磁碟上每8個pages將消耗1byte的記憶體。
vm-pages 134217728
26. 設定訪問swap檔案的執行緒數,最好不要超過機器的核數,如果設定為0,那麼所有對swap檔案的操作都是序列的,可能會造成比較長時間的延遲。預設值為4
vm-max-threads 4
27. 設定在向客戶端應答時,是否把較小的包合併為一個包傳送,預設為開啟
    glueoutputbuf yes
28. 指定在超過一定的數量或者最大的元素超過某一臨界值時,採用一種特殊的雜湊演算法
    hash-max-zipmap-entries 64
    hash-max-zipmap-value 512
29. 指定是否啟用重置雜湊,預設為開啟(後面在介紹Redis的雜湊演算法時具體介紹)
    activerehashing yes
30. 指定包含其它的配置檔案,可以在同一主機上多個Redis例項之間使用同一份配置檔案,而同時各個例項又擁有自己的特定配置檔案
    include /path/to/local.conf

相關文章