Redis是一個開源的使用ANSI C語言編寫、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value資料庫,並提供多種語言的API。從2010年3月15日起,Redis的開發工作由VMware主持。
redis是一個key-value儲存系統。和Memcached類似,它支援儲存的value型別相對更多,包括string(字串)、 list(連結串列)、set(集合)、zset(sorted set –有序集合)和hash(雜湊型別)。這些資料型別都支援push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原 子性的。在此基礎上,redis支援各種不同方式的排序。與memcached一樣,為了保證效率,資料都是快取在記憶體中。區別的是redis會週期性的 把更新的資料寫入磁碟或者把修改操作寫入追加的記錄檔案,並且在此基礎上實現了master-slave(主從)同步。
先簡單說說redi和mysql的一些區別:
redis和mysql要根據具體業務場景去選型 mysql:資料放在磁碟 redis:資料放在記憶體 redis適合放一些頻繁使用,比較熱的資料,因為是放在記憶體中,讀寫速度都非常快 首先要知道mysql儲存在磁碟裡,redis儲存在記憶體裡,redis既可以用來做持久儲存,也可以做快取,而目前大多數公司的儲存都是mysql + redis,其中: mysql作為主儲存,redis作為輔助儲存被用作快取,加快訪問讀取的速度,提高效能。 那麼為什麼不直接全部用redis儲存呢? 因為redis儲存在記憶體中,如果儲存在記憶體中,儲存容量肯定要比磁碟少很多,那麼要儲存大量資料,只能花更多的錢去購買記憶體,造成在一些不需要高效能的地方是相對比較浪費的,所以目前基本都是mysql(主) + redis(輔),在需要效能的地方使用redis,在不需要高效能的地方使用mysql,好鋼用在刀刃上 1)mysql支援sql查詢,可以實現一些關聯的查詢以及統計; 2)redis對記憶體要求比較高,在有限的條件下不能把所有資料都放在redis; 3)mysql偏向於存資料,redis偏向於快速取資料,但redis查詢複雜的表關係時不如mysql,所以可以把熱門的資料放redis,mysql存基本資料
下面記錄下redis服務安裝過程:
安裝依賴軟體
[root@dev src]# yum install gcc-c++ tcl
下載並安裝redis(百度雲盤下載地址:https://pan.baidu.com/s/1bAxZzC 提取密碼:ngsc)(redis官網下載最新版:https://redis.io/)
[root@dev src]# wget http://download.redis.io/redis-stable.tar.gz
[root@dev src]# tar xvzf redis-stable.tar.gz
[root@dev src]# cd redis-stable
[root@dev redis-stable]# make
--------------------------------------------------------------------------
如果編譯安裝過程中,出現報錯:
zmalloc.h:51:31: error: jemalloc/jemalloc.h: No such file or directory
原因:一些編譯依賴或原來編譯遺留出現的問題
解決方案:make distclean。清理一下,然後再make。
-------------------------------------------------------------------------
在make成功以後,會在src目錄下多出一些可執行檔案:redis-server,redis-cli等等。
[root@dev redis-stable]# cd ./src
[root@dev src]# cp redis-server redis-cli redis-check-aof redis-check-rdb redis-sentinel redis-trib.rb /usr/local/bin/
然後新建目錄,存放配置檔案
[root@dev src]# mkdir /etc/redis
[root@dev src]# mkdir /var/redis
[root@dev src]# mkdir /var/redis/log
[root@dev src]# mkdir /var/redis/run
[root@dev src]# mkdir /var/redis/redis
在redis解壓根目錄中找到配置檔案模板,複製到如下位置。
[root@dev src]# cd ../
[root@dev redis-stable]# cp redis.conf /etc/redis/redis.conf
修改redis.conf配置檔案
[root@dev redis-stable]# vim /etc/redis/redis.conf
.......
port 6379
.......
daemonize yes
.......
pidfile /var/redis/run/redis_6379.pid
.......
logfile /var/redis/log/redis_6379.log
.......
dir /var/redis/redis //工作目錄,dump檔案所在目錄
---------------------------------------------------------------------------------------------------------------------------------
redis預設的持久化方式是RDB,資料寫入到dump檔案中。如果要啟用AOF持久化,就在redis.conf檔案中配置如下:
appendonly yes #啟用AOF持久化方式
appendfilename "appendonly.aof" #AOF檔案的名稱,預設為appendonly.aof
# appendfsync always #每次收到寫命令就立即強制寫入磁碟,是最有保證的完全的持久化,但速度也是最慢的,一般不推薦使用。
appendfsync everysec #每秒鐘強制寫入磁碟一次,在效能和持久化方面做了很好的折中,是受推薦的方式。
# appendfsync no #完全依賴OS的寫入,一般為30秒左右一次,效能最好但是持久化最沒有保證,不被推薦。
---------------------------------------------------------------------------------------------------------------------------------
啟動redis服務
[root@dev redis-stable]# redis-server /etc/redis/redis.conf
[root@dev redis-stable]# ps -ef|grep redis
root 3795 1 0 15:33 ? 00:00:00 redis-server 127.0.0.1:6379
root 3799 31415 0 15:33 pts/1 00:00:00 grep --color redis
[root@dev redis-stable]# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 3795 root 4u IPv4 58627495 0t0 TCP localhost:6379 (LISTEN)
設定開機啟動
[root@dev ~]# echo "/usr/local/bin/redis-server /etc/redis/redis.conf" >> /etc/rc.local
關閉redis服務
[root@dev ~]# redis-cli shutdown //預設是6379埠
如果埠變化可以指定埠
[root@dev ~]# redis-cli -p 6379 shutdown
------------------------------------------------------------------------------------------------------------
還可以通過如下方法,設定redis服務啟動指令碼及開機自啟動
將redis解壓包下utils下redis啟動指令碼redis_init_script拷貝至/etc/init.d/,並修改指令碼名稱(也可不修改)為redis
[root@dev ~]# cp /usr/local/src/redis-stable/utils/redis_init_script /etc/init.d/redis
[root@dev ~]# chmod +x /etc/init.d/redis
修改指令碼pid及conf路徑為實際路徑
[root@dev ~]# vim /etc/init.d/redis
......
REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli
PIDFILE=/var/redis/run/redis_6379.pid
CONF="/etc/redis/redis.conf"
......
這樣,就可以直接用下面的命令關閉和啟動redis服務了
[root@dev ~]# /etc/init.d/redis stop
Stopping ...
Redis stopped
[root@dev ~]# lsof -i:6379
[root@dev ~]# /etc/init.d/redis start
Starting Redis server...
[root@dev ~]# lsof -i:6379
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
redis-ser 9372 root 4u IPv4 58648940 0t0 TCP localhost:6379 (LISTEN)
設定自啟動
[root@dev ~]# chkconfig redis on
redis 服務不支援 chkconfig
這是因為沒有在啟動指令碼/etc/init.d/redis里加入redis啟動優先順序資訊,可新增如下紅色字型的兩行:
[root@dev ~]# vim /etc/init.d/redis
#!/bin/sh
#
# chkconfig: 2345 90 10 //注意:後面的英文空格
# description: Redis is a persistent key-value database //注意:後面的英文空格
# Simple Redis init.d script conceived to work on Linux systems
# as it does use of the /proc filesystem.
REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli
PIDFILE=/var/redis/run/redis_6379.pid
CONF="/etc/redis/redis.conf"
.......
[root@dev ~]# chkconfig redis on
[root@dev ~]# chkconfig --list|grep redis
redis 0:關閉 1:關閉 2:啟用 3:啟用 4:啟用 5:啟用 6:關閉
------------------------------------------------------------------------------------------------------------
初始化Redis的密碼
有以下2個步驟:
1)在配置檔案中有個引數: requirepass 這個就是配置redis訪問密碼的引數。
比如 requirepass test123
2)配置檔案中引數生效需要重啟重啟redis 。
重啟redis服務後,發現使用redis-cli -p 6379的無密碼方式仍能登入redis,只是登入進去後不能做任何操作。
需要用密碼登入redis-cli -p 6379 -a test123後,才能正常操作
那麼不重啟redis的情況下如何配置密碼?
1)在配置檔案中配置requirepass的密碼(當redis重啟時密碼依然有效)。
# requirepass foobared
比如修改成:
requirepass test123
2)進入redis重定義引數
檢視當前的密碼:
[root@slaver251 redis-2.4.16]# redis-cli -p 6379
redis 127.0.0.1:6379>
redis 127.0.0.1:6379> config get requirepass
1) "requirepass"
2) ""
127.0.0.1:6379>
顯示密碼是空的,
然後設定密碼:
redis 127.0.0.1:6379> config set requirepass test123
OK
再次查詢密碼:
redis 127.0.0.1:6379> config get requirepass
(error) ERR operation not permitted
此時報錯了!
現在只需要密碼認證就可以了。
redis 127.0.0.1:6379> auth test123
OK
再次查詢密碼:
redis 127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "test123"
密碼已經得到修改。
當到了可以重啟redis的時候,由於配置引數已經修改,所以密碼會自動生效。
要是配置引數沒新增密碼,那麼redis重啟,密碼將相當於沒有設定。
==================================================================================
masterauth是當master節點設定了密碼保護時,slave節點連線master節點的密碼,這個是在slave節點配置的。
1)如果master節點不設定密碼(即不設定requirepass密碼),那麼slave節點在配置同步的時候,只需配置:
#slaveof master的ip 埠
slaveof 192.168.1.150 6379
2)如果master節點配置了requirepass密碼,那麼slave就需要配置masterauth密碼來連線master。特別注意: 如果要設定密碼的話,masterauth和requirepass都要設定,否則主從切換時,會有授權問題! (並且兩者密碼要設定一樣)
比如:
master 節點配置:
port 6379
requirepass redis # master節點只需要設定這一個密碼
slave1 節點配置:
port 6479
slaveof 192.168.1.150 6379
masterauth redis # 注意,這個是連線master節點,同步資料用的密碼. slave節點需要設定這兩個密碼
requirepass redis # 這個是slave節點上登入自己的redis用的密碼
=================================================================================
除了在配置檔案裡設定redis密碼,也可以直接在命令列裡設定密碼:
1)設定有密碼 [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -p 6379 config set masterauth "redis123" [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -p 6379 config set requirepass "redis123" OK [root@redis-node01 ~]# 2)登入 [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 p 7000 -a "redis123" 192.168.10.207:7000> 或者 [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 192.168.10.207:7000> auth redis123 OK 192.168.10.207:7000> 3)再次設定無密碼 [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 192.168.10.207:7000> auth redis123 OK 192.168.10.207:7000> config set masterauth "" OK 192.168.10.207:7000> config set requirepass "" OK 192.168.10.207:7000>
slave端的相關配置
slave-read-only yes #從2.6版本開始支援只讀的slave,預設是yes的
masterauth <master-password> #如果master配置了requirepass設定密碼,slave需要配置連線master的密碼
slave-serve-stale-data yes #當slave與master斷開或者複製正在進行的時候是否繼續提供服務,預設是yes繼續服務,可以配置為no返回錯誤提示“SYNC with master in progress”(除了INFO和SLAVEOF命令)
repl-ping-slave-period 10 #slave傳送心跳的間隔時間,預設是10秒
master端的相關配置
repl-diskless-sync no #是否使用無盤複製 Diskless replication,預設是no
repl-diskless-sync-delay 5 #無盤複製延時開始秒數,預設是5秒,意思是當PSYNC觸發的時候,master延時多少秒開始向master傳送資料流,以便等待更多的slave連線可以同時傳送資料流,因為一旦PSYNC開始後,如果有新的slave連線master,只能等待下次PSYNC。可以配置為0取消等待,立即開始
repl-backlog-size 1mb #複製流的記憶體緩衝區大小,用於增量同步,當master-slave斷開的時候,master儲存在複製流記憶體緩衝區的資料大小限制,預設是1mb。如果至少有1個slave連線的話,就會釋放
repl-backlog-ttl 3600 #複製流的記憶體緩衝區過時時間,預設3600秒,就是說無論儲存在複製流記憶體緩衝區的資料大小是否超過限制,當master-slave斷開超過上述時間就會釋放
min-slaves-to-write 3 #從2.8版本開始,可以配置與master連線的slave的最少數量,預設是0沒有限制,如果配置>0,需要結合下面的選項一起使用,只有同時滿足這2個選項,master才能接收寫操作
min-slaves-max-lag 10 #允許master-slave的心跳最大間隔,預設是10秒,需要結合min-slaves-to-write選項一起使用
複製+持久化的資料完整性考慮
如果master配置了slave,那麼強烈建議master啟用持久化。因為當master重啟的時候,如果沒有啟用持久化,資料會全部丟失,而且當slave重新連線master的時候,slave原有的資料也會被清空。如果真的要配置不啟用持久化,最好不要設定自動啟動master,除非資料全部丟失對你來說不重要。
======================================================================
當redis服務日誌出現下面報錯:
34145] 01 Jan 17:42:02 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' 原因分析: redis在dump資料的時候,會fork出一個子程式,理論上child程式所佔用的記憶體和parent是一樣的,比如parent佔用的記憶體為8G,這個時候也要同樣分配8G的記憶體給 hild,如果記憶體無法負擔,往往會造成redis伺服器的down機或者IO負載過高,效率下降。所以這裡比較優化的記憶體分配策略應該設定為 1(表示核心允許分配所有的實體記憶體, 而不管當前的記憶體狀態如何)。 overcommit_memory引數說明: 設定記憶體分配策略(可選,根據伺服器的實際情況進行設定) /proc/sys/vm/overcommit_memory 可選值:0、1、2。 0:表示核心將檢查是否有足夠的可用記憶體供應用程式使用;如果有足夠的可用記憶體,記憶體申請允許;否則,記憶體申請失敗,並把錯誤返回給應用程式。 1:表示核心允許分配所有的實體記憶體,而不管當前的記憶體狀態如何。 2:表示核心允許分配超過所有實體記憶體和交換空間總和的記憶體。 解決辦法: # echo 1 > /proc/sys/vm/overcommit_memory 或者 # vim /etc/sysctl.conf vm.overcommit_memory=1 # sysctl -p
下面是對redis.conf檔案配置解釋:
1. Redis預設不是以守護程式的方式執行,可以通過該配置項修改,使用yes啟用守護程式 daemonize no 2. 當Redis以守護程式方式執行時,Redis預設會把pid寫入/var/run/redis.pid檔案,可以通過pidfile指定 pidfile /var/run/redis.pid 3. 指定Redis監聽埠,預設埠為6379,作者在自己的一篇博文中解釋了為什麼選用6379作為預設埠,因為6379在手機按鍵上MERZ對應的號碼,而MERZ取自義大利歌女Alessia Merz的名字 port 6379 4. 繫結的主機地址。說明只能redis-cli連線本機redis的時候只能通過這個ip連線。 bind 127.0.0.1 5.當 客戶端閒置多長時間後關閉連線,如果指定為0,表示關閉該功能 timeout 300 6. 指定日誌記錄級別,Redis總共支援四個級別:debug、verbose、notice、warning,預設為verbose loglevel verbose 7. 日誌記錄方式,預設為標準輸出,如果配置Redis為守護程式方式執行,而這裡又配置為日誌記錄方式為標準輸出,則日誌將會傳送給/dev/null logfile stdout 8. 設定資料庫的數量,預設資料庫為0,可以使用SELECT <dbid>命令在連線上指定資料庫id databases 16 9. 指定在多長時間內,有多少次更新操作,就將資料同步到資料檔案,可以多個條件配合 save <seconds> <changes> Redis預設配置檔案中提供了三個條件(開啟這三行的上面一行的註釋,即 save "" 這個註釋去掉就表示關閉snapshot快照功能;): save 900 1 save 300 10 save 60 10000 分別表示900秒(15分鐘)內有1個更改,300秒(5分鐘)內有10個更改以及60秒內有10000個更改。 10. 指定儲存至本地資料庫時是否壓縮資料,預設為yes,Redis採用LZF壓縮,如果為了節省CPU時間,可以關閉該選項,但會導致資料庫檔案變的巨大 rdbcompression yes 11. 指定本地資料庫檔名,預設值為dump.rdb dbfilename dump.rdb 12. 指定本地資料庫存放目錄 dir ./ 13. 設定當本機為slav服務時,設定master服務的IP地址及埠,在Redis啟動時,它會自動從master進行資料同步 slaveof <masterip> <masterport> 14. 當master服務設定了密碼保護時,slav服務連線master的密碼. 如果要設定密碼的話,masterauth和requirepass都要設定,否則主從切換時,會有授權問題! (並且兩者密碼要設定一樣) masterauth <master-password> 15. 設定Redis連線密碼,如果配置了連線密碼,客戶端在連線Redis時需要通過AUTH <password>命令提供密碼,預設關閉 requirepass foobared 16. 設定同一時間最大客戶端連線數,預設無限制,Redis可以同時開啟的客戶端連線數為Redis程式可以開啟的最大檔案描述符數,如果設定 maxclients 0,表示不作限制。當客戶端連線數到達限制時,Redis會關閉新的連線並向客戶端返回max number of clients reached錯誤資訊 maxclients 128 17. 指定Redis最大記憶體限制,Redis在啟動時會把資料載入到記憶體中,達到最大記憶體後,Redis會先嚐試清除已到期或即將到期的Key,當此方法處理 後,仍然到達最大記憶體設定,將無法再進行寫入操作,但仍然可以進行讀取操作。Redis新的vm機制,會把Key存放記憶體,Value會存放在swap區 maxmemory <bytes> 18. 指定是否在每次更新操作後進行日誌記錄,Redis在預設情況下是非同步的把資料寫入磁碟,如果不開啟,可能會在斷電時導致一段時間內的資料丟失。因為 redis本身同步資料檔案是按上面save條件來同步的,所以有的資料會在一段時間內只存在於記憶體中。預設為no appendonly no 19. 指定更新日誌檔名,預設為appendonly.aof appendfilename appendonly.aof 20. 指定更新日誌條件,共有3個可選值: appendfsync no:表示等作業系統進行資料快取同步到磁碟。完全依賴OS的寫入,一般為30秒左右一次,效能最好但是持久化最沒有保證,不被推薦。(快) appendfsync always:#每次收到寫命令就立即強制寫入磁碟,是最有保證的完全的持久化,但速度也是最慢的,一般不推薦使用。(慢,安全) appendfsync everysec:表示每秒同步一次(折中,預設值),每秒鐘強制寫入磁碟一次,在效能和持久化方面做了很好的折中,這種fsync策略可以兼顧速度和安全性,是受推薦的方式。 appendfsync everysec 21. 指定是否啟用虛擬記憶體機制,預設值為no,簡單的介紹一下,VM機制將資料分頁存放,由Redis將訪問量較少的頁即冷資料swap到磁碟上,訪問多的頁面由磁碟自動換出到記憶體中(在後面的文章我會仔細分析Redis的VM機制) vm-enabled no 22. 虛擬記憶體檔案路徑,預設值為/tmp/redis.swap,不可多個Redis例項共享 vm-swap-file /tmp/redis.swap 23. 將所有大於vm-max-memory的資料存入虛擬記憶體,無論vm-max-memory設定多小,所有索引資料都是記憶體儲存的(Redis的索引資料 就是keys),也就是說,當vm-max-memory設定為0的時候,其實是所有value都存在於磁碟。預設值為0 vm-max-memory 0 24. Redis swap檔案分成了很多的page,一個物件可以儲存在多個page上面,但一個page上不能被多個物件共享,vm-page-size是要根據儲存的 資料大小來設定的,作者建議如果儲存很多小物件,page大小最好設定為32或者64bytes;如果儲存很大大物件,則可以使用更大的page,如果不 確定,就使用預設值 vm-page-size 32 25. 設定swap檔案中的page數量,由於頁表(一種表示頁面空閒或使用的bitmap)是在放在記憶體中的,,在磁碟上每8個pages將消耗1byte的記憶體。 vm-pages 134217728 26. 設定訪問swap檔案的執行緒數,最好不要超過機器的核數,如果設定為0,那麼所有對swap檔案的操作都是序列的,可能會造成比較長時間的延遲。預設值為4 vm-max-threads 4 27. 設定在向客戶端應答時,是否把較小的包合併為一個包傳送,預設為開啟 glueoutputbuf yes 28. 指定在超過一定的數量或者最大的元素超過某一臨界值時,採用一種特殊的雜湊演算法 hash-max-zipmap-entries 64 hash-max-zipmap-value 512 29. 指定是否啟用重置雜湊,預設為開啟(後面在介紹Redis的雜湊演算法時具體介紹) activerehashing yes 30. 指定包含其它的配置檔案,可以在同一主機上多個Redis例項之間使用同一份配置檔案,而同時各個例項又擁有自己的特定配置檔案 include /path/to/local.conf