Redis從入門到精通:初級篇

五月的倉頡發表於2018-04-25

原文連結:http://www.cnblogs.com/xrq730/p/8890896.html,轉載請註明出處,謝謝

 

Redis從入門到精通:初級篇

平時陸陸續續看了不少Redis的文章了,工作中也一直在用Redis,感覺是時候對過往Redis的所學進行一次系統性的總結。《Redis從入門到精通》系列會分為初級、中級、高階三篇,從淺入深講解Redis相關知識點。

在本文中,我們將看到以下內容:

  • Redis簡介
  • Redis安裝、啟動
  • Redis登入授權
  • Redis配置檔案redis.conf中引數詳細的一個解讀
  • Redis效能測試

這些內容無關具體用法,作為一些初級的知識,系統地先認識一下Redis。

 

Redis簡介

Redis是一款開源的使用ANSI C語言編寫、遵守BSD協議、支援網路、可基於記憶體也可持久化的日誌型、Key-Value高效能資料庫。Redis與其他Key-Value快取產品相比有以下三個特點:

  • 支援資料持久化,可以將記憶體中的資料儲存在磁碟中,重啟可再次載入使用
  • 支援簡單的Key-Value型別的資料,同時還提供List、Set、Zset、Hash等資料結構的儲存
  • 支援資料的備份,即Master-Slave模式的資料備份

同時,我們再看下Redis有什麼優勢:

  • 讀速度為110000次/s,寫速度為81000次/s,效能極高
  • 具有豐富的資料型別,這個上面已經提過了
  • Redis所有操作都是原子的,意思是要麼成功執行要麼失敗完全不執行,多個操作也支援事務
  • 豐富的特性,比如Redis支援publish/subscribe、notify、key過期等

 

Redis安裝、啟動

這次寫Redis系列的文章,LZ特意去阿里雲上買了一個月的伺服器,作業系統是Linux,因為Redis專案本身不正式支援Windows系統。不過微軟開放技術小組開發和維護了Windows版本的Redis,下載地址為https://github.com/MicrosoftArchive/redis/releases,感興趣的可以自己去試下,LZ在自己筆記本上安裝啟動過,沒有問題,但就不細說了。

下面說一下在Linux系統上安裝並啟動Redis的步驟(我的Redis安裝在/data/component/redis目錄下,每一步使用的命令標紅加粗):

  • 進入目錄,cd /data/component/redis
  • 下載Redis,wget http://download.redis.io/releases/redis-3.2.11.tar.gz,可以看到LZ使用的Redis版本是3.2.11,在LZ寫這篇文章的時候,Redis最新版本為4.0.9,地址為http://download.redis.io/releases/redis-4.0.9.tar.gz,感興趣的朋友也可以用這個版本
  • 解壓下載下來的tar包,tar -zxvf redis-3.2.11.tar.gz,解壓完畢的資料夾名稱為redis-3.2.11
  • 進入redis-3.2.11,cd redis-3.2.11
  • 由於我們下載下來的是原始檔,因此使用make命令對原始檔進行一個構建,構建完畢我們會發現src目錄下多出了redis-benchmark、redis-check-aof、redis-check-rdb、redis-cli、redis-sentinel、redis-server幾個可執行檔案,這幾個可執行檔案後面會說到
  • 由於上述幾個命令在/data/component/redis/redis-3.2.11/src目錄下,為了更方便地使用這幾個命令而不需要指定全路徑,配置一下環境變數。這裡我是以非root使用者進行登入的,因此配置使用者變數,先執行cd命令回到初始目錄,再vi ./.bash_profile,在path這一行加入PATH=$PATH:$HOME/.local/bin:$HOME/bin:/data/component/redis/redis-3.2.11/src,使用:wq儲存並退出
  • 使環境變數生效,執行source ./.bash_profile
  • 使用redis-server即可啟動redis,redis-server /data/component/redis/redis-3.2.11/redis.conf

不過這個時候我們的啟動稍微有點問題,不是後臺啟動的,即ctrl+c之後Redis就停了:

為了解決這個問題,我們需要修改一下redis.conf,將Redis設定為以守護程式的方式進行啟動,開啟redis.conf,找到daemonize,將其設定為yes即可:

這個時候先關閉一下再啟動,Redis就在後臺自動執行了,關閉Redis有兩種方式:

  • redis-cli shutdown,這是種安全關閉redis的方式,但這種寫法只適用於沒有配置密碼的場景,比較不安全,配置密碼下一部分會講
  • kill -9 pid,這種方式就是強制關閉,可能會造成資料未儲存

重啟後,我們可以使用ps -ef | grep redisnetstat -ant | grep 6379命令來驗證Redis已經啟動。

 

Redis登入授權

上面我們安裝了Redis,但這種方式是非常不安全的,因為沒有密碼,這樣任何連線上Redis伺服器的使用者都可以對Redis執行操作,所以這一部分我們來講一下給Redis設定密碼。

開啟redis.conf,找到"requirepass"部分,開啟原本關閉的註釋,替換一下自己想要的密碼即可:

重啟Redis,授權登入有兩種做法:

  • 連線的時候直接指定密碼,redis-cli -h 127.0.0.1 -p 6379 -a 123456
  • 連線後授權,redis-cli -h 127.0.0.1 -p 6379auth 123456

在配置了密碼的情況下,沒有進行授權,那麼對Redis傳送的命令,將返回"(error) NOAUTH Authentication required."。

 

Redis配置檔案redis.conf

上面兩小節,設定使用守護執行緒啟動、設定密碼,都需要修改redis.conf,說明redis.conf是Redis核心的配置檔案,本小節我們來看一下redis.conf中一些常用配置:

配置 作用 預設
bind

當配置了bind之後:

  • 只有bind指定的ip可以直接訪問Redis,這樣可以避免將Redis服務暴露於危險的網路環境中,防止一些不安全的人隨隨便便通過遠端訪問Redis
  • 如果bind選項為空或0.0.0.0的話,那會接受所有來自於可用網路介面的連線
127.0.0.1
protected-mode

protected-mode是Redis3.2之後的新特性,用於加強Redis的安全管理,當滿足以下兩種情況時,protected-mode起作用:

  • bind未設定,即接收所有來自網路的連線
  • 密碼未設定

當滿足以上兩種情況且protected-mode=yes的時候,訪問Redis將報錯,即密碼未設定的情況下,無密碼訪問Redis只能通過安裝Redis的本機進行訪問

yes
port Redis訪問埠,由於Redis是單執行緒模型,因此單機開多個Redis程式的時候會修改埠,不然一般使用大家比較熟悉的6379埠就可以了 6379
tcp-backlog 半連線佇列的大小,對半連線佇列不熟的可以看我以前的文章TCP:三次握手、四次握手、backlog及其他 511
timeout 指定在一個client空閒多少秒之後就關閉它,0表示不管 0
tcp-keepalive

設定tcp協議的keepalive,從Redis的註釋來看,這個引數有兩個作用:

  • 發現死的連線
  • 從中間網路裝置的角度看連線是否存活
300
daemonize 這個前面說過了,指定Redis是否以守護程式的方式啟動 no
supervised 這個參數列示可以通過upstart和systemd管理Redis守護程式,這個具體和作業系統相關,資料也不是很多,就暫時不管了 no
pidfile 當Redis以守護程式的方式執行的時候,Redis預設會把pid寫到pidfile指定的檔案中 /var/run/redis_6379.pid
loglevel

指定Redis的日誌級別,Redis本身的日誌級別有notice、verbose、notice、warning四種,按照文件的說法,這四種日誌級別的區別是:

  • debug,非常多資訊,適合開發/測試
  • verbose,很多很少有用的資訊(直譯,讀著拗口,從上下文理解應該是有用資訊不多的意思),但並不像debug級別這麼混亂
  • notice,適度的verbose級別的輸出,很可能是生產環境中想要的
  • warning,只記錄非常重要/致命的資訊
notice
logfile 配置log檔案地址,預設列印在命令列終端的視窗上 ""
databases 設定Redis資料庫的數量,預設使用0號DB 16
 save 把Redis資料儲存到磁碟上,這個是在RDB的時候用的,介紹RDB的時候專門說這個 

save 900 1

save 300 10

save 60 10000 

 stop-writes-on-bgsave-error

當啟用了RDB且最後一次後臺儲存資料失敗,Redis是否停止接收資料。

這會讓使用者意識到資料沒有正確持久化到磁碟上,否則沒有人會注意到災難(disaster)發生了。

如果Redis重啟了,那麼又可以重新開始接收資料了

 yes
rdbcompression  是否在RBD的時候使用LZF壓縮字串,如果希望省點CPU,那就設為no,不過no的話資料集可能就比較大  yes 
 rdbchecksum 是否校驗RDB檔案,在RDB檔案中有一個checksum專門用於校驗 yes 
 dbfilename dump的檔案位置 dump.rdb 
 dir Redis工作目錄 ./ 
 slaveof 主從複製,使用slaveof讓一個節點稱為某個節點的副本,這個只需要在副本上配置  關閉
masterauth 如果主機使用了requirepass配置進行密碼保護,使用這個配置告訴副本連線的時候需要鑑權 關閉
slave-serve-stale-data

當一個Slave與Master失去聯絡或者複製正在進行中,Slave可能會有兩種表現:

  • 如果為yes,Slave仍然會應答客戶端請求,但返回的資料可能是過時的或者資料可能是空的
  • 如果為no,在執行除了INFO、SLAVEOF兩個命令之外,都會應答"SYNC with master in progres"錯誤
yes
 slave-read-only 配置Redis的Slave例項是否接受寫操作,即Slave是否為只讀Redis  yes
 slave-priority 從站優先順序是可以從redis的INFO命令輸出中查到的一個整數。當主站不能正常工作時,redis sentinel使用它來選擇一個從站並將它提升為主站。 
低優先順序的從站被認為更適合於提升,因此如果有三個從站優先順序分別是10, 100, 25,sentinel會選擇優先順序為10的從站,因為它的優先順序最低。 
然而優先順序值為0的從站不能執行主站的角色,因此優先順序為0的從站永遠不會被redis sentinel提升。 
100 
 requirepass 設定客戶端認證密碼 關閉 
 rename-command

命令重新命名,對於一些危險命令例如:

  • flushdb(清空資料庫)
  • flushall(清空所有記錄)
  • config(客戶端連線後可配置伺服器)
  • keys(客戶端連線後可檢視所有存在的鍵)                   

作為服務端redis-server,常常需要禁用以上命令來使得伺服器更加安全,禁用的具體做法是是:

  • rename-command FLUSHALL ""

也可以保留命令但是不能輕易使用,重新命名這個命令即可:

  • rename-command FLUSHALL abcdefg

這樣,重啟伺服器後則需要使用新命令來執行操作,否則伺服器會報錯unknown command

關閉 
maxclients  設定同時連線的最大客戶端數量,一旦達到了限制,Redis會關閉所有的新連線併傳送一個"max number of clients reached"的錯誤 關閉,預設10000 
 maxmemory 不要使用超過指定數量的記憶體,一旦達到了,Redis會嘗試使用驅逐策略來移除鍵  關閉 
 maxmemory-policy

當達到了maxmemory之後Redis如何移除資料,有以下的一些策略:

  • volatile-lru,使用LRU演算法,移除範圍為設定了失效時間的
  • allkeys-lru,根據LRU演算法,移除範圍為所有的
  • volatile-random,使用隨機演算法,移除範圍為設定了失效時間的
  • allkeys-random,使用隨機演算法,移除範圍為所有的
  • volatile-ttl,移除最近過期的資料
  • noeviction,不過期,當寫操作的時候返回錯誤

注意,當寫操作且Redis發現沒有合適的資料可以移除的時候,將會報錯

關閉,noeviction
appendonly  是否開啟AOF,關於AOF後面再說   no
appendfilename AOF檔名稱 appendonly.aof
appendfsync 

作業系統實際寫資料到磁碟的頻率,有以下幾個選項:

  • always,每次有寫操作都進行同步,慢,但是最安全
  • everysec,對寫操作進行累積,每秒同步一次,是一種折衷方案
  • no,當作業系統flush快取的時候同步,效能更好但是會有資料丟失的風險

當不確定是使用哪種的時候,官方推薦使用everysec,它是速度與資料安全之間的一種折衷方案

everysec 
 no-appendfsync-on-rewrite

aof持久化機制有一個致命的問題,隨著時間推移,aof檔案會膨脹,當server重啟時嚴重影響資料庫還原時間,因此係統需要定期重寫aof檔案。

重寫aof的機制為bgrewriteaof(另外一種被廢棄了,就不說了),即在一個子程式中重寫從而不阻塞主程式對其他命令的處理,但是這依然有個問題。

bgrewriteaof和主程式寫aof,都會操作磁碟,而bgrewriteaof往往涉及大量磁碟操作,這樣就會讓主程式寫aof檔案阻塞。

針對上述問題,可以使用此時可以使用no-appendfsync-on-rewrite引數做一個選擇:

  • no,最安全,不丟失資料,但是需要忍受阻塞
  • yes,資料寫入緩衝區,不造成阻塞,但是如果此時redis掛掉就會丟失資料,在Linux作業系統預設設定下,最壞場景下會丟失30秒資料
 no
 auto-aof-rewrite-percentage 本次aof檔案超過上次aof檔案該值的百分比時,才會觸發rewrite  100 
 auto-aof-rewrite-min-size aof檔案最小值,只有到達這個值才會觸發rewrite,即rewrite由auto-aof-rewrite-percentage+auto-aof-rewrite-min-size共同保證  64mb
 aof-load-truncated

redis在以aof方式恢復資料時,對最後一條可能出問題的指令的處理方式: 

  • yes,log並繼續
  • no,直接恢復失敗
 yes
 slowlog-log-slower-than Redis慢查詢的最低條件,單位微妙,即查詢時間>這個值的會被記錄   10000
 slowlog-max-len Redis儲存的慢查詢最大條數,超過該值之後會將最早的slowlog剔除 128 
lua-time-limit 一個lua指令碼執行的最大時間,單位為ms 5000
cluster-enabled 正常來說Redis例項是無法稱為叢集的一部分的,只有以叢集方式啟動的節點才可以。為了讓Redis以叢集方式啟動,就需要此引數。 關閉
cluster-config-file 每個叢集節點應該有自己的配置檔案,這個檔案是不應該手動修改的,它只能被Redis節點建立且更新,每個Redis叢集節點需要不同的叢集配置檔案 關閉,nodes-6379.conf 
 cluster-node-timeout 叢集中一個節點向其他節點傳送ping命令時,必須收到回執的毫秒數  關閉,15000
cluster-slave-validity-factor

如果該項設定為0,不管Slave節點和Master節點間失聯多久都會一直嘗試failover。

比如timeout為5,該值為10,那麼Master與Slave之間失聯50秒,Slave不會去failover它的Master

關閉,10 
cluster-migration-barrier

當一個Master擁有多少個好的Slave時就要割讓一個Slave出來。

例如設定為2,表示當一個Master擁有2個可用的Slave時,它的一個Slave會嘗試遷移

關閉,1
cluster-require-full-coverage 

有節點當機導致16384個Slot全部被覆蓋,整個叢集是否停止服務,這個值一定要改為no

關閉,yes

以上把redis.conf裡面幾乎所有的配置都寫了一遍(除了ADVANCED CONFIG部分),感覺其他部落格很少有看到比我這個還全的了^_^,給大家作為參考吧。

 

Redis效能測試

之前說過Redis在make之後有一個redis-benchmark,這個就是Redis提供用於做效能測試的,它可以用來模擬N個客戶端同時發出M個請求。首先看一下redis-benchmark自帶的一些引數:

引數 作用 預設值
-h 伺服器名稱 127.0.0.1
-p 伺服器埠 6379
-s 伺服器Socket
-c 並行連線數 50
-n 請求書 10000
-d SET/GET值的位元組大小 2
-k 1表示keep alive,0表示重連 1
-r

SET/GET/INC使用隨機Key而不是常量,在形式上key樣子為mykey_ran:000000012456

-r的值決定了value的最大值

-p 使用管道請求 1,即不使用管道
-q 安靜模式,只顯示query/sec值
--csv 使用csv格式輸出
-l 迴圈,無限執行測試
-t 只執行使用逗號分割的命令的測試
-I 空閒模式,只開啟N個空閒執行緒並且等待

拋開配置只談效能的都是耍流氓,說一下我買的阿里雲伺服器的配置:

  • 單核CPU,CPU型別為Intel(R) Xeon(R) CPU E5-2682 v4 @ 2.50GHz
  • 記憶體4G
  • 頻寬1M
  • 作業系統為Centos7

首先我們執行最簡單的redis-benchmark -q,執行結果為:

列印了每個命令的QPS,看到基本都在讀寫速度基本都在100000次/s以上。

接著換一個命令進行測試,因為實際場景中我們的Key和Value一定是非常豐富的,不可能是單一的Key和單一的Value,因此接著去的測試使用-r模擬value到100000且將執行次數提高到1000000次,具體命令為redis-benchmark -q -r 100000 -n 1000000,執行結果為:

看到整個讀寫效率基本都在110000次/s以上,證明了讀寫的高效率。

簡單對於Redis的效能測試就到這兒,這個測試結果看起來很美,但是實際應用卻完全不是,主要體現在以下幾點:

  • 網路與頻寬,這是現實中最主要的影響因素,上面的測試還是太過於低階,現實使用中Redis裡面存一個使用者資訊、訂單資訊,幾KB的大小,100000qps根本不可能大家可以算算需要多大的頻寬,粗粗算一下超過1個G吧,很多線上服務的頻寬根本達不到1G/s,所以Redis的吞吐量最先會被網路頻寬限制住
  • Redis由於是單執行緒模型,因此CPU效能非常重要,尤其是大快取的快速CPU,我這裡的CPU上面寫過了,Intel(R) Xeon(R) CPU E5-2682 v4 @ 2.50GHz總體還是可以的
  • 客戶端連線數,上面使用了預設的連線數50,實際上10W、20W甚至100W+呢?不過得益於epoll模型,整個下降的可以接受,下面有一張連線數和qps的關係,我也是網上找來的
  • RDB和AOF可能會對Redis造成的阻塞並未考慮進去
  • 儘可能使用大記憶體,避免SWAP

無論如何,總而言之,Redis整個效能是非常不錯的,個人認為如果要選一款儲存系統,那麼Redis應當是首選。

相關文章