redis原始碼分析(一)複習redis命令、持久化方案、主從同步原理、配置
原始碼分析之前複習一下redis知識,好久沒用過redis有點生疏了。
一、redis的資料結構
redis可以儲存鍵與5種不同資料結構型別之間的對映,這5種資料型別就是string(字串)、list(列表)、set(集合)、hash(雜湊)、zset(有序集合)。redis命令對於這5種結構都是通用的,如del、type、range等。
1、string操作:
string是redis最基本的型別,你可以理解成與Memcached一模一樣的型別,一個key對應一個value。
string型別是二進位制安全的。意思是redis的string可以包含任何資料。比如jpg圖片或者序列化的物件 。
string型別是Redis最基本的資料型別,一個鍵最大能儲存512MB。
redis 127.0.0.1:6379> SET key "chen"
OK
redis 127.0.0.1:6379> GET key
"chen"
2、Hash(雜湊)操作:
Redis hash 是一個鍵名對集合。
Redis hash是一個string型別的field和value的對映表,hash特別適合用於儲存物件。
127.0.0.1:6379> HMSET hashkey username chen password 123456 points 200
OK
127.0.0.1:6379> HGETALL hashkey
1) "username"
2) "chen"
3) "password"
4) "123456"
5) "points"
6) "200"
以上例項中 hash 資料型別儲存了包含使用者指令碼資訊的使用者物件。 例項中我們使用了 Redis HMSET, HGETALL 命令,user:1 為鍵值。
每個 hash 可以儲存 2的32次方 -1 鍵值對(40多億)。
3、List(列表)
Redis 列表是簡單的字串列表,按照插入順序排序。你可以新增一個元素到列表的頭部(左邊)或者尾部(右邊)。
redis 127.0.0.1:6379> lpush lishkey redis
(integer) 1
redis 127.0.0.1:6379> lpush lishkey mongodb
(integer) 2
redis 127.0.0.1:6379> lpush lishkey rabitmq
(integer) 3
redis 127.0.0.1:6379> lrange lishkey 0 10
1) "rabitmq"
2) "mongodb"
3) "redis"
redis 127.0.0.1:6379>
4、Set(集合)
Redis的Set是string型別的無序集合。
集合是通過雜湊表實現的,所以新增,刪除,查詢的複雜度都是O(1)。
sadd 命令
新增一個string元素到,key對應的set集合中,成功返回1,如果元素已經在集合中返回0,key對應的set不存在返回錯誤。
redis 127.0.0.1:6379> sadd setkey redis
(integer) 1
redis 127.0.0.1:6379> sadd setkey mongodb
(integer) 1
redis 127.0.0.1:6379> sadd setkey rabitmq
(integer) 1
redis 127.0.0.1:6379> sadd setkey rabitmq
(integer) 0
redis 127.0.0.1:6379> smembers setkey
1) "rabitmq"
2) "mongodb"
3) "redis"
5、zset(sorted set:有序集合)
Redis zset 和 set 一樣也是string型別元素的集合,且不允許重複的成員。
不同的是每個元素都會關聯一個double型別的分數。redis正是通過分數來為集合中的成員進行從小到大的排序。
zset的成員是唯一的,但分數(score)卻可以重複。
redis 127.0.0.1:6379> zadd zsetkey 0 redis
(integer) 1
redis 127.0.0.1:6379> zadd zsetkey 0 mongodb
(integer) 1
redis 127.0.0.1:6379> zadd zsetkey 0 rabitmq
(integer) 1
redis 127.0.0.1:6379> zadd zsetkey 0 rabitmq
(integer) 0
redis 127.0.0.1:6379> ZRANGEBYSCORE zsetkey 0 1000
1) "redis"
2) "mongodb"
3) "rabitmq"
二、redis持久化 – 兩種方式
redis提供了兩種持久化的方式,分別是RDB(Redis DataBase)和AOF(Append Only File)。
RDB,簡而言之,就是在不同的時間點,將redis儲存的資料生成快照並儲存到磁碟等介質上;
AOF,則是換了一個角度來實現持久化,那就是將redis執行過的所有寫指令記錄下來,在下次redis重新啟動時,只要把這些寫指令從前到後再重複執行一遍,就可以實現資料恢復了。
其實RDB和AOF兩種方式也可以同時使用,在這種情況下,如果redis重啟的話,則會優先採用AOF方式來進行資料恢復,這是因為AOF方式的資料恢復完整度更高。
如果你沒有資料持久化的需求,也完全可以關閉RDB和AOF方式,這樣的話,redis將變成一個純記憶體資料庫,就像memcache一樣。
1. redis持久化 – RDB
RDB方式,是將redis某一時刻的資料持久化到磁碟中,是一種快照式的持久化方法。
redis在進行資料持久化的過程中,會先將資料寫入到一個臨時檔案中,待持久化過程都結束了,才會用這個臨時檔案替換上次持久化好的檔案。正是這種特性,讓我們可以隨時來進行備份,因為快照檔案總是完整可用的。
對於RDB方式,redis會單獨建立(fork)一個子程式來進行持久化,而主程式是不會進行任何IO操作的,這樣就確保了redis極高的效能。
如果需要進行大規模資料的恢復,且對於資料恢復的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。
雖然RDB有不少優點,但它的缺點也是不容忽視的。如果你對資料的完整性非常敏感,那麼RDB方式就不太適合你,因為即使你每5分鐘都持久化一次,當redis故障時,仍然會有近5分鐘的資料丟失。所以,redis還提供了另一種持久化方式,那就是AOF。
2.redis持久化 – AOF
AOF,英文是Append Only File,即只允許追加不允許改寫的檔案。
如前面介紹的,AOF方式是將執行過的寫指令記錄下來,在資料恢復時按照從前到後的順序再將指令都執行一遍,就這麼簡單。
我們通過配置redis.conf中的appendonly yes就可以開啟AOF功能。如果有寫操作(如SET等),redis就會被追加到AOF檔案的末尾。
預設的AOF持久化策略是每秒鐘fsync一次(fsync是指把快取中的寫指令記錄到磁碟中),因為在這種情況下,redis仍然可以保持很好的處理效能,即使redis故障,也只會丟失最近1秒鐘的資料。
如果在追加日誌時,恰好遇到磁碟空間滿、inode滿或斷電等情況導致日誌寫入不完整,也沒有關係,redis提供了redis-check-aof工具,可以用來進行日誌修復。
因為採用了追加方式,如果不做任何處理的話,AOF檔案會變得越來越大,為此,redis提供了AOF檔案重寫(rewrite)機制,即當AOF檔案的大小超過所設定的閾值時,redis就會啟動AOF檔案的內容壓縮,只保留可以恢復資料的最小指令集。舉個例子或許更形象,假如我們呼叫了100次INCR指令,在AOF檔案中就要儲存100條指令,但這明顯是很低效的,完全可以把這100條指令合併成一條SET指令,這就是重寫機制的原理。
在進行AOF重寫時,仍然是採用先寫臨時檔案,全部完成後再替換的流程,所以斷電、磁碟滿等問題都不會影響AOF檔案的可用性,這點大家可以放心。
AOF方式的另一個好處,我們通過一個“場景再現”來說明。某同學在操作redis時,不小心執行了FLUSHALL,導致redis記憶體中的資料全部被清空了,這是很悲劇的事情。不過這也不是世界末日,只要redis配置了AOF持久化方式,且AOF檔案還沒有被重寫(rewrite),我們就可以用最快的速度暫停redis並編輯AOF檔案,將最後一行的FLUSHALL命令刪除,然後重啟redis,就可以恢復redis的所有資料到FLUSHALL之前的狀態了。是不是很神奇,這就是AOF持久化方式的好處之一。但是如果AOF檔案已經被重寫了,那就無法通過這種方法來恢復資料了。
雖然優點多多,但AOF方式也同樣存在缺陷,比如在同樣資料規模的情況下,AOF檔案要比RDB檔案的體積大。而且,AOF方式的恢復速度也要慢於RDB方式。
如果你直接執行BGREWRITEAOF命令,那麼redis會生成一個全新的AOF檔案,其中便包括了可以恢復現有資料的最少的命令集。
如果運氣比較差,AOF檔案出現了被寫壞的情況,也不必過分擔憂,redis並不會貿然載入這個有問題的AOF檔案,而是報錯退出。這時可以通過以下步驟來修復出錯的檔案:
1.備份被寫壞的AOF檔案
2.執行redis-check-aof –fix進行修復
3.用diff -u來看下兩個檔案的差異,確認問題點
4. 重啟redis,載入修復後的AOF檔案
redis持久化 – AOF重寫
AOF重寫的內部執行原理,我們有必要了解一下。
在重寫即將開始之際,redis會建立(fork)一個“重寫子程式”,這個子程式會首先讀取現有的AOF檔案,並將其包含的指令進行分析壓縮並寫入到一個臨時檔案中。
與此同時,主工作程式會將新接收到的寫指令一邊累積到記憶體緩衝區中,一邊繼續寫入到原有的AOF檔案中,這樣做是保證原有的AOF檔案的可用性,避免在重寫過程中出現意外。
當“重寫子程式”完成重寫工作後,它會給父程式發一個訊號,父程式收到訊號後就會將記憶體中快取的寫指令追加到新AOF檔案中。
當追加結束後,redis就會用新AOF檔案來代替舊AOF檔案,之後再有新的寫指令,就都會追加到新的AOF檔案中了。
- 如何選擇RDB和AOF
對於我們應該選擇RDB還是AOF,官方的建議是兩個同時使用。這樣可以提供更可靠的持久化方案。
三、 主從 – 用法
像MySQL一樣,redis是支援主從同步的,而且也支援一主多從以及多級從結構。
主從結構,一是為了純粹的冗餘備份,二是為了提升讀效能,比如很消耗效能的SORT就可以由從伺服器來承擔。
redis的主從同步是非同步進行的,這意味著主從同步不會影響主邏輯,也不會降低redis的處理效能。
主從架構中,可以考慮關閉主伺服器的資料持久化功能,只讓從伺服器進行持久化,這樣可以提高主伺服器的處理效能。
在主從架構中,從伺服器通常被設定為只讀模式,這樣可以避免從伺服器的資料被誤修改。但是從伺服器仍然可以接受CONFIG等指令,所以還是不應該將從伺服器直接暴露到不安全的網路環境中。如果必須如此,那可以考慮給重要指令進行重新命名,來避免命令被外人誤執行。
同步原理
從伺服器會向主伺服器發出SYNC指令,當主伺服器接到此命令後,就會呼叫BGSAVE指令來建立一個子程式專門進行資料持久化工作,也就是將主伺服器的資料寫入RDB檔案中。在資料持久化期間,主伺服器將執行的寫指令都快取在記憶體中。
在BGSAVE指令執行完成後,主伺服器會將持久化好的RDB檔案傳送給從伺服器,從伺服器接到此檔案後會將其儲存到磁碟上,然後再將其讀取到記憶體中。這個動作完成後,主伺服器會將這段時間快取的寫指令再以redis協議的格式傳送給從伺服器。
另外,要說的一點是,即使有多個從伺服器同時發來SYNC指令,主伺服器也只會執行一次BGSAVE,然後把持久化好的RDB檔案發給多個下游。在redis2.8版本之前,如果從伺服器與主伺服器因某些原因斷開連線的話,都會進行一次主從之間的全量的資料同步;而在2.8版本之後,redis支援了效率更高的增量同步策略,這大大降低了連線斷開的恢復成本。
主伺服器會在記憶體中維護一個緩衝區,緩衝區中儲存著將要發給從伺服器的內容。從伺服器在與主伺服器出現網路瞬斷之後,從伺服器會嘗試再次與主伺服器連線,一旦連線成功,從伺服器就會把“希望同步的主伺服器ID”和“希望請求的資料的偏移位置(replication offset)”傳送出去。主伺服器接收到這樣的同步請求後,首先會驗證主伺服器ID是否和自己的ID匹配,其次會檢查“請求的偏移位置”是否存在於自己的緩衝區中,如果兩者都滿足的話,主伺服器就會向從伺服器傳送增量內容。
增量同步功能,需要伺服器端支援全新的PSYNC指令。這個指令,只有在redis-2.8之後才具有。
四、redis配置 – 簡介
我們可以在啟動redis-server時指定應該載入的配置檔案,方法如下:
複製程式碼 程式碼如下:
$ ./redis-server /path/to/redis.conf
接下來,我們就來講解下redis配置檔案的各個配置項的含義,注意,本文是基於redis-2.8.4版本進行講解的。
redis官方提供的redis.conf檔案,足有700+行,其中100多行為有效配置行,另外的600多行為註釋說明。
在配置檔案的開頭部分,首先明確了一些度量單位:
複製程式碼 程式碼如下:
# 1k => 1000 bytes
# 1kb => 1024 bytes
# 1m => 1000000 bytes
# 1mb => 1024*1024 bytes
# 1g => 1000000000 bytes
# 1gb => 1024*1024*1024 bytes
可以看出,redis配置中對單位的大小寫不敏感,1GB、1Gb和1gB都是相同的。由此也說明,redis只支援bytes,不支援bit單位。
redis支援“主配置檔案中引入外部配置檔案”,很像C/C++中的include指令,比如:
複製程式碼 程式碼如下:
include /path/to/other.conf
如果你看過redis的配置檔案,會發現還是很有條理的。redis配置檔案被分成了幾大塊區域,它們分別是:
- 1.通用(general)
- 2.快照(snapshotting)
- 3.複製(replication)
- 4.安全(security)
- 5.限制(limits)
- 6.追加模式(append only mode)
- 7.LUA指令碼(lua scripting)
- 8.慢日誌(slow log)
- 9.事件通知(event notification)
下面我們就來逐一講解。
- redis配置 -通用
預設情況下,redis並不是以daemon形式來執行的。通過daemonize配置項可以控制redis的執行形式,如果改為yes,那麼redis就會以daemon形式執行:
複製程式碼 程式碼如下:
daemonize no
當以daemon形式執行時,redis會生成一個pid檔案,預設會生成在/var/run/redis.pid。當然,你可以通過pidfile來指定pid檔案生成的位置,比如:
複製程式碼 程式碼如下:
pidfile /path/to/redis.pid
預設情況下,redis會響應本機所有可用網路卡的連線請求。當然,redis允許你通過bind配置項來指定要繫結的IP,比如:
複製程式碼 程式碼如下:
bind 192.168.1.2 10.8.4.2
redis的預設服務埠是6379,你可以通過port配置項來修改。如果埠設定為0的話,redis便不會監聽埠了。
複製程式碼 程式碼如下:
port 6379
有些同學會問“如果redis不監聽埠,還怎麼與外界通訊呢”,其實redis還支援通過unix socket方式來接收請求。可以通過unixsocket配置項來指定unix socket檔案的路徑,並通過unixsocketperm來指定檔案的許可權。
複製程式碼 程式碼如下:
unixsocket /tmp/redis.sock
unixsocketperm 755
當一個redis-client一直沒有請求發向server端,那麼server端有權主動關閉這個連線,可以通過timeout來設定“空閒超時時限”,0表示永不關閉。
複製程式碼 程式碼如下:
timeout 0
TCP連線保活策略,可以通過tcp-keepalive配置項來進行設定,單位為秒,假如設定為60秒,則server端會每60秒向連線空閒的客戶端發起一次ACK請求,以檢查客戶端是否已經掛掉,對於無響應的客戶端則會關閉其連線。所以關閉一個連線最長需要120秒的時間。如果設定為0,則不會進行保活檢測。
複製程式碼 程式碼如下:
tcp-keepalive 0
redis支援通過loglevel配置項設定日誌等級,共分四級,即debug、verbose、notice、warning。
複製程式碼 程式碼如下:
loglevel notice
redis也支援通過logfile配置項來設定日誌檔案的生成位置。如果設定為空字串,則redis會將日誌輸出到標準輸出。假如你在daemon情況下將日誌設定為輸出到標準輸出,則日誌會被寫到/dev/null中。
複製程式碼 程式碼如下:
logfile ""
如果希望日誌列印到syslog中,也很容易,通過syslog-enabled來控制。另外,syslog-ident還可以讓你指定syslog裡的日誌標誌,比如:
複製程式碼 程式碼如下:
syslog-ident redis
而且還支援指定syslog裝置,值可以是USER或LOCAL0-LOCAL7。具體可以參考syslog服務本身的用法。
複製程式碼 程式碼如下:
syslog-facility local0
對於redis來說,可以設定其資料庫的總數量,假如你希望一個redis包含16個資料庫,那麼設定如下:
複製程式碼 程式碼如下:
databases 16
這16個資料庫的編號將是0到15。預設的資料庫是編號為0的資料庫。使用者可以使用select 來選擇相應的資料庫。
- redis配置 – 快照
快照,主要涉及的是redis的RDB持久化相關的配置,我們來一起看一看。
我們可以用如下的指令來讓資料儲存到磁碟上,即控制RDB快照功能:
複製程式碼 程式碼如下:
save <seconds> <changes>
舉例來說:
複製程式碼 程式碼如下:
save 900 1 //表示每15分鐘且至少有1個key改變,就觸發一次持久化
save 300 10 //表示每5分鐘且至少有10個key改變,就觸發一次持久化
save 60 10000 //表示每60秒至少有10000個key改變,就觸發一次持久化
如果你想禁用RDB持久化的策略,只要不設定任何save指令就可以,或者給save傳入一個空字串引數也可以達到相同效果,就像這樣:
複製程式碼 程式碼如下:
save ""
如果使用者開啟了RDB快照功能,那麼在redis持久化資料到磁碟時如果出現失敗,預設情況下,redis會停止接受所有的寫請求。這樣做的好處在於可以讓使用者很明確的知道記憶體中的資料和磁碟上的資料已經存在不一致了。如果redis不顧這種不一致,一意孤行的繼續接收寫請求,就可能會引起一些災難性的後果。
如果下一次RDB持久化成功,redis會自動恢復接受寫請求。
當然,如果你不在乎這種資料不一致或者有其他的手段發現和控制這種不一致的話,你完全可以關閉這個功能,以便在快照寫入失敗時,也能確保redis繼續接受新的寫請求。配置項如下:
複製程式碼 程式碼如下:
stop-writes-on-bgsave-error yes
對於儲存到磁碟中的快照,可以設定是否進行壓縮儲存。如果是的話,redis會採用LZF演算法進行壓縮。如果你不想消耗CPU來進行壓縮的話,可以設定為關閉此功能,但是儲存在磁碟上的快照會比較大。
複製程式碼 程式碼如下:
rdbcompression yes
在儲存快照後,我們還可以讓redis使用CRC64演算法來進行資料校驗,但是這樣做會增加大約10%的效能消耗,如果你希望獲取到最大的效能提升,可以關閉此功能。
複製程式碼 程式碼如下:
rdbchecksum yes
我們還可以設定快照檔案的名稱,預設是這樣配置的:
複製程式碼 程式碼如下:
dbfilename dump.rdb
最後,你還可以設定這個快照檔案存放的路徑。比如預設設定就是當前資料夾:
複製程式碼 程式碼如下:
dir ./
- redis配置 – 複製
redis提供了主從同步功能。
通過slaveof配置項可以控制某一個redis作為另一個redis的從伺服器,通過指定IP和埠來定位到主redis的位置。一般情況下,我們會建議使用者為從redis設定一個不同頻率的快照持久化的週期,或者為從redis配置一個不同的服務埠等等。
複製程式碼 程式碼如下:
slaveof <masterip> <masterport>
如果主redis設定了驗證密碼的話(使用requirepass來設定),則在從redis的配置中要使用masterauth來設定校驗密碼,否則的話,主redis會拒絕從redis的訪問請求。
複製程式碼 程式碼如下:
masterauth <master-password>
當從redis失去了與主redis的連線,或者主從同步正在進行中時,redis該如何處理外部發來的訪問請求呢?這裡,從redis可以有兩種選擇:
第一種選擇:如果slave-serve-stale-data設定為yes(預設),則從redis仍會繼續響應客戶端的讀寫請求。
第二種選擇:如果slave-serve-stale-data設定為no,則從redis會對客戶端的請求返回“SYNC with master in progress”,當然也有例外,當客戶端發來INFO請求和SLAVEOF請求,從redis還是會進行處理。
你可以控制一個從redis是否可以接受寫請求。將資料直接寫入從redis,一般只適用於那些生命週期非常短的資料,因為在主從同步時,這些臨時資料就會被清理掉。自從redis2.6版本之後,預設從redis為只讀。
複製程式碼 程式碼如下:
slave-read-only yes
只讀的從redis並不適合直接暴露給不可信的客戶端。為了儘量降低風險,可以使用rename-command指令來將一些可能有破壞力的命令重新命名,避免外部直接呼叫。比如:
複製程式碼 程式碼如下:
rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52
從redis會週期性的向主redis發出PING包。你可以通過repl_ping_slave_period指令來控制其週期。預設是10秒。
複製程式碼 程式碼如下:
repl-ping-slave-period 10
在主從同步時,可能在這些情況下會有超時發生:
- 1.以從redis的角度來看,當有大規模IO傳輸時。
- 2.以從redis的角度來看,當資料傳輸或PING時,主redis超時
- 3.以主redis的角度來看,在回覆從redis的PING時,從redis超時
使用者可以設定上述超時的時限,不過要確保這個時限比repl-ping-slave-period的值要大,否則每次主redis都會認為從redis超時。
複製程式碼 程式碼如下:
repl-timeout 60
我們可以控制在主從同步時是否禁用TCP_NODELAY。如果開啟TCP_NODELAY,那麼主redis會使用更少的TCP包和更少的頻寬來向從redis傳輸資料。但是這可能會增加一些同步的延遲,大概會達到40毫秒左右。如果你關閉了TCP_NODELAY,那麼資料同步的延遲時間會降低,但是會消耗更多的頻寬。(如果你不瞭解TCP_NODELAY,可以到這裡來科普一下)。
複製程式碼 程式碼如下:
repl-disable-tcp-nodelay no
我們還可以設定同步佇列長度。佇列長度(backlog)是主redis中的一個緩衝區,在與從redis斷開連線期間,主redis會用這個緩衝區來快取應該發給從redis的資料。這樣的話,當從redis重新連線上之後,就不必重新全量同步資料,只需要同步這部分增量資料即可。
複製程式碼 程式碼如下:
repl-backlog-size 1mb
如果主redis等了一段時間之後,還是無法連線到從redis,那麼緩衝佇列中的資料將被清理掉。我們可以設定主redis要等待的時間長度。如果設定為0,則表示永遠不清理。預設是1個小時。
複製程式碼 程式碼如下:
repl-backlog-ttl 3600
我們可以給眾多的從redis設定優先順序,在主redis持續工作不正常的情況,優先順序高的從redis將會升級為主redis。而編號越小,優先順序越高。比如一個主redis有三個從redis,優先順序編號分別為10、100、25,那麼編號為10的從redis將會被首先選中升級為主redis。當優先順序被設定為0時,這個從redis將永遠也不會被選中。預設的優先順序為100。
複製程式碼 程式碼如下:
slave-priority 100
假如主redis發現有超過M個從redis的連線延時大於N秒,那麼主redis就停止接受外來的寫請求。這是因為從redis一般會每秒鐘都向主redis發出PING,而主redis會記錄每一個從redis最近一次發來PING的時間點,所以主redis能夠了解每一個從redis的執行情況。
複製程式碼 程式碼如下:
min-slaves-to-write 3
min-slaves-max-lag 10
上面這個例子表示,假如有大於等於3個從redis的連線延遲大於10秒,那麼主redis就不再接受外部的寫請求。上述兩個配置中有一個被置為0,則這個特性將被關閉。預設情況下min-slaves-to-write為0,而min-slaves-max-lag為10。
- redis配置 – 安全
我們可以要求redis客戶端在向redis-server傳送請求之前,先進行密碼驗證。當你的redis-server處於一個不太可信的網路環境中時,相信你會用上這個功能。由於redis效能非常高,所以每秒鐘可以完成多達15萬次的密碼嘗試,所以你最好設定一個足夠複雜的密碼,否則很容易被黑客破解。
複製程式碼 程式碼如下:
requirepass zhimakaimen
這裡我們通過requirepass將密碼設定成“芝麻開門”。
redis允許我們對redis指令進行更名,比如將一些比較危險的命令改個名字,避免被誤執行。比如可以把CONFIG命令改成一個很複雜的名字,這樣可以避免外部的呼叫,同時還可以滿足內部呼叫的需要:
複製程式碼 程式碼如下:
rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c89
我們甚至可以禁用掉CONFIG命令,那就是把CONFIG的名字改成一個空字串:
複製程式碼 程式碼如下:
rename-command CONFIG ""
但需要注意的是,如果你使用AOF方式進行資料持久化,或者需要與從redis進行通訊,那麼更改指令的名字可能會引起一些問題。
- redis配置 -限制
我們可以設定redis同時可以與多少個客戶端進行連線。預設情況下為10000個客戶端。當你無法設定程式檔案控制程式碼限制時,redis會設定為當前的檔案控制程式碼限制值減去32,因為redis會為自身內部處理邏輯留一些控制程式碼出來。
如果達到了此限制,redis則會拒絕新的連線請求,並且向這些連線請求方發出“max number of clients reached”以作迴應。
複製程式碼 程式碼如下:
maxclients 10000
我們甚至可以設定redis可以使用的記憶體量。一旦到達記憶體使用上限,redis將會試圖移除內部資料,移除規則可以通過maxmemory-policy來指定。
如果redis無法根據移除規則來移除記憶體中的資料,或者我們設定了“不允許移除”,那麼redis則會針對那些需要申請記憶體的指令返回錯誤資訊,比如SET、LPUSH等。但是對於無記憶體申請的指令,仍然會正常響應,比如GET等。
複製程式碼 程式碼如下:
maxmemory <bytes>
需要注意的一點是,如果你的redis是主redis(說明你的redis有從redis),那麼在設定記憶體使用上限時,需要在系統中留出一些記憶體空間給同步佇列快取,只有在你設定的是“不移除”的情況下,才不用考慮這個因素。
對於記憶體移除規則來說,redis提供了多達6種的移除規則。他們是:
- 1.volatile-lru:使用LRU演算法移除過期集合中的key
- 2.allkeys-lru:使用LRU演算法移除key
- 3.volatile-random:在過期集合中移除隨機的key
- 4.allkeys-random:移除隨機的key
- 5.volatile-ttl:移除那些TTL值最小的key,即那些最近才過期的key。
- 6.noeviction:不進行移除。針對寫操作,只是返回錯誤資訊。
無論使用上述哪一種移除規則,如果沒有合適的key可以移除的話,redis都會針對寫請求返回錯誤資訊。
複製程式碼 程式碼如下:
maxmemory-policy volatile-lru
LRU演算法和最小TTL演算法都並非是精確的演算法,而是估算值。所以你可以設定樣本的大小。假如redis預設會檢查三個key並選擇其中LRU的那個,那麼你可以改變這個key樣本的數量。
複製程式碼 程式碼如下:
maxmemory-samples 3
最後,我們補充一個資訊,那就是到目前版本(2.8.4)為止,redis支援的寫指令包括瞭如下這些:
複製程式碼 程式碼如下:
set setnx setex append
incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd
sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby
zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby
getset mset msetnx exec sort
- redis配置 – 追加模式
預設情況下,redis會非同步的將資料持久化到磁碟。這種模式在大部分應用程式中已被驗證是很有效的,但是在一些問題發生時,比如斷電,則這種機制可能會導致數分鐘的寫請求丟失。
如博文上半部分中介紹的,追加檔案(Append Only File)是一種更好的保持資料一致性的方式。即使當伺服器斷電時,也僅會有1秒鐘的寫請求丟失,當redis程式出現問題且作業系統執行正常時,甚至只會丟失一條寫請求。
我們建議大家,AOF機制和RDB機制可以同時使用,不會有任何衝突。對於如何保持資料一致性的討論,請參見本文。
複製程式碼 程式碼如下:
appendonly no
我們還可以設定aof檔案的名稱:
複製程式碼 程式碼如下:
appendfilename "appendonly.aof"
fsync()呼叫,用來告訴作業系統立即將快取的指令寫入磁碟。一些作業系統會“立即”進行,而另外一些作業系統則會“儘快”進行。
redis支援三種不同的模式:
- 1.no:不呼叫fsync()。而是讓作業系統自行決定sync的時間。這種模式下,redis的效能會最快。
- 2.always:在每次寫請求後都呼叫fsync()。這種模式下,redis會相對較慢,但資料最安全。
- 3.everysec:每秒鐘呼叫一次fsync()。這是效能和安全的折衷。
預設情況下為everysec。有關資料一致性的揭祕,可以參考本文。
複製程式碼 程式碼如下:
appendfsync everysec
當fsync方式設定為always或everysec時,如果後臺持久化程式需要執行一個很大的磁碟IO操作,那麼redis可能會在fsync()呼叫時卡住。目前尚未修復這個問題,這是因為即使我們在另一個新的執行緒中去執行fsync(),也會阻塞住同步寫呼叫。
為了緩解這個問題,我們可以使用下面的配置項,這樣的話,當BGSAVE或BGWRITEAOF執行時,fsync()在主程式中的呼叫會被阻止。這意味著當另一路程式正在對AOF檔案進行重構時,redis的持久化功能就失效了,就好像我們設定了“appendsync none”一樣。如果你的redis有時延問題,那麼請將下面的選項設定為yes。否則請保持no,因為這是保證資料完整性的最安全的選擇。
複製程式碼 程式碼如下:
no-appendfsync-on-rewrite no
我們允許redis自動重寫aof。當aof增長到一定規模時,redis會隱式呼叫BGREWRITEAOF來重寫log檔案,以縮減檔案體積。
redis是這樣工作的:redis會記錄上次重寫時的aof大小。假如redis自啟動至今還沒有進行過重寫,那麼啟動時aof檔案的大小會被作為基準值。這個基準值會和當前的aof大小進行比較。如果當前aof大小超出所設定的增長比例,則會觸發重寫。另外,你還需要設定一個最小大小,是為了防止在aof很小時就觸發重寫。
複製程式碼 程式碼如下:
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
如果設定auto-aof-rewrite-percentage為0,則會關閉此重寫功能。
- redis配置 – LUA指令碼
lua指令碼的最大執行時間是需要被嚴格限制的,要注意單位是毫秒:
複製程式碼 程式碼如下:
lua-time-limit 5000
如果此值設定為0或負數,則既不會有報錯也不會有時間限制。
- redis配置 – 慢日誌
redis慢日誌是指一個系統進行日誌查詢超過了指定的時長。這個時長不包括IO操作,比如與客戶端的互動、傳送響應內容等,而僅包括實際執行查詢命令的時間。
針對慢日誌,你可以設定兩個引數,一個是執行時長,單位是微秒,另一個是慢日誌的長度。當一個新的命令被寫入日誌時,最老的一條會從命令日誌佇列中被移除。
單位是微秒,即1000000表示一秒。負數則會禁用慢日誌功能,而0則表示強制記錄每一個命令。
複製程式碼 程式碼如下:
slowlog-log-slower-than 10000
慢日誌最大長度,可以隨便填寫數值,沒有上限,但要注意它會消耗記憶體。你可以使用SLOWLOG RESET來重設這個值。
複製程式碼 程式碼如下:
slowlog-max-len 128
- redis配置 – 事件通知
redis可以向客戶端通知某些事件的發生。這個特性的具體解釋可以參見本文。
- redis配置 – 高階配置
有關雜湊資料結構的一些配置項:
複製程式碼 程式碼如下:
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
有關列表資料結構的一些配置項:
複製程式碼 程式碼如下:
list-max-ziplist-entries 512
list-max-ziplist-value 64
有關集合資料結構的配置項:
複製程式碼 程式碼如下:
set-max-intset-entries 512
有關有序集合資料結構的配置項:
複製程式碼 程式碼如下:
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
關於是否需要再雜湊的配置項:
複製程式碼 程式碼如下:
activerehashing yes
關於客戶端輸出緩衝的控制項:
複製程式碼 程式碼如下:
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
有關頻率的配置項:
複製程式碼 程式碼如下:
hz 10
有關重寫aof的配置項
複製程式碼 程式碼如下:
aof-rewrite-incremental-fsync yes
至此,redis的知識複習就到此結束了,內容實在不少,但相對來說都很基礎,本文沒有涉及redis叢集、redis工作原理、redis原始碼、redis相關LIB庫等內容,後續會陸續奉獻,大家敬請期待:)
相關文章
- redis原始碼分析(一)複習redis命令、持久化方案、主從同步原來、配置Redis原始碼持久化主從同步
- redis持久化和主從複製Redis持久化
- Docker下redis的主從、持久化配置DockerRedis持久化
- 用 docker 學習 redis 主從複製3.2 redis-sentinel「哨兵模式」核心配置-命令-原理DockerRedis模式
- Redis replication主從複製原理及配置Redis
- Redis 主從複製原理Redis
- [Redis原始碼閱讀]redis持久化Redis原始碼持久化
- redis學習筆記——主從同步(複製)Redis筆記主從同步
- redis原始碼分析(五):資料持久化Redis原始碼持久化
- redis 深入理解redis 主從複製原理Redis
- Redis主從複製原理剖析Redis
- 【Redis】Redis 主從複製之一Redis
- redis之 Redis持久化配置Redis持久化
- redis學習十四、Redis主從複製Redis
- Redis主從同步配置實踐Redis主從同步
- Redis 持久化方案Redis持久化
- Redis 4.0主從複製配置Redis
- 配置方案:Redis持久化RDB和AOFRedis持久化
- 用 docker 學習 redis 主從複製2 主從同步的offsetDockerRedis主從同步
- Redis 主從複製技術原理Redis
- 詳談Redis主從複製原理Redis
- Redis主從複製原理總結Redis
- redis的主從複製的原理Redis
- Redis主從同步Redis主從同步
- Redis學習筆記(Jedis&資料型別&持久化&主從複製)Redis筆記資料型別持久化
- Redis原理二:持久化Redis持久化
- redis原始碼分析(六)、redis命令學習總結—Redis 集合(Set)Redis原始碼
- Redis的持久化方案Redis持久化
- redis原理及叢集主從配置Redis
- Redis持久化及其配置Redis持久化
- redis 事務,持久化,日誌,主從,VMRedis持久化
- 10 分鐘徹底理解 Redis 的持久化和主從複製Redis持久化
- Redis主從配置Redis
- Redis 主從配置Redis
- redis原始碼分析(七)、redis命令學習總結—Redis 有序集合(sorted set)Redis原始碼
- Redis - 主從複製Redis
- Redis:主從複製Redis
- Redis主從複製Redis