短小精悍 —— Redis 命令列工具的妙用

老錢發表於2018-10-24

我們天天都在使用 Redis 內建的命令列工具 redis-cli,久而久之以為它就是一個簡單的互動式 Redis 資料結構手工操作程式,但是它背後強大的功能絕大多數同學可能聞所未聞。本節我們一起來挖掘這些鮮為人知的有趣用法。

執行單條命令

平時在訪問 Redis 伺服器,一般都會使用 redis-cli 進入互動模式,然後一問一答來讀寫伺服器,這種情況下我們使用的是它的「互動模式」。還有另外一種「直接模式」,通過將命令引數直接傳遞給 redis-cli 來執行指令並獲取輸出結果。

$ redis-cli incrby foo 5
(integer) 5
$ redis-cli incrby foo 5
(integer) 10
複製程式碼

如果輸出的內容較大,還可以將輸出重定向到外部檔案

$ redis-cli info > info.txt
$ wc -l info.txt
     120 info.txt
複製程式碼

上面的命令指向的伺服器是預設伺服器地址,如果想指向特定的伺服器可以這樣

// -n 2 表示使用第2個庫,相當於 select 2
$ redis-cli -h localhost -p 6379 -n 2 ping
PONG
複製程式碼

批量執行命令

在平時線上的開發過程中,有時候我們免不了要手工造資料,然後匯入 Redis。通常我們會編寫指令碼程式來做這件事。不過還有另外一種比較便捷的方式,那就是直接使用 redis-cli 來批量執行一系列指令。

$ cat cmds.txt
set foo1 bar1
set foo2 bar2
set foo3 bar3
......
$ cat cmds.txt | redis-cli
OK
OK
OK
...
複製程式碼

上面的指令使用了 Unix 管道將 cat 指令的標準輸出連線到 redis-cli 的標準輸入。其實還可以直接使用輸入重定向來批量執行指令。

$ redis-cli < cmds.txt
OK
OK
OK
...
複製程式碼

set 多行字串

如果一個字串有多行,你希望將它傳入 set 指令,redis-cli 要如何做?可以使用 -x 選項,該選項會使用標準輸入的內容作為最後一個引數。

$ cat str.txt
Ernest Hemingway once wrote,
"The world is a fine place and worth fighting for."
I agree with the second part.
$ redis-cli -x set foo < str.txt
OK
$ redis-cli get foo
"Ernest Hemingway once wrote,\n\"The world is a fine place and worth fighting for.\"\nI agree with the second part.\n"
複製程式碼

重複執行指令

redis-cli 還支援重複執行指令多次,每條指令執行之間設定一個間隔時間,如此便可以觀察某條指令的輸出內容隨時間變化。

// 間隔1s,執行5次,觀察qps的變化
$ redis-cli -r 5 -i 1 info | grep ops
instantaneous_ops_per_sec:43469
instantaneous_ops_per_sec:47460
instantaneous_ops_per_sec:47699
instantaneous_ops_per_sec:46434
instantaneous_ops_per_sec:47216
複製程式碼

如果將次數設定為 -1 那就是重複無數次永遠執行下去。如果不提供 -i 引數,那就沒有間隔,連續重複執行。在互動模式下也可以重複執行指令,形式上比較怪異,在指令前面增加次數

127.0.0.1:6379> 5 ping
PONG
PONG
PONG
PONG
PONG
# 下面的指令很可怕,你的螢幕要憤怒了
127.0.0.1:6379> 10000 info
.......
複製程式碼

匯出 csv

redis-cli 不能一次匯出整個庫的內容為 csv,但是可以匯出單條指令的輸出為 csv 格式。

$ redis-cli rpush lfoo a b c d e f g
(integer) 7
$ redis-cli --csv lrange lfoo 0 -1
"a","b","c","d","e","f","g"
$ redis-cli hmset hfoo a 1 b 2 c 3 d 4
OK
$ redis-cli --csv hgetall hfoo
"a","1","b","2","c","3","d","4"
複製程式碼

當然這種匯出功能比較弱,僅僅是一堆字串用逗號分割開來。不過你可以結合命令的批量執行來看看多個指令的匯出效果。

$ redis-cli --csv -r 5 hgetall hfoo
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
"a","1","b","2","c","3","d","4"
複製程式碼

看到這裡讀者應該明白 --csv 引數的效果就是對輸出做了一次轉換,用逗號分割,僅此而已。

執行 lua 指令碼

在 lua 指令碼小節,我們使用 eval 指令來執行指令碼字串,每次都是將指令碼內容壓縮成單行字串再呼叫 eval 指令,這非常繁瑣,而且可讀性很差。redis-cli 考慮到了這點,它可以直接執行指令碼檔案。

127.0.0.1:6379> eval "return redis.pcall('mset', KEYS[1], ARGV[1], KEYS[2], ARGV[2])" 2 foo1 foo2 bar1 bar2
OK
127.0.0.1:6379> eval "return redis.pcall('mget', KEYS[1], KEYS[2])" 2 foo1 foo2
1) "bar1"
2) "bar2"
複製程式碼

下面我們以指令碼的形式來執行上面的指令,引數形式有所不同,KEY 和 ARGV 之間需要使用逗號分割,並且不需要提供 KEY 的數量引數

$ cat mset.txt
return redis.pcall('mset', KEYS[1], ARGV[1], KEYS[2], ARGV[2])
$ cat mget.txt
return redis.pcall('mget', KEYS[1], KEYS[2])
$ redis-cli --eval mset.txt foo1 foo2 , bar1 bar2
OK
$ redis-cli --eval mget.txt foo1 foo2
1) "bar1"
2) "bar2"
複製程式碼

如果你的 lua 指令碼太長,--eval 將大有用處。

監控伺服器狀態

我們可以使用 --stat 引數來實時監控伺服器的狀態,間隔 1s 實時輸出一次。

$ redis-cli --stat
------- data ------ --------------------- load -------------------- - child -
keys       mem      clients blocked requests            connections
2          6.66M    100     0       11591628 (+0)       335
2          6.66M    100     0       11653169 (+61541)   335
2          6.66M    100     0       11706550 (+53381)   335
2          6.54M    100     0       11758831 (+52281)   335
2          6.66M    100     0       11803132 (+44301)   335
2          6.66M    100     0       11854183 (+51051)   335
複製程式碼

如果你覺得間隔太長或是太短,可以使用 -i 引數調整輸出間隔。

掃描大 KEY

這個功能太實用了,我已經線上上試過無數次了。每次遇到 Redis 偶然卡頓問題,第一個想到的就是例項中是否存在大 KEY,大 KEY的記憶體擴容以及釋放都會導致主執行緒卡頓。如果知道里面有沒有大 KEY,可以自己寫程式掃描,不過這太繁瑣了。redis-cli 提供了 --bigkeys 引數可以很快掃出記憶體裡的大 KEY,使用 -i 引數控制掃描間隔,避免掃描指令導致伺服器的 ops 陡增報警。

$ ./redis-cli --bigkeys -i 0.01
# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type.  You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).

[00.00%] Biggest zset   found so far 'hist:aht:main:async_finish:20180425:17' with 1440 members
[00.00%] Biggest zset   found so far 'hist:qps:async:authorize:20170311:27' with 2465 members
[00.00%] Biggest hash   found so far 'job:counters:6ya9ypu6ckcl' with 3 fields
[00.01%] Biggest string found so far 'rt:aht:main:device_online:68:{-4}' with 4 bytes
[00.01%] Biggest zset   found so far 'machine:load:20180709' with 2879 members
[00.02%] Biggest string found so far '6y6fze8kj7cy:{-7}' with 90 bytes

複製程式碼

redis-cli 對於每一種物件型別都會記錄長度最大的 KEY,對於每一種物件型別,重新整理一次最高記錄就會立即輸出一次。它能保證輸出長度為 Top1 的 KEY,但是 Top2、Top3等 KEY 是無法保證可以掃描出來的。一般的處理方法是多掃描幾次,或者是消滅了 Top1 的 KEY 之後再掃描確認還有沒有次大的 KEY。

取樣伺服器指令

現線上上有一臺 Redis 伺服器的 OPS 太高,有很多業務模組都在使用這個 Redis,如何才能判斷出來是哪個業務導致了 OPS 異常的高。這時可以對線上伺服器的指令進行取樣,觀察取樣的指令大致就可以分析出 OPS 佔比高的業務點。這時就要使用 monitor 指令,它會將伺服器瞬間執行的指令全部顯示出來。不過使用的時候要注意即使使用 ctrl+c 中斷,否則你的顯示器會噼裡啪啦太多的指令瞬間讓你眼花繚亂。

$ redis-cli --host 192.168.x.x --port 6379 monitor
1539853410.458483 [0 10.100.90.62:34365] "GET" "6yax3eb6etq8:{-7}"
1539853410.459212 [0 10.100.90.61:56659] "PFADD" "growth:dau:20181018" "2klxkimass8w"
1539853410.462938 [0 10.100.90.62:20681] "GET" "6yax3eb6etq8:{-7}"
1539853410.467231 [0 10.100.90.61:40277] "PFADD" "growth:dau:20181018" "2kei0to86ps1"
1539853410.470319 [0 10.100.90.62:34365] "GET" "6yax3eb6etq8:{-7}"
1539853410.473927 [0 10.100.90.61:58128] "GET" "6yax3eb6etq8:{-7}"
1539853410.475712 [0 10.100.90.61:40277] "PFADD" "growth:dau:20181018" "2km8sqhlefpc"
1539853410.477053 [0 10.100.90.62:61292] "GET" "6yax3eb6etq8:{-7}"
複製程式碼

診斷伺服器時延

平時我們診斷兩臺機器的時延一般是使用 Unix 的 ping 指令。Redis 也提供了時延診斷指令,不過它的原理不太一樣,它是診斷當前機器和 Redis 伺服器之間的指令(PING指令)時延,它不僅僅是物理網路的時延,還和當前的 Redis 主執行緒是否忙碌有關。如果你發現 Unix 的 ping 指令時延很小,而 Redis 的時延很大,那說明 Redis 伺服器在執行指令時有微弱卡頓。

$ redis-cli --host 192.168.x.x --port 6379 --latency
min: 0, max: 5, avg: 0.08 (305 samples)
複製程式碼

時延單位是 ms。redis-cli 還能顯示時延的分佈情況,而且是圖形化輸出。

$ redis-cli --latency-dist
複製程式碼

短小精悍 —— Redis 命令列工具的妙用

這個圖形的含義作者沒有描述,讀者們可以嘗試破解一下。

遠端 rdb 備份

執行下面的命令就可以將遠端的 Redis 例項備份到本地機器,遠端伺服器會執行一次bgsave操作,然後將 rdb 檔案傳輸到客戶端。遠端 rdb 備份讓我們有一種“秀才不出門,全知天下事”的感覺。

$ ./redis-cli --host 192.168.x.x --port 6379 --rdb ./user.rdb
SYNC sent to master, writing 2501265095 bytes to './user.rdb'
Transfer finished with success.
複製程式碼

模擬從庫

如果你想觀察主從伺服器之間都同步了那些資料,可以使用 redis-cli 模擬從庫。

$ ./redis-cli --host 192.168.x.x --port 6379 --slave
SYNC with master, discarding 51778306 bytes of bulk transfer...
SYNC done. Logging commands from master.
...
複製程式碼

從庫連上主庫的第一件事是全量同步,所以看到上面的指令卡頓這很正常,待首次全量同步完成後,就會輸出增量的 aof 日誌。

短小精悍 —— Redis 命令列工具的妙用

閱讀更多深度技術文章,掃一掃上面的二維碼關注微信公眾號「碼洞」

相關文章