Redis 6.0 來了
在全國一片祥和IT民工歡度五一節假日的時候，Redis 6.0不聲不響地於5 月 2 日正式釋出了，嚇得我趕緊從床上爬起來，學無止境！學無止境！
對於6.0版本，Redis之父Antirez在RC1版本釋出時（2019-12-19）在他的部落格上連續用了幾個“EST”詞語來評價：
the most “enterprise” Redis version to date // 最”企業級”的
the largest release of Redis ever as far as I can tell // 最大的
the one where the biggest amount of people participated // 參與人數最多的
這個版本提供了諸多令人心動的新特性及功能改進，比如新網路協議RESP3，新的叢集代理，ACL等，其中關注度最高的應該是“多執行緒”了，筆者也第一時間體驗了一下，帶著眾多疑問，我們來一起開始“Redis 6.0 新特性-多執行緒連環13問”。
Redis 6.0 多執行緒連環13問
1. Redis6.0之前的版本真的是單執行緒嗎？
Redis在處理客戶端的請求時，包括獲取 (socket 讀)、解析、執行、內容返回 (socket 寫) 等都由一個順序序列的主執行緒處理，這就是所謂的“單執行緒”。但如果嚴格來講從Redis4.0之後並不是單執行緒，除了主執行緒外，它也有後臺執行緒在處理一些較為緩慢的操作，例如清理髒資料、無用連線的釋放、大 key 的刪除等等。
2. Redis6.0之前為什麼一直不使用多執行緒？
官方曾做過類似問題的回覆：使用Redis時，幾乎不存在CPU成為瓶頸的情況， Redis主要受限於記憶體和網路。例如在一個普通的Linux系統上，Redis通過使用pipelining每秒可以處理100萬個請求，所以如果應用程式主要使用O(N)或O(log(N))的命令，它幾乎不會佔用太多CPU。
使用了單執行緒後，可維護性高。多執行緒模型雖然在某些方面表現優異，但是它卻引入了程式執行順序的不確定性，帶來了併發讀寫的一系列問題，增加了系統複雜度、同時可能存線上程切換、甚至加鎖解鎖、死鎖造成的效能損耗。Redis通過AE事件模型以及IO多路複用等技術，處理效能非常高，因此沒有必要使用多執行緒。單執行緒機制使得 Redis 內部實現的複雜度大大降低，Hash 的惰性 Rehash、Lpush 等等 “執行緒不安全” 的命令都可以無鎖進行。
3.Redis6.0為什麼要引入多執行緒呢？
Redis將所有資料放在記憶體中，記憶體的響應時長大約為100納秒，對於小資料包，Redis伺服器可以處理80,000到100,000 QPS，這也是Redis處理的極限了，對於80%的公司來說，單執行緒的Redis已經足夠使用了。
但隨著越來越複雜的業務場景，有些公司動不動就上億的交易量，因此需要更大的QPS。常見的解決方案是在分散式架構中對資料進行分割槽並採用多個伺服器，但該方案有非常大的缺點，例如要管理的Redis伺服器太多，維護代價大；某些適用於單個Redis伺服器的命令不適用於資料分割槽；資料分割槽無法解決熱點讀/寫問題；資料偏斜，重新分配和放大/縮小變得更加複雜等等。
從Redis自身角度來說，因為讀寫網路的read/write系統呼叫佔用了Redis執行期間大部分CPU時間，瓶頸主要在於網路的 IO 消耗, 優化主要有兩個方向:
• 提高網路 IO 效能，典型的實現比如使用 DPDK 來替代核心網路棧的方式
• 使用多執行緒充分利用多核，典型的實現比如 Memcached。
協議棧優化的這種方式跟 Redis 關係不大，支援多執行緒是一種最有效最便捷的操作方式。所以總結起來，redis支援多執行緒主要就是兩個原因：
• 可以充分利用伺服器 CPU 資源，目前主執行緒只能利用一個核
• 多執行緒任務可以分攤 Redis 同步 IO 讀寫負荷
4.Redis6.0預設是否開啟了多執行緒？
Redis6.0的多執行緒預設是禁用的，只使用主執行緒。如需開啟需要修改redis.conf配置檔案：io-threads-do-reads yes
5.Redis6.0多執行緒開啟時，執行緒數如何設定？
開啟多執行緒後，還需要設定執行緒數，否則是不生效的。同樣修改redis.conf配置檔案
關於執行緒數的設定，官方有一個建議：4核的機器建議設定為2或3個執行緒，8核的建議設定為6個執行緒，執行緒數一定要小於機器核數。還需要注意的是，執行緒數並不是越大越好，官方認為超過了8個基本就沒什麼意義了。
6.Redis6.0採用多執行緒後，效能的提升效果如何？
Redis 作者 antirez 在 RedisConf 2019分享時曾提到：Redis 6 引入的多執行緒 IO 特性對效能提升至少是一倍以上。國內也有大牛曾使用unstable版本在阿里雲esc進行過測試，GET/SET 命令在4執行緒 IO時效能相比單執行緒是幾乎是翻倍了。
測試環境：
Redis Server: 阿里雲 Ubuntu 18.04，8 CPU 2.5 GHZ, 8G 記憶體，主機型號 ecs.ic5.2xlarge
Redis Benchmark Client: 阿里雲 Ubuntu 18.04，8 2.5 GHZ CPU, 8G 記憶體，主機型號 ecs.ic5.2xlarge
測試結果：
詳見：https://zhuanlan.zhihu.com/p/76788470
說明1：這些效能驗證的測試並沒有針對嚴謹的延時控制和不同併發的場景進行壓測。資料僅供驗證參考而不能作為線上指標。
說明2：如果開啟多執行緒，至少要4核的機器，且Redis例項已經佔用相當大的CPU耗時的時候才建議採用，否則使用多執行緒沒有意義。所以估計80%的公司開發人員看看就好。
7.Redis6.0多執行緒的實現機制？
流程簡述如下：
1、主執行緒負責接收建立連線請求，獲取 socket 放入全域性等待讀處理佇列
2、主執行緒處理完讀事件之後，通過 RR(Round Robin) 將這些連線分配給這些 IO 執行緒
3、主執行緒阻塞等待 IO 執行緒讀取 socket 完畢
4、主執行緒通過單執行緒的方式執行請求命令，請求資料讀取並解析完成，但並不執行
5、主執行緒阻塞等待 IO 執行緒將資料回寫 socket 完畢
6、解除繫結，清空等待佇列
（圖片來源：https://ruby-china.org/topics/38957）
該設計有如下特點：
1、IO 執行緒要麼同時在讀 socket，要麼同時在寫，不會同時讀或寫
2、IO 執行緒只負責讀寫 socket 解析命令，不負責命令處理
8.開啟多執行緒後，是否會存線上程併發安全問題？
從上面的實現機制可以看出，Redis的多執行緒部分只是用來處理網路資料的讀寫和協議解析，執行命令仍然是單執行緒順序執行。所以我們不需要去考慮控制 key、lua、事務，LPUSH/LPOP 等等的併發及執行緒安全問題。
9.Linux環境上如何安裝Redis6.0.1（6.0的正式版是6.0.1）？
這個和安裝其他版本的redis沒有任何區別，整個流程跑下來也沒有任何的坑，所以這裡就不做描述了。唯一要注意的就是配置多執行緒數一定要小於cpu的核心數，檢視核心數量命令：
[root@centos7.5 ~]# lscpu
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 4
On-line CPU(s) list: 0-3
10.Redis6.0的多執行緒和Memcached多執行緒模型進行對比
前些年memcached 是各大網際網路公司常用的快取方案，因此redis 和 memcached 的區別基本成了面試官快取方面必問的面試題，最近幾年memcached用的少了，基本都是 redis。不過隨著Redis6.0加入了多執行緒特性，類似的問題可能還會出現，接下來我們只針對多執行緒模型來簡單比較一下。
如上圖所示：Memcached 伺服器採用 master-woker 模式進行工作，服務端採用 socket 與客戶端通訊。主執行緒、工作執行緒 採用 pipe管道進行通訊。主執行緒採用 libevent 監聽 listen、accept 的讀事件，事件響應後將連線資訊的資料結構封裝起來，根據演算法選擇合適的工作執行緒，將連線任務攜帶連線資訊分發出去，相應的執行緒利用連線描述符建立與客戶端的socket連線 並進行後續的存取資料操作。
Redis6.0與Memcached多執行緒模型對比：
相同點：都採用了 master執行緒-worker 執行緒的模型
不同點：Memcached 執行主邏輯也是在 worker 執行緒裡，模型更加簡單，實現了真正的執行緒隔離，符合我們對執行緒隔離的常規理解。而 Redis 把處理邏輯交還給 master 執行緒，雖然一定程度上增加了模型複雜度，但也解決了執行緒併發安全等問題。
11.Redis作者是如何點評 “多執行緒”這個新特性的？
關於多執行緒這個特性，在6.0 RC1時，Antirez曾做過說明：
Redis支援多執行緒有2種可行的方式：第一種就是像“memcached”那樣，一個Redis例項開啟多個執行緒，從而提升GET/SET等簡單命令中每秒可以執行的操作。這涉及到I/O、命令解析等多執行緒處理，因此，我們將其稱之為“I/O threading”。另一種就是允許在不同的執行緒中執行較耗時較慢的命令，以確保其它客戶端不被阻塞，我們將這種執行緒模型稱為“Slow commands threading”。
經過深思熟慮，Redis不會採用“I/O threading”，redis在執行時主要受制於網路和記憶體，所以提升redis效能主要是通過在多個redis例項，特別是redis叢集。接下來我們主要會考慮改進兩個方面：
1.Redis叢集的多個例項通過編排能夠合理地使用本地例項的磁碟，避免同時重寫AOF。
2.提供一個Redis叢集代理，便於使用者在沒有較好的叢集協議客戶端時抽象出一個叢集。
補充說明一下，Redis和memcached一樣是一個記憶體系統，但不同於Memcached。多執行緒是複雜的，必須考慮使用簡單的資料模型，執行LPUSH的執行緒需要服務其他執行LPOP的執行緒。
我真正期望的實際是“slow operations threading”，在redis6或redis7中，將提供“key-level locking”，使得執行緒可以完全獲得對鍵的控制以處理緩慢的操作。
詳見：http://antirez.com/news/126
12.Redis執行緒中經常提到IO多路複用，如何理解？
這是IO模型的一種，即經典的Reactor設計模式，有時也稱為非同步阻塞IO。
多路指的是多個socket連線，複用指的是複用一個執行緒。多路複用主要有三種技術：select，poll，epoll。epoll是最新的也是目前最好的多路複用技術。採用多路 I/O 複用技術可以讓單個執行緒高效的處理多個連線請求（儘量減少網路IO的時間消耗），且Redis在記憶體中運算元據的速度非常快（記憶體內的操作不會成為這裡的效能瓶頸），主要以上兩點造就了Redis具有很高的吞吐量。
13.你知道Redis的彩蛋LOLWUT嗎？
這個其實從Redis5.0就開始有了，但是原諒我剛剛知道。作者是這麼描述這個功能的《LOLWUT: a piece of art inside a database command》，“資料庫命令中的一件藝術品”。你可以把它稱之為情懷，也可以稱之為彩蛋，具體是什麼，我就不透露了。和我一樣不清楚是什麼的小夥伴可以參見：http://antirez.com/news/123，每次執行都會隨機生成的噢。
| 參考、致謝
Rdis作者Antirez的部落格：http://antirez.com
https://www.zhihu.com/question/26943938/answer/68773398
https://zhuanlan.zhihu.com/p/76788470
http://www.web-lovers.com/redis-source-6-rc-mult-thread.html
https://ruby-china.org/topics/38957
https://redis.io/topics/faq#redis-is-single-threaded-how-can-i-exploit-multiple-cpu--cores
https://juejin.im/post/5e9ae485f265da47b04d95d2
https://www.cnblogs.com/gattaca/p/6929361.html
本文圖片來自網際網路，版權歸原作者所有
公眾號：碼大叔
資深程式設計師、架構師技術社群。
微服務 | 大資料 | 架構設計 | 技術管理。
