看懂這篇，才能說了解併發底層技術

架構技術專欄發表於2020-10-11

愛生活，愛編碼，本文已收錄架構技術專欄關注這個喜歡分享的地方。本文架構技術專欄已收錄，有各種JVM、多執行緒、原始碼視訊、資料以及技術文章等你來拿

零、開局

前兩天我搞了兩個每日一個知識點，對多執行緒併發的部分知識做了下概括性的總結。但通過小夥伴的反饋是，那玩意寫的比較抽象，看的雲裡霧裡暈暈乎乎的。

所以又針對多執行緒底層這一塊再重新做下系統性的講解。
有興趣的朋友可以先看下前兩節，可以說是個籠統的概念版。

好了，迴歸正題。在多執行緒併發的世界裡synchronized、volatile、JMM是我們繞不過去的技術坎，而重排序、可見性、記憶體屏障又有時候搞得你一臉懵逼。有道是知其然知其所以然，瞭解了底層的原理性問題，不論是日常寫BUG還是面試都是必備神器了。

先看幾個問題點：

1、處理器與記憶體之間是怎麼互動的？

2、什麼是快取一致性協議？

3、快取記憶體內的訊息是怎麼更新變化的？

4、記憶體屏障又和他們有什麼關係？

如果上面的問題你都能倒背如流，那就去看看電影放鬆下吧！

一、快取記憶體

目前的處理器的處理能力要遠遠的勝於主記憶體（DRAM）訪問的效率，往往主記憶體執行一次讀寫操作所需的時間足夠處理器執行上百次指令。所以為了填補處理器與主記憶體之間的差距，設計者們在主記憶體和處理器直接引入了快取記憶體（Cache）。如圖：

其實在現代處理器中，會有多級快取記憶體。一般我們會成為一級快取（L1 Cache）、二級快取（L2 Cache）、三級快取（L3 Cache）等，其中一級快取一般會被整合在CPU核心中。如圖：

內部結構

快取記憶體存在於每個處理器內，處理器在執行讀、寫操作的時候並不需要直接與記憶體互動，而是通過快取記憶體進行。

快取記憶體內其實就是為應用程式訪問的變數儲存了一個資料副本。快取記憶體相當於一個容量極小的雜湊表（Hash Table），其鍵是一個記憶體地址，值是記憶體資料的副本或是我們準備寫入的資料。從其內部來看，其實相當於一個拉鍊雜湊表，也就是包含了很多桶，每個桶上又可以包含很多快取條目（想想HashMap），如圖：

快取條目

在每個快取條目中，其實又包含了Tag、Data Block、Flag三個部分，我們們來個小圖：

**Data Block : **也就是我們常常叨叨的快取行（Cache Line）,她其實是快取記憶體與主記憶體間進行資料互動的最小單元，裡面儲存著我們需要的變數資料。
**Tag : **包含了快取行中資料記憶體地址的資訊（其實是記憶體地址的高位部分的位元）
Flag : 標識了當前快取行的狀態（MESI咯）

那麼，我們的處理器又是怎麼尋找到我們需要的變數呢？

不多說，上圖：

其實，在處理器執行記憶體訪問變數的操作時，會對記憶體地址進行解碼的(由快取記憶體控制器執行)。而解碼後就會得到tag、index 、offset三部分資料。

index : 我們知道快取記憶體內的結構是一個拉鍊雜湊表，所以index就是為了幫我們來定位到底是哪個快取條目的。

tag : 很明顯和我們快取條目中的Tag 一樣，所以tag 相當於快取條目的編號。主要用於，在同一個桶下的拉鍊中來尋找我們的目標。

offset : 我們要知道一個前提，就是一個快取條目中的快取行是可以儲存很多變數的，所以offset的作用是用來確定一個變數在快取行中的起始位置。

所以，在如果在快取記憶體內能找到快取條目並且定位到了響應得快取行，而此時快取條目的Flag標識為有效狀態，這時候也就是我們所說的快取命中（Cache Hit）,否則就是快取未命中（Cache Miss）。

快取未命有包括讀未命中（Read Miss）和寫未命中(Write Miss)兩種,對應著對記憶體的讀寫操作。

而在讀未命中（Read Miss） 產生時，處理器所需要的資料會從主記憶體載入並被存入快取記憶體對應的快取行中，此過程會導致處理器停頓（Stall）而不能執行其他指令。

二、快取一致性協議

在多執行緒進行共享變數訪問時，因為各個執行緒執行的處理器上的快取記憶體中都會儲存一份變數的副本資料，這樣就會有一個問題，那當一個副本更新後怎麼保證其它處理器能馬上的獲取到最新的資料。這其實就是快取一致性的問題，其本質也就是怎麼防止資料的髒讀。

為了解決這個問題，處理器間出現了一種通訊機制，也就是快取一致性協議（Cache Coherence Protocol）。

MESI是什麼

快取一致性協議有很多種，MESI（Modified-Exclusive-Shared-Invalid）協議其實是目前使用很廣泛的快取一致性協議，x86處理器所使用的快取一致性協議就是基於MESI的。

我們可以把MESI對記憶體資料訪問理解成我們常用的讀寫鎖，它可以使對同一記憶體地址的讀操作是併發的，而寫操作是獨佔的。所以在任何時刻寫操作只能有一個處理器執行。而在MESI中，一個處理器要向記憶體寫資料時必須持有該資料的所有權。

MESI將快取條目的狀態分為了Modified、Exclusive、Shared、Invalid四種，並在此基礎上定義了一組訊息用於處理器的讀、寫記憶體操作。如圖：

MESI的四種狀態

所以MESI其實就是使用四種狀態來標識了快取條目當前的狀態，來保證了快取記憶體內資料一致性的問題。那我們來仔細的看下四種狀態

Modified ：

表示快取記憶體中相應的快取行內的資料已經被更新了。由於MESI協議中任意時刻只能有一個處理器對同一記憶體地址對應的資料進行更新，也就是說再多個處理器的快取記憶體中相同Tag值得快取條目只能有一個處於Modified狀態。處於此狀態的快取條目中快取行內的資料與主記憶體包含的資料不一致。

Exclusive：

表示快取記憶體相應的快取行內的資料副本與主記憶體中的資料一樣。並且，該快取行以獨佔的方式保留了相應主記憶體地址的資料副本，此時其他處理上快取記憶體當前都不保留該資料的有效副本。

Shared：

表示當前快取記憶體相應快取行包含相應主記憶體地址對應的資料副本，且與主記憶體中的資料是一致的。如果快取條目狀態是Shared的，那麼其他處理器上如果也存在相同Tag的快取條目，那這些快取條目狀態肯定也是Shared。

Invalid：

表示該快取行中不包含任何主記憶體中的有效資料副本，這個狀態也是快取條目的初始狀態。

MESI處理機制

前面說了那麼多，都是MESI的基礎理論，那麼，MESI協議到底是怎麼來協調處理器進行記憶體的讀寫呢？

其實，想協調處理必然需要先和各個處理器進行通訊。所以MESI協議定義了一組訊息機制用於協調各個處理器的讀寫操作。

我們可以參考HTTP協議來進行理解，可以將MESI協議中的訊息分為請求和響應兩類。處理器在進行主記憶體讀寫的時候會往匯流排（Bus）中發請求訊息，同時每個處理器還會嗅探（Snoop）匯流排中由其他處理器發出的請求訊息並在一定條件下往匯流排中回覆響應得響應訊息。

針對於訊息的型別，有如下幾種：

Read : 請求訊息，用於通知其他處理器、主記憶體，當前處理器準備讀取某個資料。該訊息內包含待讀取資料的主記憶體地址。
Read Response: 響應訊息，該訊息內包含了被請求讀取的資料。該訊息可能是主記憶體返回的，也可能是其他快取記憶體嗅探到Read 訊息返回的。
Invalidate： 請求訊息，通知其他處理器刪除指定記憶體地址的資料副本。其實就是告訴他們你這個快取條目內的資料無效了，刪除只是邏輯上的，其實就是更新下快取條目的Flag.
Invalidate Acknowledge： 響應訊息，接收到Invalidate訊息的處理器必須回覆此訊息，表示已經刪除了其快取記憶體內對應的資料副本。
Read Invalidate: 請求訊息，此訊息為Read 和 Invalidate訊息組成的複合訊息，作用主要是用於通知其他處理器當前處理器準備更新一個資料了，並請求其他處理器刪除其快取記憶體內對應的資料副本。接收到該訊息的處理器必須回覆Read Response 和 Invalidate Acknowledge訊息。
Writeback: 請求訊息，訊息包含了需要寫入主記憶體的資料和其對應的記憶體地址。

瞭解完了基礎的訊息型別，那麼我們就來看看MESI協議是如何協助處理器實現記憶體讀寫的，看圖說話：

舉例：假如記憶體地址0xxx上的變數s 是CPU1 和CPU2共享的我們先來說下CPU上讀取資料s

快取記憶體記憶體在有效資料時：

CPU1會根據記憶體地址0xxx在快取記憶體找到對應的快取條目，並讀取快取條目的Tag和Flag值。如果此時快取條目的Flag 是M、E、S三種狀態的任何一種，那麼就直接從快取行中讀取地址0xxx對應的資料，不會向匯流排中傳送任何訊息。

快取記憶體內不存在有效資料時：

1、如CPU2 快取記憶體內找到的快取條目狀態為I時，則說明此時CPU2的快取記憶體中不包含資料s的有效資料副本。

2、CPU2向匯流排傳送Read訊息來讀取地址0xxx對應的資料s.

3、CPU1（或主記憶體）嗅探到Read訊息，則需要回復Read Response提供相應的資料。

4、CPU2接收到Read Response訊息時，會將其中攜帶的資料s存入相應的快取行並將對應的快取條目狀態更新為S。

從巨集觀的角度看，就是上面的流程了，我們再繼續深入下，看看在快取條目為I的時候到底是怎麼進行訊息處理的

說完了讀取資料，我們就在說下CPU1是怎麼寫入一個地址為0xxx的資料s的

MESI協議解決了快取一致性的問題，但其中有一個問題，那就是需要在等待其他處理器全部回覆後才能進行下一步操作，這種等待明顯是不能接受的，下面就繼續來看看大神們是怎麼解決處理器等待的問題的。

三、寫緩衝和無效化佇列

因為MESI自身有個問題，就是在寫記憶體操作的時候必須等待其他所有處理器將自身快取記憶體內的相應資料副本都刪除後，並接收到這些處理器回覆的Invalidate Acknowledge/Read Response訊息後才能將資料寫入快取記憶體。

為了避免這種等待造成的寫操作延遲，硬體設計引入了寫緩衝器和無效化佇列。

寫緩衝器（Store Buffer）

在每個處理器內都有自己獨立的寫緩衝器，寫緩衝器內部包含很多條目（Entry）,寫緩衝器比快取記憶體還要小點。

那麼，在引入了寫緩衝器後，處理器在執行寫入資料的時候會做什麼處理呢？還會直接傳送訊息到BUS嗎？

我們來看幾個場景：

（注意x86處理器是不管相應的快取條目是什麼狀態，都會直接將每一個寫操作結果存入寫緩衝器）

1、如果此時快取條目狀態是E或者M：

代表此時處理器已經獲取到資料所有權，那麼就會將資料直接寫入相應的快取行內，而不會向匯流排傳送訊息。

2、如果此時快取條目狀態是S

此時處理器會將寫操作的資料存入寫緩衝器的條目中，併傳送Invalidate訊息。
如果此時相應快取條目的狀態是I ，那就稱之為寫操作遇到了寫未命中（Write Miss），此時就會將資料先寫入寫緩衝器的條目中，然後在傳送Read Invalidate來通知其他處理器我要進行資料更新了。
處理器的寫操作其實在將資料寫入緩衝器時就完成了，處理器並不需要等待其他處理器返回Invalidate Acknowledge/Read Response訊息
當處理器接收到其他處理器回覆的針對於同一個快取條目的Invalidate Acknowledge訊息時，就會將寫緩衝內對應的資料寫入相應的快取行中

通過上面的場景描述我們可以看出，寫緩衝器幫助處理器實現了非同步寫資料的能力，使得處理器處理指令的能力大大提升。

無效化佇列（Invalidate Queue）

其實在處理器接到Invalidate型別的訊息時，並不會刪除訊息中指定地址對應的資料副本（也就是說不會去馬上修改快取條目的狀態為I），而是將訊息存入無效化佇列之後就回復Invalidate Acknowledge訊息了，主要原因還是為了減少處理器等待的時間。

所以不管是寫緩衝器還是無效化佇列，其實都是為了減少處理器的等待時間，採用了空間換時間的方式來實現命令的非同步處理。

總之就是，寫緩衝器解決了寫資料時要等待其他處理器響應得問題，無效化佇列幫助解決了刪除資料等待的問題。

但既然是非同步的，那必然又會帶來新的問題 -- 記憶體重排序和可見性問題。

所以，我們繼續接著聊。

儲存轉發（Store Fowarding）

通過上面內容我們知道了有了寫緩衝器後，處理器在寫資料時直接寫入緩衝器就直接返回了。

那麼問題就來了，當我們寫完一個資料又要馬上進行讀取可咋辦呢？話不多說，我們們還是舉個例子來說，如圖：

此時第一步處理器將變數S的更新後的資料寫入到寫緩衝器返回，接著馬上執行了第二布進行S變數的讀取。由於此時處理器對S變數的更新結果還停留在寫緩衝器中，因此從快取記憶體快取行中讀到的資料還是變數S的舊值。

為了解決這種問題，儲存轉發（Store Fowarding）這個概念上線了。其理論就是處理器在執行讀操作時會先根據相應的記憶體地址從寫緩衝器中查詢。如果查到了直接返回，否則處理器才會從快取記憶體中查詢，這種從緩衝器中讀取的技術就叫做儲存轉發。看圖：

記憶體重排序和可見性的問題

由於寫緩衝器和無效化佇列的出現，處理器的執行都變成了非同步操作。緩衝器是每個處理器私有的，一個處理器所儲存的內容是無法被其他處理器讀取的。

舉個例子：

CPU1 更新變數到緩衝器中，而CPU2因為無法讀取到CPU1緩衝器內容所以從快取記憶體中讀取的仍然是該變數舊值。

其實這就是寫緩衝器導致StoreLoad重排序問題，而寫緩衝器還會導致StoreStore重排序問題等。

為了使一個處理器上執行的執行緒對共享變數所做的更新被其他處理器上執行的執行緒讀到，我們必須將寫緩衝器的內容寫到其他處理器的快取記憶體上，從而使在快取一致性協議作用下此次更新可以被其他處理器讀取到。

處理器在寫緩衝器滿、I/O指令被執行時會將寫緩衝器中的內容寫入快取記憶體中。但從變數更新角度來看，處理器本身無法保障這種更新的”及時“性。為了保證處理器對共享變數的更新可被其他處理器同步，編譯器等底層系統藉助一類稱為記憶體屏障的特殊指令來實現。

記憶體屏障中的儲存屏障（Store Barrier）會使執行該指令的處理器將寫緩衝器內容寫入快取記憶體。

記憶體屏障中的載入屏障（Load Barrier）會根據無效化佇列內容指定的記憶體地址，將相應處理器上的快取記憶體中相應的快取條目狀態標記為I。

四、記憶體屏障

因為說了儲存屏障（Store Barrier）和載入屏障（Load Barrier），所以這裡再簡單的提下記憶體屏障的概念。

劃重點：（你細品）

處理器支援哪種記憶體重排序（LoadLoad重排序、LoadStore重排序、StoreStore重排序、StoreLoad重排序），就會提供相對應能夠禁止重排序的指令，而這些指令就被稱之為記憶體屏障（LoadLoad屏障、LoadStore屏障、StoreStore屏障、StoreLoad屏障）

劃重點：

如果用X和Y來代替Load或Store,這類指令的作用就是禁止該指令左側的任何 X 操作與該指令右側的任何 Y 操作之間進行重排序（就是交換位置），確保指令左側的所有 X 操作都優先於指令右側的Y操作。

記憶體屏障的具體作用：

屏障名稱	示例	具體作用
StoreLoad	Store1;Store2;Store3;StoreLoad;Load1;Load2;Load3	禁止StoreLoad重排序，確保屏障之前任何一個寫（如Store2）的結果都會在屏障後任意一個讀操作（如Load1）載入之前被寫入
StoreStore	Store1;Store2;Store3;StoreStore;Store4;Store5;Store6	禁止StoreStore重排序，確保屏障之前任何一個寫（如Store1）的結果都會在屏障後任意一個寫操作（如Store4）之前被寫入
LoadLoad	Load1;Load2;Load3;LoadLoad;Load4;Load5;Load6	禁止LoadLoad重排序，確保屏障之前任何一個讀（如Load1）的資料都會在屏障後任意一個讀操作（如Load4）之前被載入
LoadStore	Load1;Load2;Load3;LoadStore;Store1;Store2;Store3	禁止LoadStore重排序，確保屏障之前任何一個讀（如Load1）的資料都會在屏障後任意一個寫操作（如Store1）的結果被寫入快取記憶體（或主記憶體）前被載入