![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e9083b65fac64203932c70b87a73e999~tplv-k3u1fbpfcp-watermark.image?)
伺服器當機可能是很多運維工程師最可怕的噩夢。谷歌的一項研究表明：大多數當機故障是由記憶體問題而引起的，而且每年有1/3的谷歌伺服器都會出現可糾正的記憶體故障，而有1/100的谷歌伺服器會出現不可糾正的記憶體故障，後者是造成系統當機的典型情況之一。

如果有人說，用軟體的方式，可以解決硬體的記憶體問題，還能減少30%的伺服器當機故障，你覺得可靠嗎？

當前的資料中心已經走向軟體定義的時代，從最初的軟體定義網路SDN到軟體定義資料中心SDDC。為了防止伺服器當機的意外發生，越來越多的企業開始考慮軟體定義的解決方案，並透過軟體定義的可靠性遮蔽伺服器、記憶體等硬體故障帶來的影響。

**那麼軟體是如何實現對記憶體以及伺服器可用性的提升呢？**

**基於MCA的記憶體ECC技術**

記憶體故障非常多，就看系統能不能識別出來，有些故障是記憶體單個或多個bit位元組故障，有些是記憶體顆粒故障，有些是記憶體顆粒上的單行或單列的儲存單元出現故障，還有firmware故障、記憶體控制器故障，還有一些是記憶體金手指焊接點老化、主機板上的記憶體插槽鬆動或有灰塵等等。

器件質量類的故障只能透過工藝的改進來解決，而信服雲要解決的是軟體層面可以控制的bit級故障。**往往大故障來自於所謂bit級小故障的持續積累，這時要做的就是“防微杜漸”** ，在小故障發生的時候就抓住它、，隔離它，避免影響擴大。

Intel有一種機制叫做MCA（Machine Check Architecture），可以監測這種型別錯誤。這個機制的執行方式是：首先需定義出這些錯誤模型，把可以自動糾正的錯誤叫做CE（Correctable Error），這些往往是任意單位元錯誤、部分單顆粒多位元的錯誤。但是一些錯誤無法自動糾正恢復，會導致系統當機，這些錯誤被定義為UCE（Uncorrectable Error）。根據統計，CE/UCE類的問題型別佔記憶體所有型別問題的59%。所以，如果能夠設計一種故障檢查和糾正的機制，其價值會非常大！

這個全套的錯誤檢查和糾正的機制就是ECC（Error Checking and Correcting）。ECC在遇到故障時首先會進行問題識別，透過設計記憶體主動掃描機制，可以設定一天24小時不休（也可以調整）掃描和發現故障；識別後判斷故障位置（這裡其實用到了一些特殊的bit計算和校驗演算法），認定故障位置後，就嘗試隔離該有問題的記憶體空間，避免後續業務再次使用該記憶體空間。

**信服雲的記憶體ECC增強技術**

業界主流的IT服務商都會利用Intel的MCA機制進行記憶體錯誤處理，但是其軟體實現的精細化程度不一，比如有些服務商只是把CE錯誤遮蔽掉，或者只是簡單的告警，沒有做進一步處理；還有一些服務商即使有告警但是無法準確定位到發生問題的插槽。**而信服雲則提出了一個風險區機制**，一旦發生記憶體錯誤，就將問題單元置於一個“緩衝區”進行觀察，當CE錯誤達到一定閾值則立刻自動隔離有風險的記憶體區域，避免錯誤繼續擴大引起嚴重的當機。

**近年來，信服雲在記憶體隔離恢復機制上不斷最佳化，在2022年1月推出的超融合HCI6.7.0中還對ECC機制進行了增強。**

**該增強機制的執行方式是**：首先透過CPU的BIOS設定CE Record選項，使得硬體識別出記憶體錯誤，一旦發現CE/UCE錯誤，硬體就會把這個錯誤上報給信服雲的軟體。然後輪到軟體機制上場，OS系統先是判斷這個記憶體是否被軟體（包括應用軟體和作業系統）使用，如果沒有使用就直接隔離，不允許再分配給軟體使用。

如果被軟體使用了，就獲取軟體的上下文，判斷區分其是被作業系統核心(in_kernel)或者被使用者應用軟體(in_user)使用。

■ 如果是被應用軟體(in_user)使用，對於CE可糾正錯誤，信服雲的記憶體ECC增強機制就用一塊好的記憶體區域替換掉有錯誤的記憶體區域，這個過程中業務完全不受影響。如果是UCE不可糾正的錯誤，該機制就重新啟動該程式，把錯誤的記憶體區域釋放出來並隔離出去不再使用。程式重啟後就可以使用完全正常的記憶體了。

■ 如果是被作業系統核心(in_kernel)使用，信服雲的記憶體ECC增強機制就把有錯誤的記憶體區域的資訊記錄下來，在系統再次啟動的時候，該機制會隔離這些有錯誤的記憶體，以保證其不會被再次使用。

![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/98c9caace26541f296b5db3439c3d5d8~tplv-k3u1fbpfcp-watermark.image?)
↑ 信服雲ECC自動糾錯機制原理

推出上述機制後，信服雲在1000臺主機環境中進行了驗證。**結果證明，透過軟體控制的ECC機制，信服雲能夠提前發現記憶體異常，並且100%自動隔離成功，可以提前處置以規避更大的故障影響，總體上相對原有方式能夠減少30%的伺服器當機故障**。

回到開頭的問題，用軟體可以解決硬體層面帶來的問題嗎？毫無疑問，當然可以！信服雲的ECC機制就透過創新性的軟體技術更加準確、智慧地控制了伺服器的記憶體故障問題，有效地提高了IT系統的可靠性。

以上就是本期《信服雲黑板報》關於軟體定義可靠性和ECC機制的分享，歡迎關注我，持續看到更多技術乾貨內容哦！

軟體定義的“可靠性”到底可不可靠？信服雲的ECC機制瞭解一下

相關文章