如何“神還原”資料中心？阿里聯合NTU打造了工業級精度的模擬沙盤！

阿里技術_發表於2019-01-11

640?wx_fmt=jpeg

阿里妹導讀：如何保障資料中心的穩定執行，是多年來一直困擾業界的難題。機房環境如果發生未預期變化，可能造成難以估計的損失。所以我們希望能構建一個“變更沙盤”，在真實變更之前，操作人員可以先在沙盤中進行試變更，若變更效果在預期內，再對真實環境進行變更，從而儘可能減少變更導致的機房故障。

近期，阿里巴巴-南大聯合研究院聯合實現並上線完成了一個高精度，可連線實時監控系統、基於CFD的變更沙盤系統。本系統在off-the-shelf CFD軟體上實現了工業級精度的變更沙盤測試和驗證。今天，我們就來觀摩這個從零到一的嘗試。

專案背景

隨著阿里巴巴業務不斷擴充，其資料中心規模也越來越大。相應地，資料中心內的日常演練、運營優化等變更操作越來越頻繁；而規模增加導致環境的複雜程度呈指數增長，變更是否可能導致故障，僅憑專家經驗，已經越來越難以判斷。同時，資料中心變更故障可能造成的業務影響也越來越大，可能造成的損失已難以估計。所以，機房運營人員急需一個標準化的、可靠的機房變更安全驗證系統，幫助他們獲知變更產生的具體效果會是如何，是否影響生產安全，是否有更合理的變更建議。

對於電力變更，可以從電力拓撲圖著手構建變更沙盤。但暖通變更，涉及到氣流組織變化、熱力變化，這些東西看不見也摸不著，傳統的方式難以模擬出現實世界中的變化。IDC運營優化團隊對此進行了一系列調研工作，認為利用計算流體力學（ComputationalFluid Dynamics，簡稱CFD）進行機房模擬是較為可能達到生產標準的一種方式。

現有的類似的解決方案

利用計算流體力學（Computational Fluid Dynamics，簡稱CFD）進行機房模擬是檢查不同變更對機房的熱力學影響的通用解決方案。CFD建模可以通過搭建物理模型，載入現實中的熱力學設定（冷熱量，空調server風速等）來計算一個包間內部的氣流分佈和溫度情況。CFD模擬有較為成熟的技術積累，並被廣泛應用與熱力學和空氣動力學領域。在資料中心領域，也有從包間到晶片級的CFD模擬應用。但由於其精度限制，一般只用於前期設計和規劃。

640?wx_fmt=png

資料中心包間流線圖

應用CFD建立沙盤系統的挑戰：

1）現有商業CFD軟體可以根據對包間進行模擬，得到機房的熱力分佈、氣流動向。但該軟體通常應用於設計階段，採用設計階段的粗略資料進行模擬，對真實操作情況的還原度較低，溫度預測精度僅能達到3度或以上，不能滿足用於變更沙盤的精度需求。

2）當前CFD軟體以人工互動為主，缺少對自動化操作的支援，不能滿足自動獲取資料和返回結果的需求。大量的操作只能通過人機互動進行，效率低下。

3）建模所需要的資料真實性問題。由於模型的準確性與其所採用的模擬設定與實際是否一致息息相關，因此獲取的模擬設定資訊（如功耗，空調設定資訊等）準確性非常關鍵。通常這些資訊是在設計階段確定的，也有部分是執行時獲得的。這些資料只有進行精細的核實才能保證建模的精度（反過來建模的過程可以反推設計實施情況和資料的標準化過程）。

我們的解決方案

阿里巴巴聯合新加坡南洋理工大學（NTU）電腦科學與工程學院文勇剛教授團隊，依託阿里巴巴-南大聯合研究院平臺，通過接近1年的研究，開發和測試，實現並上線完成了一個高精度，可連線實時監控系統的基於CFD的變更沙盤系統。本系統在off-the-shelf CFD軟體上實現了工業級精度的變更沙盤測試和驗證。

本次專案選定了某個機房包間作為技術試點，並在對該機房的物理建模，模型校準和工程落地上進行了緊密合作。

1）物理建模：

該過程主要將包間內各物理結構設定到模型，提供模擬基礎。以達到最好還原度為準則，我們實現了下面所述方面的建模操作：

結構建模：對機房結構、牆、通風口、天花板、管道進行設定
IT部署建模：機列、機櫃、機位設定
環境建模：空調裝置、感測器設定
裝置建模：按廠商型號匯入伺服器模型

2）模型校準

模型校準的主要原則需要達到下述3個方面的真實還原：

機房冷熱溫度來源：校準中需要確認模型中冷熱量與實際一致。
機房氣流變化原因：校準中需要保證冷熱風氣流與實際一致。
溫度測量資料：校準中需要保證模型預測溫度與實際一致。

為了保證模型可以到工業級精度，專案團隊進行了大量的資料核准和模型調整工作。這些工作全方位地對整個機房的相關資訊和設定進行了梳理和核實，並形成了完整的標準化校準文件，為以後建模推廣打下了堅實的基礎。這些校準操作可以分為2類：

第1類：資料核准

伺服器核准（包含：少數伺服器U位衝突、伺服器功耗校準）
感測器核准（包含：空調供風溫度、轉速和冷熱通道感測器位置、資料）

第2類：模型調整

熱氣洩露設定調整，熱氣洩露會導致冷通道溫度升高。
機櫃模擬模式調整，設定為細粒度模擬模式。
Server風量設定調整，精確設定server風速以符合實際需求。

依託大量的感測器資料，通過上述校準操作，最終模型達到了設計階段CFD使用未有過的精度。這些精度來源於我們精確地還原各項硬體的佈置，各個操作的資料核准和細粒度的server風速校準。

3）工程落地

640?wx_fmt=png

如圖所示為沙盤系統的流程圖。在模型達到預期精度後，團隊進一步解決了CFD模擬的自動化問題。通過接入阿里巴巴自研的資料中心實時監控系統（DCIM），我們獲取到實時的伺服器功耗、空調出風溫度和風機轉速等資料，通過6Sigma開放SDK將資料寫入CFD模型，從而使得模型能夠實時模擬包間內真實情況。此外，一旦模擬計算完成後，我們將計算結果從模型中匯出，回傳到監控系統，從而完成一次模擬計算的閉環。

如此，我們實現了將沙盤系統整合進入DCIM系統，並且全程操作可以自動化進行，為將來沙盤系統的應用和推廣打下了堅實基礎。

最終成果：

1）精度達標：模型採用真實的監控資料作為輸入，並計算模擬的目標感測器測溫與實際的感測器測溫之間的平均絕對誤差（MAE）來作為模型的準確性的測量依據。經過長時間觀察（採用不同時刻的資料進行驗證），模型模擬精度均能達到阿里巴巴資料中心建設標準要求。理論上可以替代冷熱通道感測器，進行資料中心生產包間環境監控。

2）成功落地：目前該模型已經成功接入DCIM系統，可以自動從DCIM中抓取資料，返回結果。當前模擬的時耗為大約1小時，通過升級6Sigma License規格未來有希望提升到10分鐘。接入該實時CFD模擬系統意味著阿里自研DCIM系統成為世界上唯一有高精度實時CFD模擬模組的資料中心雲維管理系統。

變更沙盤系統的價值

包間視覺化：由原來的2D、數字的方式，升級為3D、圖形數字結合的展現方式，包括實際佈局、熱力情況、氣流情況，從而可以讓機房經理與設施專家能更直觀、全面、迅速地瞭解機房的整體情況，更快發現包間暖通環境問題，輔助優化現場供冷分配與氣流組織。

故障發現：可以釐米級別監測包間內的溫度，快速發現溫升（區域性熱點），從而具備更快、更強的風險識別能力，防止出現大範圍的機房溫升事件。

設計驗證：建模過程所需要的物理設定資訊通常決定於設計階段。建模過程中得到的誤差反饋資訊可以直接驗證設計與實施的差別。

設計優化（變更指引）：沙盤系統可以模擬不同設計下資料中心的操作情況，從而可以用於設計上的優化和資料中心變更的先驗平臺。

暖通控制推薦：可以通過嘗試不同空調設定應用到當前環境，得到溫度控制最佳、能耗最低的空調設定，實現包間內供冷可靠、智慧的控制。

業務排程推薦：根據詳細的機房溫度分佈情況，結合功耗水位資料，可以向業務排程系統提供排程參考，使得業務分佈更均勻，機房溫度分佈也更加均勻，降低製冷能耗，提升伺服器健康度。

未來展望

未來合作的方向之一是對變更沙盤系統進行產業級推廣和驗證，目標是做出業界標準。使得變更沙盤系統可以應用與阿里資料中心的更多機房，去驗證設計和優化管理控制。

未來，我們希望將系統沙盤推廣到整個暖通系統，覆蓋到機房外的製冷裝置，實現全鏈條模擬。從而實現整個製冷系統的設計驗證和控制優化。

綜上，變更沙盤系統將可以顯著促進資料中心設計到運維的自動化水平，為實現更穩定更高效的資料中心運維提供支撐。這是一次從零到一的嘗試，我們構建了第一個可實時的、高精度的暖通變更系統，幫助資料中心運維人員能夠判斷一次變更是否可能造成故障，從而減少由變更導致的故障。進一步，我們可以給出具體的變更後環境變化，給出變更建議，甚至能夠實現自動變更。如此，我們將離機房無人值守的目標越來越近。

640?wx_fmt=gif