【恩墨學院】阿里雲資料庫CloudDBA的自動運維與智慧最佳化探索

資料庫診斷最佳化是提高資料庫效能和穩定性的關鍵技術之一。過去幾年阿里巴巴集團資料庫規模急劇增長並且業務變化越來越快，傳統DBA人工加工具的診斷和最佳化方法在規模如此之大，業務場景如此複雜的今天面臨極大的挑戰。於是，自動化、智慧化的運維方法和工具的需求就尤為迫切。

阿里巴巴技術團隊在這方面不斷摸索與嘗試，並推出了CloudDBA智慧化運維產品，將技術專家的運維智慧和經驗凝聚成產品的規則引擎，並利用機器學習學習演算法為產品匯入智慧化模組，從而將大量的資料庫的診斷分析和最佳化工作都自動完成，不僅將DBA從繁冗的工作中解救出來，還能夠幫助企業資料庫快速上雲。

資料庫的問題診斷和效能分析對於DBA來說，一直是一件困難的事情。阿里的技術專家講其原因總結為以下三點：

第一難：獲取資訊難，問題診斷和效能最佳化都需要依賴於大量的系統資料，甚至是長期的歷史資料，只有基於完備的資訊才能給出準確的解法。架構一套完善的資料庫監控體系，可不是一件易事，資訊收集的全面深入則就更困難了。

第二難：分析資訊難，需要多年的經驗才能給出準確的解法，也需要多樣的場景才能覆蓋比較全面的問題型別。經驗與場景，一不好傳承，二變化較快，三他人理解不易。

第三難：最佳化手段難，找出問題了，知道怎麼辦了，也並不意味著就能馬上解決問題，甚至有些解法是要深入到資料庫引擎層程式碼最佳化，這可不是一朝一夕就能做好的。

那麼阿里的雲資料庫是如何解決這些問題的呢？

針對獲取資訊難的問現狀，為了給問題的診斷提供更詳盡完整的基礎資料，阿里的CloudDBA設計了特有的監控體系。

常見的監控如下圖所示，圖一是主動拉取監控資訊方式，圖二是由agent定期上報監控資訊形式，一般圖二架構也可以是圖一基礎上增加agent部分。

阿里雲資料庫監控體系要更深一步，監控內容面更廣，同時監控手段更先進，核心團隊針對監控特別最佳化，可以獲取完整的資料庫執行語句詳情和資料庫全域性快照，而對效能影響微乎其微，最多帶來2%的效能差異。

同時利用阿里雲大資料技術能力，實現了冷熱資料的計算加速，大量歷史資料可以快速完成計算工作，可以很快給出分析結果，架構如下圖，增加了從資料庫到日誌檔案的寫入部分強調阿里雲特有的核心日誌最佳化工作。

其次，針對資料庫問題的分析，在產品中匯入智慧演算法，並形成特有的四大引擎。

阿里雲DBA專家多年最佳化診斷經驗就沉澱在CloudDBA的規則引擎系統上，透過規則引擎可輕鬆實現一種業務場景的問題、條件與解法的研發。並且利用了機器學習能力，自動去抽象各業務的獨有特色，可以很方便的實現獨立業務和普適規則的匹配，為業務特有場景輕鬆推薦最優的最佳化解法。由於阿里雲業務的快速發展，目前資料庫例項已經超過10萬，規則引擎中的最佳化模型越來越完備，而差異演算法可輕鬆識別新的業務場景，若真出現沒有遇見過的“遺漏”，也可最快相容。

圖四就是CloudDBA的四大引擎工作架構圖，將專家知識庫作為規則引擎工作的原材料，這是阿里雲資料庫服務海量例項的特有資料。

四大引擎解釋說明如下：

規則引擎：後臺靈活配置各種效能規則，問題、條件和解法，可快速實現新場景的最佳化方案開發。

效能分析引擎：實時分析潛在效能風險，每種效能都有預先可定製的效能規則。

實時診斷引擎：實時響應使用者診斷具體物件問題，每個資源都有一系列定製化的檢查規則列表。

SQL最佳化引擎：基於歷史資料，分析SQL、事務、鎖等核心DB資源的效能問題，並給出最佳化改進建議。

 

同時，在產品化的介面上，資料庫的分析及診斷透過完善的報告形式展示給使用者，如下圖所示：

而廣大DBA最關注的問題莫過於資料庫能否真的實現自動最佳化，尤其是oow上推出了之後。那麼阿里的雲資料庫能否做到真的自動優化呢？（你可能感興趣：深入解讀Oracle 18c對於DBA的影響及應對措施）

客觀上講，阿里的雲資料庫目前在自動效能最佳化的方面仍在不斷的探索當中，目前的自動最佳化功能主要是幫助資料庫尋找最佳執行路徑，將其最佳化成更為簡潔和高效的檢視：

也就是將其解析為DBA以外的人員更能理解的檢視。包括產品、架構師、開發等。

自動最佳化的例項如下：

隨著技術的發展和業務的創新，海量非結構化資料和高併發場景成為企業迫切需要關注的問題，而人工的運維和管理遠遠不能滿足業務的需求，正在這種情況下，資料庫系統的運維終將朝著自動化和智慧化的方向不斷演進。

恩墨學院隸屬於雲和恩墨（北京）資訊科技有限公司，致力於提供專業高水準的與大資料培訓服務，挖掘培養大資料與資料庫人才。恩墨學院提供包括個人實戰技能培訓、個人認證培訓、企業內訓在內的全方位大資料和資料庫技術培訓。ACE級別超強師資，配備專業實驗室，沉浸式學習與訓練，專業實驗室、配備專業助教指導訓練。能迅速融入專家圈子，業內資源豐富，迅速積累職場人脈。課程包括：班、Oracle 、Oracle OCP考試等。