摘要：華為雲AI開發平臺ModelArts黑科技加持AI研發，讓模型開發更高效、更簡單，降低AI在行業的落地門檻。全面的視覺化評估以及智慧診斷功能，使得開發者可以直觀瞭解模型各方面效能，從而進行鍼對性的調優。
今年，全新發布的華為雲ModelArts備受關注，創新黑科技成為AI界團寵。
模型構建一直是AI落地行業遇到的挑戰之一，尤其是如何對即將部署上線的模型進行評估和診斷，以確保研發是否滿足業務需求，保證AI產品的質量水平，讓評測結果優秀的模型直接投入生產環境，對差強人意的模型進行調優。
華為雲AI開發平臺ModelArts黑科技加持AI研發，讓模型開發更高效、更簡單，降低AI在行業的落地門檻。全面的視覺化評估以及智慧診斷功能，使得開發者可以直觀瞭解模型各方面效能，從而進行鍼對性的調優。
全方位為AI模型體檢，降低AI研發門檻
長期以來，模型調優通常過於依賴資料科學家或演算法工程師的個人經驗，這就導致開發一個最優AI模型門檻高、代價大。另一方面，除了模型精度等常用指標之外，要將模型部署在生產環境，就必須考慮其效能、可解釋性、魯棒性、抗攻擊性等其他指標。對於大多數資料科學家或演算法工程師而言，這些指標的分析和優化並不是非常直觀。這就導致AI模型進入生產環境困難重重。
為了解決上述兩方面的問題，華為雲ModelArts通過平臺內建的工具幫助使用者自動分析和評估出模型的各項指標，相當於生成模型的“體檢報告”，並給出優化建議，使用者可根據優化建議進一步提升模型效果或者決定是否將其部署到生產環境。
模型評估診斷更智慧，調優更具針對性
ModelArts可提供精度、敏感度、計算效能、對抗性等指標的分析和診斷，並輔助熱力圖、抽象特徵分佈等手段便於理解模型和資料分佈情況。
1.視覺化呈現樣本預測值和真實值，資料分析更直觀
在精度方面，ModelArts提供了混淆矩陣、ROC等常用指標，將每個樣本的預測值和真實值視覺化呈現，便於使用者基於原始資料進行深入分析。例如花卉識別場景，由於花卉種類繁多，同一類別下花卉差異性小，對AI模型的精度要求就會更高。ModelArts對影像識別模型精度進行精確評估，保證花卉識別的準確性。
基於ModelArts的影像分類模型預測結果展示
2.切分資料集細化模型敏感度分析，優化建議更聚焦
在敏感度分析方面，ModelArts根據資料集的一些基礎特性（例如影像的亮度、清晰度等特徵，或者文字的長度等特徵）將原始資料集切分為不同的子集，然後在不同的子集上評估模型的精度指標，即可分析出該模型對於不同特徵的敏感度，進而為模型優化提供方向。當影像亮度對模型精度影響波動比較大時，需要再重訓練時對亮度進行增強。
基於ModelArts的抽象特徵敏感度分析及其診斷建議
3.深入AI底層系統運算元優化，具象化模型計算效能分析
在計算效能方面，ModelArts可針對常用框架訓練的模型進行細粒度效能分析，可以分析出運算元的推理時長和引數量分佈，為運算元優化和模型壓縮提供方向。
基於ModelArts的模型計算效能分析
4.內建多種攻擊演算法，多維度評估模型對抗性
在對抗性評估方面，ModelArts內建了多種攻擊演算法，針對模型進行攻擊並輸出攻擊成功率以及被攻擊後的模型的精度指標，如圖4所示。根據診斷建議，可以發現模型在某些類別上更容易受到攻擊，可以通過進一步的資料增強來優化。對於模型中潛在的容易受到攻擊的運算元，ModelArts也可以自動做出相應的提示。從圖5中，可以看出，被攻擊後ROC曲線明顯不如被攻擊之前。因此，不建議該模型直接部署到生產環境，而需要先根據ModelArts診斷建議進行進一步優化。
圖4. 基於ModelArts的模型對抗性攻擊評估和診斷
（a）
（b）
圖5. 模型被攻擊前（a）和被攻擊後（b）的ROC曲線
三大場景智慧評估和診斷，模型調優有的放矢
目前，模型智慧評估與診斷支援三種型別的模型和資料集，“影像分類”、“物體檢測”和“語義分割”，讓使用者全面瞭解模型對不同資料特徵的適應性，使得模型調優可以做到有的放矢。
假如要對五類食品的影像進行分類，使用ModelArts市場訂閱的ResNet_V1_50演算法訓練，第一次訓練得到的模型在測試集上進行評估，精度為54.8%，在敏感度分析中，可以發現模型對影像亮度的敏感度非常大，不同亮度區間裡模型精度的方差達到0.249，建議進行亮度方面的資料擴增。
擴增資料後重新訓練模型，使用相同測試集進行模型評估，精度上升到63.4%，不同亮度區間裡模型精度的方差下降到0.217。
在對安全帽的檢測任務中，使用ModelArts市場訂閱的物體檢測-EfficientDet演算法訓練，在驗證集上獲得74.8%mAP。
根據建議進行資料擴增，點選二次訓練按鈕，推薦的訓練引數會自動載入到新的訓練任務中。
訓練結束後，檢視評估結果，驗證集mAP有顯著提升。
華為雲ModelArts的黑科技功能不止於自動化模型評估與診斷功能。運用ModelArts，機器狗可以實現工業巡檢，自動識別火情、規劃路徑、關閉火情按鈕；雨林保護組織裡的護林員可以更好地保護蜘蛛猴等瀕危動物；同濟大學的學生們基於ModelArts平臺建立了一套溼地數字孿生系統幫助杭州灣的候鳥得到更好的保護和科研……後續將為大家帶來更多ModelArts創新技術揭祕。
華為雲ModelArts通過持續創新，打造最強AI黑科技，使AI可以更好地進入生產生活，加速AI在產業的落地和深入，擴大AI應用的覆蓋面，進一步釋放AI技術紅利，讓更多企業可以借力AI進行轉型升級。