AI模型也需要資產管理,星環科技重磅推出AI運營平臺MLOps

星環科技 發表於 2021-12-06
人工智慧

隨著企業資訊化的提升,AI模型也需要資產管理

資料資產管理作為規劃、控制、提供資料和資訊資產的一組業務職能,其概念已經被大眾所熟知。而隨著企業對AI技術應用的日趨深入,在面對多樣的AI應用場景下,企業內部會產生大量由各類演算法框架訓練生成的AI模型,對於模型開發和模型應用管理團隊來說,如何管理這些AI模型,也是眼下亟待解決的問題。

AI模型也需要資產管理,星環科技重磅推出AI運營平臺MLOps

其實這些AI模型和企業資料一樣,也是企業重要資產的一部分。對AI模型、演算法進行有效的資產管理,有助於快速實現 企業資源複用、降本增效的目標。為此,星環科技潛心研發了 Sophon MLOps AI能力運營平臺,致力於解決企業在 機器學習模型開發及應用過程中遇到的痛點問題,提供標準化的AI能力運營服務。



各類模型訓練框架太多?Sophon MLOps幫您統管

Sophon MLOps是星環科技基於雲原生架構構建的企業級AI能力運營平臺,聚焦於機器學習模型全生命週期中的 模型管理、模型部署、模型監控預警、模型評估和模型迭代等關鍵環節。通過統一納管、統一運維、統一應用、統一監控,賦予企業客戶易用、高效且安全可靠的AI能力運營服務,協助客戶規模化管理日益增長的機器學習模型,提升模型使用效率,降低模型整合管理成本,控制模型生產環境風險。

AI模型也需要資產管理,星環科技重磅推出AI運營平臺MLOps



Sophon MLOps為AI運營插上翅膀

Sophon MLOps針對企業AI運營的痛點,圍繞企業AI模型接入、運營管理、持續訓練的全生命週期,分別提供 規模化整合管理、高效模型推理、模型監控預警、模型效能評估、隱私安全保障等功能,為企業的AI日常運營插上翅膀。

AI模型也需要資產管理,星環科技重磅推出AI運營平臺MLOps


規模化整合管理

●統一納管多源異構的演算法框架、模型檔案和模型服務,支援XGBoost、MLflow、TensorFlow、PyTorch、Scikit-learn、Spark-MLlib等多種訓練框架的模型,以及Sophon Base中通過視覺化建模和程式設計式建模訓練得到的模型;

●實時監控模型服務的執行狀態,控制模型生產環境風險,如叢集資源利用率、吞吐量、使用度、響應時間和訪問記錄等;

●支援異構運算加速,提供GPU虛擬化共享能力;

●規範化整合管理,統一部署大規模機器學習模型,大幅降低模型管理成本。

AI模型也需要資產管理,星環科技重磅推出AI運營平臺MLOps


高效模型推理服務

●使用圖形互動方式,流程化快速構建服務推理圖,大幅節省了模型推理的配置成本;

●支援自定義配置包含多模型的複雜推理邏輯,通過定義資料前後處理、路由分發、結果整合等操作的邏輯,靈活適配各類業務場景;

●視覺化一鍵部署模型應用,簡化了模型部署的複雜流程。


模型服務釋出

●零程式碼一鍵部署模型應用,僅需簡單配置服務引數,即可快速生成服務API;

●通過呼叫模型服務API介面,傳入業務系統資料,實現模型實時預測支援自定義配置彈性伸縮策略,使用動態伸縮實現負載均衡;

●支援多版本流量分配策略,具備灰度釋出,A/B測試能力,有助於選出最佳效果的模型;

●充分支援按需分配推理圖各節點的資源使用量,包括CPU、GPU和記憶體等

模型監控預警及效能評估

●實時監控模型服務的執行狀態,控制模型生產環境風險;

●對比模型預測結果與線下真實資料,自動生成多維度效能評估指標的模型評估報告,為迭代優化模型提供重要參考依據。


隱私安全保障

●從安全維度出發,通過Transwarp Guardian和Manager提供多種使用者許可權控制,滿足不同團隊、不同使用者角色層級對叢集環境、資源,以及系統功能的限制需求;

●保障使用者間私密資料(如資料集、模型檔案等)的資訊隔離;

●模型部署環節的關鍵節點自動觸發審批流程,避免服務資源浪費。


精選案例——股份制銀行的統一模型管理平臺建設


案例背景

在金融科技行業,隨著監管政策的不斷收緊,銀保監會於20年7月正式推出了《商業銀行網際網路貸款管理暫行辦法》⸺要求商業銀行落實模型從開發測試、評審、監測到退出的全生命週期的風險管理。因此,為滿足監管合規要求,同時提升行內風險模型的管理效率,該行要求對模型全生命週期進行統一管理。

同時,隨著行內業務的持續發展,逐漸積累了大量由各類演算法框架生成的異構AI模型,且大多分散在不同的業務部門。 如何相容不同型別的模型檔案,並統一納管行內模型資產,成為了當前的重要挑戰。而在部署應用模型時,需要配置大量的引數程式碼,且各部門之間的部署方式缺乏統一的流程,導致模型部署週期過長,配置成本增高的同時,模型應用的敏捷性價值反而降低了。

解決方案

針對以上痛點, 該股份制銀行使用Sophon MLOps搭建了全行統一的AI模型管理平臺,快速接入行內積累的由不同框架或平臺,訓練生成的大量模型檔案,規模化整合管理模型資產。

平臺支援使用標準化流程,統一構建模型推理邏輯,並支援零程式碼一鍵部署模型應用;可基於雲原生基礎架構,實現對模型應用的統一運維;平臺還提供持續監控所有已上線的模型應用的功能,並評估模型預測效能,確保結果準確且穩定;同時為模型退出或迭代優化,提供重要參考。

實施成效

1.異構模型管理:成功解決了該股份制銀行異構模型的管理問題,整合了全行多種演算法框架生成的數百個機器學習模型;


2. 效率與成本的雙收:銀行部署模型應用的平均時間由1.5天降至0.5小時,部署效率提升71倍;同時,配置成本降低近80%;

3. 強大的吞吐能力:同時支撐銀行上百個的模型的線上預測服務,單條資料實現毫秒級響應;

4. 加速模型迭代:打通了行方AI模型的全生命週期流程,使模型的平均迭代週期由1月降至1周。

AI模型也需要資產管理,星環科技重磅推出AI運營平臺MLOps


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69994106/viewspace-2846035/,如需轉載,請註明出處,否則將追究法律責任。