AI模型也需要資產管理,星環科技重磅推出AI運營平臺MLOps
隨著企業資訊化的提升,AI模型也需要資產管理
資料資產管理作為規劃、控制、提供資料和資訊資產的一組業務職能,其概念已經被大眾所熟知。而隨著企業對AI技術應用的日趨深入,在面對多樣的AI應用場景下,企業內部會產生大量由各類演算法框架訓練生成的AI模型,對於模型開發和模型應用管理團隊來說,如何管理這些AI模型,也是眼下亟待解決的問題。
其實這些AI模型和企業資料一樣,也是企業重要資產的一部分。對AI模型、演算法進行有效的資產管理,有助於快速實現 企業資源複用、降本增效的目標。為此,星環科技潛心研發了 Sophon MLOps AI能力運營平臺,致力於解決企業在 機器學習模型開發及應用過程中遇到的痛點問題,提供標準化的AI能力運營服務。
各類模型訓練框架太多?Sophon MLOps幫您統管
Sophon MLOps是星環科技基於雲原生架構構建的企業級AI能力運營平臺,聚焦於機器學習模型全生命週期中的 模型管理、模型部署、模型監控預警、模型評估和模型迭代等關鍵環節。透過統一納管、統一運維、統一應用、統一監控,賦予企業客戶易用、高效且安全可靠的AI能力運營服務,協助客戶規模化管理日益增長的機器學習模型,提升模型使用效率,降低模型整合管理成本,控制模型生產環境風險。
Sophon MLOps為AI運營插上翅膀
Sophon MLOps針對企業AI運營的痛點,圍繞企業AI模型接入、運營管理、持續訓練的全生命週期,分別提供 規模化整合管理、高效模型推理、模型監控預警、模型效能評估、隱私安全保障等功能,為企業的AI日常運營插上翅膀。
規模化整合管理
●統一納管多源異構的演算法框架、模型檔案和模型服務,支援XGBoost、MLflow、TensorFlow、PyTorch、Scikit-learn、Spark-MLlib等多種訓練框架的模型,以及Sophon Base中透過視覺化建模和程式設計式建模訓練得到的模型;
●實時監控模型服務的執行狀態,控制模型生產環境風險,如叢集資源利用率、吞吐量、使用度、響應時間和訪問記錄等;
●支援異構運算加速,提供GPU虛擬化共享能力;
●規範化整合管理,統一部署大規模機器學習模型,大幅降低模型管理成本。
高效模型推理服務
●使用圖形互動方式,流程化快速構建服務推理圖,大幅節省了模型推理的配置成本;
●支援自定義配置包含多模型的複雜推理邏輯,透過定義資料前後處理、路由分發、結果整合等操作的邏輯,靈活適配各類業務場景;
●視覺化一鍵部署模型應用,簡化了模型部署的複雜流程。
模型服務釋出
●零程式碼一鍵部署模型應用,僅需簡單配置服務引數,即可快速生成服務API;
●透過呼叫模型服務API介面,傳入業務系統資料,實現模型實時預測支援自定義配置彈性伸縮策略,使用動態伸縮實現負載均衡;
●支援多版本流量分配策略,具備灰度釋出,A/B測試能力,有助於選出最佳效果的模型;
●充分支援按需分配推理圖各節點的資源使用量,包括CPU、GPU和記憶體等
模型監控預警及效能評估
●實時監控模型服務的執行狀態,控制模型生產環境風險;
●對比模型預測結果與線下真實資料,自動生成多維度效能評估指標的模型評估報告,為迭代最佳化模型提供重要參考依據。
隱私安全保障
●從安全維度出發,透過Transwarp Guardian和Manager提供多種使用者許可權控制,滿足不同團隊、不同使用者角色層級對叢集環境、資源,以及系統功能的限制需求;
●保障使用者間私密資料(如資料集、模型檔案等)的資訊隔離;
●模型部署環節的關鍵節點自動觸發審批流程,避免服務資源浪費。
精選案例——股份制銀行的統一模型管理平臺建設
案例背景
在金融科技行業,隨著監管政策的不斷收緊,銀保監會於20年7月正式推出了《商業銀行網際網路貸款管理暫行辦法》⸺要求商業銀行落實模型從開發測試、評審、監測到退出的全生命週期的風險管理。因此,為滿足監管合規要求,同時提升行內風險模型的管理效率,該行要求對模型全生命週期進行統一管理。
同時,隨著行內業務的持續發展,逐漸積累了大量由各類演算法框架生成的異構AI模型,且大多分散在不同的業務部門。 如何相容不同型別的模型檔案,並統一納管行內模型資產,成為了當前的重要挑戰。而在部署應用模型時,需要配置大量的引數程式碼,且各部門之間的部署方式缺乏統一的流程,導致模型部署週期過長,配置成本增高的同時,模型應用的敏捷性價值反而降低了。
解決方案
針對以上痛點, 該股份制銀行使用Sophon MLOps搭建了全行統一的AI模型管理平臺,快速接入行內積累的由不同框架或平臺,訓練生成的大量模型檔案,規模化整合管理模型資產。
平臺支援使用標準化流程,統一構建模型推理邏輯,並支援零程式碼一鍵部署模型應用;可基於雲原生基礎架構,實現對模型應用的統一運維;平臺還提供持續監控所有已上線的模型應用的功能,並評估模型預測效能,確保結果準確且穩定;同時為模型退出或迭代最佳化,提供重要參考。
實施成效
1.異構模型管理:成功解決了該股份制銀行異構模型的管理問題,整合了全行多種演算法框架生成的數百個機器學習模型;
2. 效率與成本的雙收:銀行部署模型應用的平均時間由1.5天降至0.5小時,部署效率提升71倍;同時,配置成本降低近80%;
3. 強大的吞吐能力:同時支撐銀行上百個的模型的線上預測服務,單條資料實現毫秒級響應;
4. 加速模型迭代:打通了行方AI模型的全生命週期流程,使模型的平均迭代週期由1月降至1周。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69994106/viewspace-2846035/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 星環科技重磅推出資料要素流通平臺Transwarp Navier
- 星環科技資料安全管理平臺 Defensor重磅釋出
- Sophon Base 3.1 推出MLOps功能,為企業AI能力運營插上翅膀AI
- 星環科技TDH8.0 使用必讀 :為什麼你需要存算解耦的多模型資料管理平臺解耦模型
- 飛天 AI 平臺重磅釋出!阿里擁抱 AI 這五年AI阿里
- 英偉達在CES上推出AI處理平臺AI
- 璞華AI大模型應用的探索之路:從AI大模型開發與運營平臺到應用寶庫的最佳實踐AI大模型
- 五分裝置五分運維 飛魚星推出星雲雲管理平臺運維
- 為什麼MCU也需要AI?AI
- 來也科技釋出UiBot Mage 專為RPA打造的AI能力平臺UIAI
- OpenAI推出ChatGPT對話式AI模型OpenAIChatGPT模型
- 微營銷平臺運營
- 醫生使用AI演算法“零門檻”,美國放射學會推出AI開放平臺AI演算法
- ai開放平臺AI
- 部署AI平臺-OllamaAI
- 商湯科技AI光環褪色AI
- 運營商AI機遇:以大模型擴充全新賽道AI大模型
- 破解湖+倉混合架構頑疾,星環科技推出自主可控雲原生湖倉一體平臺架構
- 便捷、高效、智慧—從運維視角看星環科技大資料基礎平臺TDH運維大資料
- 星環科技:智慧城市為AI產業提供廣闊的發展空間AI產業
- 星環科技攜手宇信科技,打造全要素資料運營聯合解決方案
- 美創科技與星環科技大資料平臺完成相容互認證!大資料
- 自媒體多平臺管理,多個平臺同時管理,矩陣運營更方便矩陣
- AI雲平臺介紹AI
- PODsys:大模型AI算力平臺部署的開源"神器"大模型AI
- PODsys:大模型AI算力平臺部署的開源“神器”大模型AI
- 星環科技多模型資料統一儲存的大資料分散式儲存平臺方案分享模型大資料分散式
- 什麼是裝置運營管理平臺(視覺化管理平臺的功能及優勢)視覺化
- 博楓資產管理公司選擇亞馬遜雲科技加強可再生能源運營亞馬遜
- 重磅!Google推出了AI人體影象分割工具,驚呆了小夥伴.....GoAI
- 星環科技Sophon 3.1釋出,模型運管、隱私計算、邊緣計算模型
- RPA+AI,打破企業IT資產管理盲區AI
- 重磅:谷歌釋出最強大AI模型【Google Gemini】谷歌AI模型Go
- 店員顧客起糾紛?智慧門店:EasyCVR+AI影片監控管理平臺,助力連鎖門店安全運營VRAI
- 阿里雲重磅推出物聯網安全運營中心Link SOC阿里
- 全球首家!星環科技透過3TB TPCx-AI測試,實現大資料與AI的完美融合AI大資料
- Splunk推出AI功能AI
- 《AI Dungeon》開發者獲得投資,構建AI遊戲平臺AI遊戲