Azure - 機器學習企業級服務概述與介紹

techlead_krischang發表於2023-12-08

Azure 機器學習 - 為端到端機器學習生命週期使用企業級 AI 服務。

關注TechLead,分享AI全維度知識。作者擁有10+年網際網路服務架構、AI產品研發經驗、團隊管理經驗,同濟本復旦碩,復旦機器人智慧實驗室成員,阿里雲認證的資深架構師,專案管理專業人士,上億營收AI產品研發負責人。

file

一、什麼是 Azure 機器學習?

Azure 機器學習是一種用於加速和管理機器學習專案生命週期的雲服務。 機器學習專業人員、資料科學家和工程師可以在日常工作流中使用它:訓練和部署模型,以及管理 MLOps。
可以在 Azure 機器學習中建立模型,也可以使用從開源平臺構建的模型,例如 Pytorch、TensorFlow 或 scikit-learn。 MLOps 工具有助於監視、重新訓練和重新部署模型。

大規模生成業務關鍵型機器學習模型

Azure 機器學習使資料科學家和開發人員能夠更快、更自信地構建、部署和管理高質量模型。它透過行業領先的機器學習操作 (MLOps)、開源互操作性和整合工具加速價值。此受信任的平臺專為機器學習中的負責任 AI 應用程式而設計。

二、Azure 機器學習適合哪些人群?

Azure 機器學習適用於要在其組織內實現 MLOps(以便在安全且可稽核的生產環境中將機器學習模型投入生產)的個人和團隊。

資料科學家和 ML 工程師將找到用於加快和自動執行其日常工作流的工具。 應用程式開發人員會找到用於將模型整合到應用程式或服務的工具。 平臺開發人員將找到由持久 Azure 資源管理器 API 提供支援的一組可靠工具,用於構建高階 ML 工具。

使用 Microsoft Azure 雲中的企業將在基礎結構方面發現熟悉的安全性和基於角色的訪問控制 (RBAC)。 可以設定專案以拒絕對受保護資料的訪問並選擇操作。

三、Azure 機器學習的價值點

加快價值實現速度

使用靈活、強大的 AI 基礎結構支援的熟悉框架進行快速、自定義的模型開發 。

協作並簡化 MLOps

用於跨工作區協作和 MLOps 的快速 ML 模型部署、管理和共享。

信心十足地開發

用於在任何位置執行機器學習工作負載的內建治理、安全性和符合性。

負責任地設計

負責任 AI 使用資料驅動的決策來構建可解釋的模型,以實現透明度和責任。

四、端到端機器學習生命週期的支援

準備資料

file

生成和訓練模型

file

驗證和部署

file

管理和監視

file

機器學習深度學習

託管端到端的平臺

使用本機MLOps功能簡化整個深度學習生命週期和模型管理。藉助企業級安全性,安全地在任意位置執行機器學習。使用負責任的 AI 儀表板緩解模型偏差並評估模型。

任何開發工具和框架

在所選的框架中使用PyTorch 和 TensorFlow,透過首選的整合開發環境 (IDE),從 Visual Studio Code 到 Jupyter Notebook 構建深度學習模型。Azure 機器學習與 ONNX Runtime和 DeepSpeed 進行互操作,以最佳化訓練和推理。

世界一流效能

使用專門構建的 AI 基礎結構 將最新的 NVIDIA GPU 和最高可達 400 Gbps 的 InfiniBand 網路解決方案組合在一起。在具有前所未有的規模的單個群集中縱向擴充套件到數千個 GPU。

五、實戰場景

透過快速模型開發加快價值實現

使用支援機器學習任務的統一工作室體驗提高工作效率。使用對常用開源框架和庫的內建支援,使用 Jupyter Notebook 生成、訓練和部署模型。透過自動化機器學習快速為表格、文字和影像模型建立準確的模型。使用 Visual Studio Code 無縫地從本地到雲訓練,並透過 NVIDIA Quantum-2 InfiniBand 平臺提供支援的Azure AI 基礎結構進行自動縮放。

file

使用 MLOps 協作並簡化模型管理

file

在混合平臺上構建企業級解決方案

使用 Microsoft Purview 中的內建資料治理,在機器學習生命週期中將安全性放在第一位。利用涵蓋標識、資料、網路、監視和合規性的全面安全功能,這些功能均由 Microsoft 測試和驗證。使用自定義基於角色的訪問控制、虛擬網路、資料加密、專用終結點和專用 IP 地址保護解決方案。在任何位置(從本地到多雲)訓練和部署模型,以滿足資料主權要求。使用內建策略和 60 項認證(包括 FedRAMP High 和 HIPAA)合規性自信地進行治理。

file

在整個生命週期中使用負責任 AI 做法

使用可重現和自動化的工作流評估機器學習模型,以評估模型公平性、可解釋性、錯誤分析、因果分析、模型效能和探索性資料分析。在負責任 AI 儀表板中使用因果分析進行實時干預,並在部署時生成記分卡。將技術和非技術受眾的負責任的 AI 指標上下文化為涉及利益干係人並簡化合規性評審。

file

整個機器學習生命週期的關鍵服務功能

file

關注TechLead,分享AI全維度知識。作者擁有10+年網際網路服務架構、AI產品研發經驗、團隊管理經驗,同濟本復旦碩,復旦機器人智慧實驗室成員,阿里雲認證的資深架構師,專案管理專業人士,上億營收AI產品研發負責人。

如有幫助,請多關注
TeahLead KrisChang,10+年的網際網路和人工智慧從業經驗,10年+技術和業務團隊管理經驗,同濟軟體工程本科,復旦工程管理碩士,阿里雲認證雲服務資深架構師,上億營收AI產品業務負責人。