隨著技術和生態的不斷演進
應用場景的不斷探索
人工智慧已然不再是空中樓閣
無論是日新月異的網際網路應用
還是求新求變的企業轉型
機器學習都得到了廣泛的應用
逐步成為驅動業務的關鍵技術
作為 Amazon Web Services 家族裡的王牌成員
Amazon SageMaker 一出道便飽受關注
所以今天話不多說
小編趕緊來好好給大家介紹一下
這位機器學習重磅能手
PS：後續還有更多精彩！
敬請期待~~
Ⅰ、Amazon SageMaker 前世今生
機器學習本身是一個高度協作的過程，將領域經驗與技術技能相結合是成功的基石，並通常需要多次迭代和實驗。相比預研專案或原型驗證，一個真正可以應用到生產環境的機器學習專案需要全面考慮工作流程的方方面面，包括資料預處理、框架部署與配置、演算法選擇和優化、模型訓練和超引數優化、資料和模型安全、模型對於業務的可解釋性、模型 A/B 對比測試、模型部署後的持續監控和優化、不同硬體環境對模型編譯的要求、基礎資源的管理運維、總擁有成本優化等等。
為了解決這些問題，讓資料科學家、演算法工程師、業務開發者都能輕鬆駕馭機器學習，AWS 於 2017 年 11 月推出了 Amazon SageMaker 機器學習平臺服務，並且在過去的兩年多裡不斷豐富功能元件。在 Gartner 釋出的 2020 年雲上 AI 開發者服務魔力象限中，AWS 被評為領導者， Amazon SageMaker 是其中不可或缺的一部分。
2020 年 4 月30日，Amazon SageMaker 在由光環新網運營的 AWS 中國（北京）區域和由西雲資料運營的 AWS 中國（寧夏）區域正式開放。
Ⅱ、Amazon SageMaker 功能簡
Amazon SageMaker 是一項完全託管的服務，可以幫助機器學習開發者和資料科學家快速構建、訓練和部署模型。Amazon SageMaker 完全消除了機器學習過程中各個步驟的繁重工作，讓開發高質量模型變得更加輕鬆。
**構建機器學習模型**Amazon SageMaker Studio ——首個適用於機器學習的整合開發環境（IDE）
Amazon SageMaker Studio 是一個功能豐富的機器學習整合開發環境 (IDE) ，您可以在統一的視覺化介面中操作 Notebook 、建立模型、管理模型試驗、除錯，以及檢測模型偏差。
Amazon SageMaker Notebooks 加快構建與協作
很多使用者使用單臺伺服器執行 Jupyter Notebook ，不僅需要管理底層資源，而且在共享給其他使用者時，需要修改一系列系統配置以及網路許可權。Amazon SageMaker Notebook 可一鍵啟動 Jupyter Notebook ，AWS 負責底層計算資源的託管；同時還支援一鍵共享 Notebook，讓機器學習團隊輕鬆協作。
Amazon SageMaker Autopilot 實現模型自動構建與優化
在設計機器學習模型時，我們需要考慮可以用來解決機器學習問題的各種演算法，找到有效的演算法往往需要幾個小時的訓練和測試，甚至更長時間。
Amazon SageMaker Autopilot 可以自動檢查原始資料、選擇最佳演算法引數集合、訓練和調優多個模型、跟蹤模型效能，以及根據效能對模型進行排名。如此一來，您可以大大縮短尋找最佳模型所需的時間。
Amazon SageMaker支援多種深度學習框架
支援的框架包括：TensorFlow、PyTorch、Apache MXNet、Chainer、Keras、Gluon、Horovod、Scikit-learn 和 Deep Graph Library。
除了預設支援的框架，其他任何框架可以通過自帶容器（BYOC,Bring Your Own Container）的方式在Amazon SageMaker中執行，包括模型訓練和部署。
**訓練機器學習模型**Amazon SageMaker Experiments 組織、跟蹤和評估訓練執行情況
模型訓練需要多次迭代和不斷調優，包括嘗試不同演算法、超引數、調整選取的特徵等。Amazon SageMaker Experiments 通過自動捕獲輸入引數、配置和結果將其儲存為“實驗”來幫助您管理迭代。您還可以使用 Amazon SageMaker Studio 的視覺化介面來瀏覽進行中的實驗，與先前的實驗及結果進行直觀的比較與評估。
Amazon SageMaker Debugger 分析、檢測和提醒與機器學習相關的問題
目前大多數機器學習流程是不透明的，而且訓練模型所花費的時間較長，這些都是優化過程裡的障礙。Amazon SageMaker Debbuger 能在訓練期間自動捕獲實時指標（如混淆矩陣和學習梯度等），讓訓練流程更加透明，最終提高模型精度。Amazon SageMaker Debugger 還會對常見問題發出告警並提供修復建議。藉助 Amazon SageMaker Debbuger ，您可以更好地理解和解釋模型工作原理。
AWS 是執行 TensorFlow 的最佳平臺
AWS 提供了針對 TensorFlow 的優化。在 256 個 GPU 的叢集擴充套件效率測試中，AWS 優化的 Tensorflow 的擴充套件效率高達 90 %，而預設的開源版本只有 65 %，您可以通過 Amazon SageMaker 輕鬆開啟高效的分散式訓練，大大縮短訓練時間。
降低訓練成本
Amazon SageMaker 支援基於託管的 Spot 競價例項進行訓練，訓練成本降低最多可達 90 %，並且，Amazon SageMaker 支援週期性自動儲存 checkpoint 以避免 Spot 例項中斷引起的重複訓練。
**部署機器學習模型**一鍵式部署
Amazon SageMaker 支援一鍵部署模型，針對實時或批量資料生成預測。您可以跨多個可用區在自動擴充套件的例項上一鍵部署模型，在實現高冗餘的同時無需做任何基礎設施運維操作。Amazon SageMaker 自動管理計算例項和模型部署，併為 API 訪問提供安全的 https 終端節點。您的應用程式只需要呼叫這個 API 介面就可以實現低延遲、高吞吐量的推理。
Amazon SageMaker Model Monitor 讓模型保持精確
由於訓練資料的限制，模型部署之後的一個常見問題是，當目標變數隨著時間推移發生改變，模型會不再適用。這個問題稱為概念漂移（concept drift）。例如，經濟環境變化可能會推動新利率出臺，從而影響一個購房模型的預測結果。Amazon SageMaker Model Monitor 能夠檢測已部署模型的概念漂移（concept drift），並提供詳細的警報，幫助確定問題根源。同時，通過 Amazon SageMaker 訓練的模型會自動傳送關鍵指標，您可以在 Amazon SageMaker Studio 中收集和檢視這些指標。這個功能也為一些訓練資料有限的場景提供了一個自動化機制，方便通過線上資料不斷調優模型，而不必因為沒有收集到足夠資料或缺少自動化流程而推遲模型部署。
與 Kubernetes 整合以進行編排和管理
許多機器學習團隊的現有工作平臺是基於運維團隊搭建的 Kubernetes 平臺的，而且有一些現有工作流編排和應用不易遷移。Amazon SageMaker 充分考慮到了這一點，並提供了 Kubernetes Operator 來與基於 Kubernetes 的工作流整合。也就是說， Amazon SageMaker 不僅是一個全面的機器學習平臺，而且可以通過 Kubernetes Operator 與您現有的平臺整合。
Amazon SageMaker Neo 一次訓練，多處執行
Amazon SageMaker Neo 讓機器學習模型訓練一次即可在雲上或者邊緣計算節點中的不同硬體和系統環境中執行。Amazon SageMaker Neo 優化的模型執行速度最多可提高兩倍，並且所消耗的資源不到典型機器學習模型的十分之一。Neo 使用了包括 Apache TVM 在內的兩種編譯器，並且已經開源（https://github.com/neo-ai/），讓您可以更加靈活地針對不同裝置和應用定製軟體。
Ⅲ.Amazon SageMaker 客戶案例
NFL（美國國家職業橄欖球大聯盟）
通過利用 AWS 廣泛的機器學習服務，NFL 將其比賽日的資料分析提高到了一個新水平，球迷、廣播員、教練和球隊可以受益於更深入的資料分析。
NFL（美國國家職業橄欖球大聯盟）是美國最大的體育運動聯盟，在全球擁有超過 1.88 億的球迷。每場精彩比賽的背後都有成千上萬個您可能會錯過的資料點，例如運動員的速度，在場地的位置和移動方式。NFL 開發了一個名為下一代統計資料（Next Gen Stats）的系統，藉助 AWS 機器學習和人工智慧技術，NFL 提供了現場比賽資料的視覺化，並挖掘更深刻的見解。
“藉助 AWS 上的機器學習能力，我們可以更好地瞭解球迷的參與度、比賽的呈現方式、調整比賽規則的潛在影響、比賽的方式以及球員的表現和安全。Next Gen Stats 使我們能夠利用這些實時資料，以全新、獨特方式來吸引球迷，向球迷傳遞資訊。” NFL 高階副總裁兼資訊長 Michelle McKenna 通過與 AWS 的專業服務團隊合作，Next Gen Stats 團隊使用 Amazon SageMaker 建立和部署了機器學習模型。這些模型使用傳統統計資料、球員跟蹤資料和球員資料的作為輸入，Next Gen Stats 改變了橄欖球的分析、比賽、執教和體驗方式。
為了獲得實時見解，來自體育場的資料將流式傳輸到 AWS。一旦進入 AWS，資料將在一秒鐘之內經歷 100 多個流程，最終為體育播音員提供更多可談論的獨特資料點。Next Gen Stats 的最大收益之一就是改善了球迷體驗。除了傳球成功概率之外，NFL 還建立了一些新的統計模型，例如接球后預期碼數、QB 風險指數和衝陣效率等。
大宇無限
藉助 Amazon SageMaker、Amazon Rekognition 等 AWS 機器學習服務，大宇無限實現了視訊稽核和推薦的自動化，可以給使用者提供穩定、可靠且高質量的視訊服務。
深圳大宇無限科技有限公司（以下簡稱“大宇無限”）是一家專注於移動網際網路應用的創業公司， 2016 年初成立，團隊主要成員來自北京大學、香港科技大學、UCLA、Emory 等國內外知名高校，具有一流網際網路公司從業背景。大宇無限每月為全球超過 1 億的使用者提供服務。
移動短視訊服務是大宇無限的主要業務方向之一，移動短視訊服務包含線上視訊推薦服務，需要構建機器學習系統，從設計架構、建立訓練模型、選擇演算法和框架到最終部署到生產系統中，整個流程極為複雜，需要大量的開發人員耗費很長的時間才有可能完成。藉助 AWS 在機器學習領域的一系列雲服務，大宇無限快速完成了整個系統的開發和部署，實現了快速起步、為使用者提供高質量短視訊服務的目標。
“在大宇無限的產品中實現視訊內容的線上推薦對我們的開發團隊來說是一個巨大的挑戰，Amazon SageMaker 極大地簡化了機器學習系統的構建、訓練和部署流程，使我們僅用了 3 個月就完成了整個系統的建設並承受了實際使用者訪問的壓力，實現了從 0 到 1 的突破。”大宇無限技術副總裁劉克東。
華來科技
藉助 Amazon ECS、AWS Lambda、AWS IoT Core、Amazon SageMaker等在內的雲服務，為自身產品與解決方案的研發提供了安全可靠、覆蓋全球的技術支撐，也為企業帶來了一系列顯著收益。
天津華來科技有限公司（以下簡稱“華來科技”）是一家集智慧家居、智慧安防電子產品的研發、生產和銷售為一體的高新技術公司。自 2015 年成立以來，始終秉持“做價格厚道、感動人心的產品”的價值觀，一直致力於為使用者提供“簡單、易用”的智慧家居和智慧安防產品及解決方案。
隨著海外市場的快速擴張，使用者數量持續增長、裝置訪問量劇增，華來科技急需在傳統硬體設計和生產之外創造更多的業務增長點。在這樣的需求下，華來科技希望構建起一個由“硬體”+ “APP”+“後端服務”所組成的智慧安防與智慧家居服務平臺。該平臺需要具備良好的擴充套件性，並通過智慧服務，更好地滿足各地域使用者的不同需求。要實現這樣的願景，華來科技需要快速搭建大資料處理平臺，藉助大資料處理技術精準地瞭解使用者需求，優化建設成本，並縮短產品上市時間，以應對市場的激烈競爭。
“藉助 AWS IoT Core 服務平臺，我們完成了從邊緣到雲端物聯網裝置管理的轉變；研發人員通過 Amazon SageMaker 進行機器學習模型搭建及演算法訓練，在傳統安防攝像監控的基礎上成功實現AI的視訊場景與人物分析；Amazon ECS 的應用也改變了傳統的部署方式，在提升業務平臺穩定性和彈性的同時為我們節約了近 30 %的運營成本。”天津華來科技有限公司 Cloud 業務部總監季寶平。
採用 Amazon SageMaker 的部分客戶
Ⅳ.動手實踐 Amazon SageMaker
Amazon SageMaker 服務目前已在由光環新網運營的 AWS 中國（北京）區域和由西雲資料運營的 AWS 中國（寧夏）區域上線，以下連結中的教程將指導您學習 Amazon SageMaker 的模型構建、訓練和部署，利用這些資源幫助您快速地從概念轉向生產。
**另外，還有個好訊息要向大家官宣！**
伴隨著國內開發者對雲端計算技術關注度的持續走高，AWS 雲服務也成為炙手可熱的話題之一。因而，很多開發者都在思否社群探討過關於 AWS 的操作筆記和部署方法。為了進一步滿足大家對 AWS 雲端計算的學習需求，我們正式宣佈：AWS 正式入駐思否社群！
接下來，我們將在思否社群通過官方賬號，分享有關 Amazon人工智慧和機器學習的關鍵服務，和思否1000萬開發者一起探討有關 AWS 人工智慧和機器學習服務的技術問題。願我們攜手在成長道路上走得更遠！