亞馬遜雲科技推出八項Amazon SageMaker全新功能

亞馬遜雲科技在2022 re:Invent全球大會上宣佈，為端到端機器學習服務Amazon SageMaker 推出八項新功能。眾多開發人員、資料科學家和業務分析師使用 Amazon SageMaker 提供的全託管基礎設施、工具和工作流，輕鬆快速地構建、訓練和部署機器學習模型。客戶使用機器學習不斷創新，他們建立的模型比以往任何時候都多，因此，他們需要高階功能來有效管理模型的開發、使用和效能。本次釋出包括新的 Amazon SageMaker 治理功能，它可以在整個機器學習生命週期中提供對模型效能的可見性。新的 Amazon SageMaker Studio Notebook 功能提供了增強的Notebook體驗，讓客戶只需點選幾下即可檢查和解決資料質量問題，促進資料科學團隊之間的實時協作，透過將Notebook程式碼轉變到自動化作業加速機器學習實驗到生產的過程。最後，Amazon SageMaker新功能可自動執行模型驗證，並且讓地理空間資料處理變得更容易。要開始使用 Amazon SageMaker，請訪問 aws.amazon.com/sagemaker。

“當前，數以萬計各種規模和各行各業的客戶都在使用 Amazon SageMaker。亞馬遜雲科技客戶每個月都在構建數百萬個模型、訓練數十億引數規模的模型、生成數萬億個預測。 許多客戶正在以幾年前聞所未聞的規模使用機器學習。”亞馬遜雲科技人工智慧和機器學習副總裁Bratin Saha表示， “今天釋出的Amazon SageMaker新功能讓團隊能夠更輕鬆地加快機器學習模型的端到端開發和部署。 從專門構建的治理工具到下一代Notebook體驗和簡化的模型測試，再到對地理空間資料的增強支援，我們在 Amazon SageMaker 的基礎上不斷創新，幫助客戶大規模利用機器學習。”

對很多使用者而言，雲端計算讓機器學習觸手可及。但直到幾年前，構建、訓練和部署模型的過程仍然是艱苦而乏味的，人手不多的資料科學家團隊需要進行為期數週或數月的持續迭代，才能使模型達到生產水平。亞馬遜雲科技在五年前推出 Amazon SageMaker以應對這些挑戰，此後陸續增加了250 多項新特性和功能，讓客戶能夠更輕鬆地在多項業務中使用機器學習。當前，一些客戶聘請了數百名專業人員，他們使用 Amazon SageMaker 做出預測，用以在改善客戶體驗、最佳化業務流程和加速新產品和服務開發等方面幫助解決最嚴峻的挑戰。隨著機器學習應用的增長，客戶想要使用的資料型別不斷增加，客戶需要的治理、自動化和質量保證水平也與日俱增，以期實現對機器學習負責任的應用。Amazon SageMaker一向致力於為全球所有技能水平的專業人員提供支援，此次釋出也秉承了這一創新傳統。

Amazon SageMaker 機器學習治理新功能

Amazon SageMaker新功能可以幫助客戶更輕鬆地在機器學習模型生命週期中擴大治理規模。 隨著企業內模型和使用者數量的增長，設定最低許可權的訪問控制和建立治理流程以記錄模型資訊（如輸入資料集、訓練環境資訊、模型使用描述和風險評級）都變得愈發困難。模型部署後，客戶還需要監測偏差和特徵偏移，從而確保模型按預期執行。

Amazon SageMaker Role Manager 可以更輕鬆地控制訪問和許可權：適當的使用者訪問控制是治理的基石，它保護資料隱私，防止資訊洩露，確保專業人員可以訪問他們完成工作所需的工具。但一旦資料科學團隊增加到數十甚至數百人，實施這些控制就會變得越來越複雜。機器學習管理員（建立和監控組織內機器學習系統的人）必須平衡對簡化開發的需求和對管控機器學習工作流內任務、資源和資料訪問的需求。當前，管理員通常建立電子表格或使用臨時列表導覽數十種不同活動（如資料準備和訓練）和角色（如機器學習工程師和資料科學家）所需的訪問策略。這些工具需要手動維護，而且可能需要數週時間才能明確新使用者有效完成工作所需的具體任務。Amazon SageMaker Role Manager 讓管理員可以更輕鬆地控制訪問併為使用者定義許可權。管理員可以根據不同的使用者角色和職責選擇和編輯預建模板。之後，該工具會在幾分鐘內自動建立具有必要許可權的訪問策略，持續降低新增和管理使用者所投入的時間和精力。

Amazon SageMaker Model Cards簡化模型資訊收集：當前，大多數專業人員依靠不同的工具（如電子郵件、電子表格和文字檔案）記錄模型開發和評估期間的業務需求、關鍵決策和觀察結果。專業人員需要用這些資訊支援審批工作流、註冊、審計、客戶查詢和監控，但要為每個模型都收集這些詳細資訊則需要幾個月的時間。一些專業人員試圖透過構建複雜的記錄儲存系統來解決問題，但這樣的系統需要手動操作、耗時且容易出錯。Amazon SageMaker Model Cards在亞馬遜雲科技控制檯提供了單獨的位置儲存模型資訊，從而在整個模型生命週期中簡化文件管理。新功能會自動將輸入資料集、訓練環境和訓練結果等詳細的訓練資訊直接輸入到 Amazon SageMaker Model Cards。使用者還可以使用自助問卷的形式儲存模型資訊（如精度目標、風險評級）、訓練和驗證結果（如偏差或精準度指標）以及供將來參考的觀察結果，用以進一步提升治理水平、支援負責任地使用機器學習。

Amazon SageMaker Model Dashboard 提供集中介面以跟蹤機器學習模型：模型部署到生產環境後，專業人員希望不斷跟蹤模型以瞭解其效能、識別潛在問題。這一任務通常針對每個模型單獨完成。但當組織開始部署數千個模型時，這種方式會變得越來越複雜，需要大量的時間和資源。 Amazon SageMaker Model Dashboard 可以全面概覽已部署的模型和端點，讓專業人員只需在一個地方就可以跟蹤資源和模型行為。透過模型看板，客戶還可以使用內建整合的Amazon SageMaker Model Monitor（具備模型與資料偏移監控功能）和Amazon SageMaker Clarify（具備機器學習偏差檢測功能）。這種對模型行為和效能的端到端可見性為簡化機器學習治理流程、快速解決模型問題提供了必備的資訊。

要了解有關 Amazon SageMaker 治理功能的更多資訊，請訪問 aws.amazon.com/sagemaker/ml-governance。

下一代Notebook

Amazon SageMaker Studio Notebook 為專業人員提供了從資料探索到部署的全託管Notebook體驗。 隨著團隊規模和複雜性的增加，可能有數十名專業人員需要使用Notebook協作開發模型。亞馬遜雲科技推出三項新功能幫助客戶協調和自動化Notebook程式碼，進一步為使用者提供最佳Notebook體驗。

簡化資料準備：專業人員在準備訓練資料時希望直接在Notebook中探索資料集，以發現和糾正潛在的資料質量問題（如資訊缺失、極值、資料集失真和偏差）。專業人員可能要花費數月時間編寫樣板程式碼將資料集的不同部分視覺化，檢查資料集，以期識別和修復問題。Amazon SageMaker Studio Notebook提供內建的資料準備功能，讓專業人員只需點選幾下即可直觀地檢視資料特徵、修復資料質量問題，所有這一切都直接在Notebook環境中進行。當使用者在Notebook中顯示data frame（即資料的表格形式）時，Amazon SageMaker Studio Notebook 會自動生成圖表幫助使用者識別資料質量問題，提供資料轉換建議幫助解決常見問題。專業人員選擇資料轉換後，Amazon SageMaker Studio Notebook 會在Notebook中生成相應程式碼，可供每次執行Notebook時重複應用。

加速整個資料科學團隊的協作：準備好資料後，專業人員就可以開始開發模型。這是一個迭代過程，可能需要團隊成員在同一個Notebook中進行協作。當前，團隊必須透過電子郵件或聊天應用交換Notebook和其它資產（如模型和資料集），以便在Notebook上實時協作，這會導致溝通疲勞、反饋遲滯和版本不統一等問題。 Amazon SageMaker 現在為團隊提供了一個工作區，成員可以在其中實時閱讀、編輯和執行Notebook，簡化協作和溝通。團隊成員可以一起檢視Notebook結果，立即瞭解模型效能，無需反覆傳遞資訊。Amazon SageMaker Studio Notebook支援 BitBucket 和 Amazon CodeCommit 等服務，團隊可以輕鬆管理不同的Notebook版本，比較版本變更。實驗和機器學習模型這樣的附加資源也會自動儲存，讓團隊工作井井有條。

Notebook程式碼自動轉換為生產就緒作業：當專業人員要將訓練完成的機器學習模型用到生產中時，他們通常將程式碼片段從Notebook複製到一個指令碼，再將指令碼及其所有的依賴項打包到容器，最後排程容器執行。要在日程表上重複執行該作業，他們必須搭建、配置和管理持續整合和持續交付 （CI/CD）管道，才能實現自動化部署。搭建所有必要的基礎設施可能需要數週時間，這會佔用核心的機器學習開發活動時間。Amazon SageMaker Studio Notebook 現在讓專業人員可以選擇一個Notebook，將其自動化為可以在生產環境執行的作業。Notebook選擇完成後，Amazon SageMaker Studio Notebook 會建立整個Notebook的快照，將其依賴項打包到容器，構建基礎設施，按照專業人員設定的時間表將Notebook作為自動化作業執行，當作業完成時釋放基礎設施，如此可以將Notebook投入生產所需的時間從數週縮短到數小時。

要開始使用下一代 Amazon SageMaker Studio Notebook和這些新功能，請訪問 aws.amazon.com/sagemaker/notebooks。

使用實時推理請求自動驗證新模型

在部署到生產環境之前，專業人員會測試和驗證每個模型，檢查模型效能、識別可能對業務產生負面影響的錯誤。專業人員通常使用過去的推理請求資料測試新模型的效能，但這些資料有時無法代表當前的真實推理請求。例如，用於規劃最快路線的機器學習模型的歷史資料可能無法代表交通事故或突然關閉道路時交通流量的顯著改變。為了解決這個問題，專業人員將傳送到生產模型的推理請求副本路由到他們想要測試的新模型。他們需要花費數週時間構建這樣的測試基礎設施、映象推理請求、比較新模型在關鍵指標（如延遲和吞吐量）上的表現。雖然這讓專業人員對模型的執行情況更有信心，但為數百以至數千個模型實施這些解決方案的成本和複雜性太高，使其無法規模化。

Amazon SageMaker Inference 現在提供了一種功能，讓專業人員可以更輕鬆地實時使用相同的真實推理請求資料，將新模型的效能與生產模型的效能進行比較。現在，他們可以輕鬆地將測試同時擴充套件到數千個新模型，無需構建自己的測試基礎設施。首先，客戶選擇想要測試的生產模型，Amazon SageMaker Inference 隨後會將新模型部署到具有完全相同條件的託管環境。Amazon SageMaker 將生產模型收到的推理請求副本路由到新模型，並建立控制皮膚顯示關鍵指標之間的效能差異，客戶便可以實時瞭解每個模型的不同之處。客戶一旦驗證了新模型的效能並確信它沒有潛在錯誤，就可以安全地部署它。要了解有關 Amazon SageMaker Inference 的更多資訊，請訪問 aws.amazon.com/sagemaker/shadow-testing。

Amazon SageMaker全新的地理空間功能讓客戶可以更輕鬆地使用衛星和位置資料進行預測

當前，大部分收集到的資料都包含地理空間資訊（如位置座標、天氣圖和交通資料）。但是，已經用於機器學習的只有一小部分，原因是地理空間資料集很難處理，通常達到PB 級的規模，且跨越整個城市或數百公里土地。要開始構建地理空間模型，客戶通常會採購衛星影像或地圖資料等第三方資料來源以補充其專有資料。由於地理空間資料規模龐大，專業人員需要合併這些資料，準備資料用於訓練，並編寫程式碼將資料集劃分為可管理的子集。當客戶準備部署訓練好的模型時，他們必須編寫更多程式碼以重新組合多個資料集，將資料和機器學習模型預測關聯起來。為了從完成的模型中提取預測結果，專業人員需要花費數天時間使用開源的視覺化工具在地圖上做渲染。從資料改進到視覺化，整個過程可能需要幾個月的時間，這使得客戶很難利用地理空間資料及時產生機器學習預測。

Amazon SageMaker將客戶豐富資料集、訓練地理空間模型並將結果視覺化的時間從數月縮短到數小時，從而加速和簡化地理空間機器學習預測的生成。客戶只需幾次點選或使用 API就可以使用 Amazon SageMaker訪問各種地理空間資料來源，例如亞馬遜雲科技的位置服務Amazon Location Service、開放資料集Amazon Open Data、客戶自有資料和來自Planet Labs等第三方供應商的資料。當專業人員選擇了想要使用的資料集，他們可以利用內建的運算器將這些資料集與自己的專有資料合併起來。為了加快模型開發，Amazon SageMaker 提供了預訓練的深度學習模型，其支援的用例包括透過精準農業提高作物產量、監測自然災害後區域恢復以及改善城市規劃等。訓練完成後，內建的視覺化工具在地圖上顯示資料，揭示新的預測。要進一步瞭解有關 Amazon SageMaker 全新的地理空間功能，請訪問 aws.amazon.com/sagemaker/geospatial。

Capitec Bank 是南非最大的數字銀行，擁有超過 1000 萬數字客戶。 “在 Capitec，我們在各個產品線都擁有大批資料科學家，他們構建不同的機器學習解決方案。”Capitec Bank 機器學習工程師 Dean Matter表示，“我們的機器學習工程師管理著一個基於 Amazon SageMaker 構建的集中式建模平臺，支援所有這些機器學習解決方案的開發和部署。在沒有任何內建工具的情況下，跟蹤建模工作往往發生文件脫節，模型缺乏可見性。藉助 Amazon SageMaker Model Cards，我們可以在統一環境中跟蹤大量的模型後設資料。而Amazon SageMaker Model Dashboard 提供了對每個模型效能的可見性。此外，Amazon SageMaker Role Manager 簡化了對不同產品線資料科學家進行的訪問管理。每一項功能都有助於我們的模型治理，足以保證客戶對我們作為金融服務提供商的信任。”

EarthOptics 是一家土壤資料測量和製圖公司，利用專有感測器技術和資料分析精確測量土壤健康狀況和土壤結構。 “我們希望使用機器學習幫助客戶利用經濟實惠的土壤地圖提高農業產量。” EarthOptics 執行長 Lars Dyrud 表示，“Amazon SageMaker 的地理空間機器學習功能使我們能夠使用多個資料來源快速構建演算法原型，並且將研究和部署生產 API 之間的時間縮短到只有一個月。 得益於 Amazon SageMaker，我們為美國各地的農場和牧場部署了用於土壤固碳的地理空間解決方案。”

HERE Technologies 是一個領先的位置資料和技術平臺，可幫助客戶建立自定義地圖和基於高精度位置資料的位置體驗。 “我們的客戶需要實時情境資訊，利用空間模式和趨勢洞察做出業務決策。”HERE Technologies 首席產品和技術官 Giovanni Lanfranchi 表示，“我們依靠機器學習自動從不同資料來源獲取位置資料，增強資料的情境資訊，加速資料分析。Amazon SageMaker 的測試新功能讓我們能夠在生產中更嚴格、更主動地測試機器學習模型，避免對客戶造成不利影響或者因為部署的模型出錯導致任何中斷。 這對我們至關重要，因為客戶期待我們根據瞬息萬變的實時位置資料提供及時的見解。”

Intuit 是全球性金融技術平臺，透過 TurboTax、Credit Karma、QuickBooks 和 Mailchimp等產品支援全球超過 1 億客戶的繁榮發展。 “我們正在釋放資料的力量，給我們平臺上的消費者、個體經營者和小型企業帶來金融變革。”Intuit 工程和產品開發總監 Brett Hollman 表示，“為了進一步提高團隊效率、將 AI 驅動的產品快速推向市場，我們與亞馬遜雲科技密切合作，設計了 SageMaker Studio Notebook 中全新的團隊協作功能。我們成功實現了簡化溝通和協作，讓我們的團隊能夠使用 Amazon SageMaker Studio 將機器學習開發規模化。”