• Amazon SageMaker HyperPod透過為大規模分散式訓練提供專用的基礎架構，將基礎模型的訓練時間縮短了高達40%；
  • Amazon SageMaker Inference透過最佳化加速器的使用，平均降低50%的基礎模型部署成本，並平均縮短了20%的延遲時間；
  • Amazon SageMaker Clarify能夠讓客戶更輕鬆地根據支援負責任的AI的引數，迅速評估和選擇基礎模型；
  • Amazon SageMaker Canvas功能幫助客戶透過自然語言指令加速資料準備，並僅需幾次點選即可使用基礎模型進行模型定製；
  • 寶馬集團（BMW）、繽客（com）、Hugging Face、Perplexity、Salesforce、Stability AI和先鋒領航集團（Vanguard）等已開始使用新的Amazon SageMaker功能

北京——2023年12月6日 亞馬遜雲科技在2023 re:Invent全球大會上，宣佈推出五項Amazon SageMaker新功能，幫助客戶加速構建、訓練和部署大語言模型和其他基礎模型。隨著模型不斷改變各行各業的客戶體驗，Amazon SageMaker讓企業更輕鬆快速地構建、訓練和部署支援各種生成式AI使用場景的機器學習模型。為了成功使用模型，客戶需要先進的功能來高效管理模型的開發、使用和效能。這就是Falcon 40B和180B、IDEFICS、Jurassic-2、Stable Diffusion以及StarCoder等大多數業內領先的模型都在Amazon SageMaker上訓練的原因。

今天的宣佈包括了一項新功能，進一步增強了Amazon SageMaker的模型擴充套件能力並加速了模型的訓練。此外，Amazon SageMaker推出的另一項新功能，能夠透過降低模型部署成本和延遲時間，最佳化了管理託管的機器學習基礎設施。亞馬遜雲科技還推出了新的SageMaker Clarify功能，可以讓客戶在負責任地使用AI的基礎上，根據質量引數更輕鬆地選擇正確模型。為了幫助客戶在企業範圍內應用這些模型，亞馬遜雲科技還在Amazon SageMaker Canvas中引入了新的無程式碼功能，讓客戶更快、更容易地使用自然語言指令準備資料。同時，Amazon SageMaker Canvas繼續推動模型構建和定製的普及，讓客戶更輕鬆地使用模型提取洞察、進行預測和使用企業專有資料生成內容。這些創新均基於Amazon SageMaker豐富的功能，幫助客戶實現規模化機器學習創新。開始使用Amazon SageMaker，請訪問aws.amazon.com/sagemaker。

足夠的可伸縮算力的就位、海量資料的爆炸，以及機器學習技術的快速進步，正在促使包含數十億引數模型的興起，使它們能夠執行各種任務，如撰寫部落格文章、生成影像、解決數學問題、進行對話和根據文件回答問題。如今，成千上萬的客戶，例如3M、阿斯利康（AstraZeneca）、法拉利（Ferrari）、LG AI Research、瑞安航空（RyanAir）、湯森路透（Thomson Reuters）和先鋒領航集團（Vanguard）等，每月在Amazon SageMaker進行超過1.5萬億次的推理請求。此外，像AI21 Labs、Stability AI和Technology Innovation Institute等客戶也正藉助Amazon SageMaker訓練擁有數十億引數的模型。隨著客戶從構建主要針對特定任務的模型轉向構建支援生成式AI的大型通用模型，他們必須處理大量資料集並進行更復雜的基礎設施設定，同時在這個過程中還要不斷最佳化成本和效能。客戶還希望能夠構建和定製自己的模型，以創造獨特的客戶體驗，體現企業的聲音、風格和服務。自2017年推出以來，Amazon SageMaker已經新增了380多個功能和特性，為客戶提供了規模化構建、訓練和部署可投入生產的大規模模型所需的一切。

“機器學習是近年來影響深遠的技術變革之一，所有企業組織都對模型產生了濃厚的興趣。這也給那些希望快速構建、訓練和部署模型的客戶帶來了新的挑戰。” 亞馬遜雲科技人工智慧和機器學習副總裁Bratin Saha表示，“從加速訓練、最佳化託管成本、降低延遲到簡化基礎模型的評估，再到擴充套件無程式碼模型的構建能力，我們的使命是讓各種規模的企業平等地使用高質量、高成本效益的機器學習模型。今天，我們再次增強Amazon SageMaker，透過全託管、專門構建的新功能幫助客戶充分獲得他們在機器學習方面的投資回報。”

新功能讓客戶更輕鬆快速地訓練和操作模型，驅動生成式AI的應用 

隨著生成式AI的持續發展，許多新興應用都將依賴於模型。然而，大多數企業在調整基礎設施以滿足新模型需求時存在困難，很難高效地實現規模化訓練和操作。今天，Amazon SageMaker增加了兩項全新功能，旨在幫助減輕規模化訓練和部署模型的負擔。

  • AmazonSageMaker HyperPod加速基礎模型規模化訓練：許多企業希望以較低的成本使用基於GPU和Trainium的計算例項來訓練自己的模型。然而，資料激增、模型規模擴大以及較長的訓練時間使模型訓練複雜程度呈指數級增長，這要求客戶必須進一步調整他們的流程來應對這些新需求。通常客戶需要將模型訓練分配到數百甚至數千個加速器上。之後，在幾周或者幾個月的時間內並行執行數萬億次資料計算，這是一項耗時且需要專門機器學習知識的任務。與訓練特定任務的模型相比，加速器的數量和訓練時間會大大增加。因此，很容易出現如單個加速器故障這樣的小錯誤。這些錯誤可能會中斷整個訓練過程，並需要人工干預來識別、隔離、除錯、修復和恢復，這將進一步延遲任務進度。在基礎模型的訓練過程中，客戶經常需要暫停訓練，評估當前模型效能並最佳化訓練程式碼。為了不間斷地訓練模型，開發人員必須不斷儲存訓練進度（通常稱為檢查點），以便在訓練中斷後不會丟失進度，並從停止的地方繼續訓練。這些挑戰明顯增加了訓練模型所需的時間和成本，延遲了新的生成式AI創新的部署。

Amazon SageMaker HyperPod消除了為訓練模型而構建、最佳化機器學習基礎設施的繁重工作，將訓練時間縮短了高達40%。Amazon SageMaker HyperPod預置了Amazon SageMaker的分散式訓練庫，使客戶能夠自動將訓練工作負載分佈到數千個加速器上，以便並行處理工作負載，提高模型效能。此外，Amazon SageMaker HyperPod透過定期儲存檢查點以確保使用者能夠不間斷地訓練模型。當訓練過程中發生硬體故障時，Amazon SageMaker HyperPod會自動檢測故障、修復或替換有故障的例項，並從最後儲存的檢查點恢復訓練，無需客戶手動管理這一過程，協助客戶在分散式環境中進行數週或數月的訓練而無需中斷。

  • AmazonSageMaker Inference有助於降低模型部署成本並縮短延遲時間：企業在部署模型的過程中一直在尋找最佳化效能的方法。為了降低部署成本和減少響應延遲，客戶使用Amazon SageMaker在新的機器學習基礎設施加速器上部署模型，如Amazon Inferentia和GPU。然而，有些模型沒有充分利用這些例項提供的加速器，導致硬體資源使用效率低。有些企業還將多個模型部署到同一個例項上，以便更好地利用所有可用的加速器，但這需要複雜的基礎設施編排，既耗時又難以管理。當多個模型共享同一個例項時，每個模型都有自己的擴充套件需求和使用模式，因此很難預測客戶何時需要新增或刪除例項。例如，一個模型用於支援在特定時間內使用量可能激增的應用程式，而另一個模型可能具有更穩定的使用模式。除了最佳化成本，客戶還希望透過降低延遲來提供理想的使用者體驗。由於模型的輸出範圍從一句話到一整篇文章不等，因此完成推理請求所需的時間差異很大。如果請求在例項之間隨機路由，就會導致延遲出現不可預測的峰值。Amazon SageMaker現在支援新的推理功能，幫助客戶降低部署成本和延遲時間。透過這些新功能，客戶可以將多個模型部署到同一個例項上，更好地利用底層加速器，平均部署成本可降低50%。客戶還可以分別控制每個模型的擴充套件策略，使之更適應模型的使用模式，同時最佳化基礎設施成本。Amazon SageMaker能夠積極監測正在處理推理請求的例項，並根據可用的例項智慧傳送請求，平均降低20%的推理延遲。

新功能能夠幫助客戶評估任意模型，並根據使用場景選擇更適合的模型

 現在，客戶在為生成式AI應用程式挑選模型時有很多選擇，他們希望能快速比較這些模型，並根據相關質量和負責任的AI引數（如準確性、公平性和魯棒性）找到更適合的選擇。然而，當比較執行相同功能（例如文字生成或摘要）或屬於同一系列（例如Falcon 40B與Falcon 180B）的模型時，每個模型在各種負責任的AI引數上表現都不相同。即使是在兩個不同資料集上微調相同的模型，效能也存在差異，這將很難確定哪個版本效果更佳。如要開始比較模型，企業必須先花費數天時間識別相關標準，設定評估工具並對每個模型進行評估。儘管客戶可以訪問公開可用的模型標準，但他們通常無法根據代表特定使用場景的提示詞來評估模型的效能。此外，這些標準通常難以理解，也不適用於評估品牌聲音、相關性和風格。另外，企業還需經過耗時的手動分析結果的過程，並對每個新使用場景或微調模型重複此過程。

Amazon SageMaker Clarify現在可以幫助客戶根據所選引數評估、比較和選擇適合特定使用場景的最佳模型，以支援企業負責任地使用AI。藉助Amazon SageMaker Clarify的新功能，客戶可以輕鬆提交自己的模型進行評估，或透過Amazon SageMaker JumpStart選擇模型。在Amazon SageMaker Studio中，客戶可以選擇要針對給定任務進行比較的模型，例如問答或內容摘要。然後，客戶選擇評估引數並上傳自己的提示詞資料集，或者從內建的公開資料集中進行選擇。對於需要複雜人工判斷的敏感標準或精細內容，客戶可以選擇使用自己的員工或由SageMaker Ground Truth提供的託管工作人員，使用反饋機制在幾分鐘內審查回覆。一旦客戶完成設定過程，Amazon SageMaker Clarify將會執行評估並生成報告，以便客戶可以根據效能標準快速評估、比較和選擇最佳模型。

全新的Amazon SageMaker Canvas增強功能使客戶更輕鬆、更快速地將生成式AI整合到工作流程中 

Amazon SageMaker Canvas幫助客戶構建機器學習模型並生成預測，而無需編寫程式碼。此次釋出擴充套件了Amazon SageMaker Canvas現有的即用功能，幫助客戶在無程式碼環境中使用模型來支援各種使用場景。

  • 使用自然語言指令準備資料：如今，Amazon SageMaker Canvas中的視覺化介面使那些沒有機器學習專業知識的人可以輕鬆準備資料，但有些客戶還希望以一種更快、更直觀的方式瀏覽資料集。客戶現在可以透過示例查詢快速入門，並在整個過程中隨時提問以簡化資料準備工作。客戶還可以使用自然語言指令進行復雜的轉換，解決常見的資料問題，例如填充列中的缺失值。透過這個新的無程式碼介面，客戶可以大大簡化在Amazon SageMaker Canvas上處理資料的方式，將準備資料所需的時間從數小時縮短至數分鐘。
  • 利用模型進行大規模業務分析：客戶使用AmazonSageMaker Canvas構建機器學習模型，併為各種任務生成預測，包括需求預測、客戶流失預測和金融投資組合分析等。今年早些時候，客戶即可透過Amazon SageMaker Canvas訪問Amazon Bedrock上的多個模型，包括來自AI21 Labs、Anthropic和亞馬遜的模型，以及來自MosaicML、TII和透過Amazon SageMaker Jumpstart獲取的模型。使用與今天相同的無程式碼介面，客戶可以上傳資料集並選擇模型，Amazon SageMaker Canvas會自動幫助客戶構建自定義模型，立即生成預測。Amazon SageMaker Canvas還可以顯示效能指標，讓客戶可以輕鬆協作，使用模型生成預測並瞭解基礎模型在特定任務上的表現。

 

Hugging Face是一家領先的機器學習公司和開放平臺，它為AI構建提供了開放的基礎模型以及建立模型所需的工具。“Hugging Face一直在使用Amazon SageMaker HyperPod建立重要的最新開放基礎模型，如StarCoder、IDEFICS和Zephyr，這些模型已被下載了數百萬次。”Hugging Face產品負責人Jeff Boudier表示，“Amazon SageMaker HyperPod專為高可用和效能構建的功能使我們的開放科學團隊能夠專注於創新，並改進基礎模型的構建方式，而非管理基礎設施。Amazon SageMaker HyperPod能夠檢測到機器學習硬體故障，並快速替換有故障的硬體，且不會中斷正在進行的模型訓練。由於我們的團隊需要快速創新，該自動化作業恢復功能幫助我們在基礎模型訓練過程中減少中斷情況，讓我們在一年內便節省了數百小時的訓練時間。”

領先的人工智慧客戶關係管理（CRM）平臺Salesforce，憑藉資料、AI和CRM，提高了生產力，創造了可信的客戶體驗。 “我們對基礎模型採用了開放的方式，而Amazon SageMaker是一個至關重要的組成部分，幫助我們擴充套件架構並加速市場推廣。”Salesforce工程副總裁Bhavesh Doshi表示，“利用新的Amazon SageMaker推理功能，我們能夠將所有模型放入單一的Amazon SageMaker端點，該端點可以自動處理所有資源分配和計算資源共享，在提高效能的同時降低了基礎模型的部署成本。”

湯森路透（Thomson Reuters）是一家領先的資訊領域提供商，也是全球值得信賴的新聞機構之一。 “我們的工程師面臨的一個挑戰是在高峰季節有效管理客戶呼叫資源，以確保僱傭合適數量的客服人員來處理激增的諮詢。”Thomson Reuters人工智慧、商業智慧和資料平臺副總裁Maria Apazoglou表示，“對包含呼叫量、等待時間、日期等關鍵指標的呼叫中心資料進行歷史分析是一項耗時的任務。我們的團隊正在利用Amazon SageMaker Canvas中新的資料準備和定製功能，對公司資料進行模型訓練，從而識別影響高峰時段呼叫量的模式和趨勢，這讓我們使用自有資料構建機器學習模型變得非常簡便。我們期待透過Amazon SageMaker Canvas增加對基礎模型的使用，而無需編寫任何程式碼。”