Amazon Bedrock新增自動化推理檢查、多智慧體協作和模型蒸餾三項新功能，基於堅實的企業級功能基礎構建，助力客戶更快地從概念驗證過渡到生產級的生成式人工智慧

北京——2024年12月12日 亞馬遜雲科技在2024 re:Invent全球大會上，宣佈推出Amazon Bedrock的三項新功能。Amazon Bedrock是一項完全託管的服務，藉助高效能基礎模型，構建和擴充套件生成式人AI應用程式。新發布的功能可幫助客戶防止因模型幻覺而導致的事實性錯誤，編排多個AI智慧體處理複雜任務，以及建立更小的、針對特定任務的模型，這些模型在成本與延遲方面遠低於大型模型的同時，仍能達成相近效果。

  • 自動化推理檢查功能是強有力的生成式AI保護措施，有助於防止因模型幻覺而導致的事實性錯誤，從而開闢了需要更高精度的新的生成式AI用例。
  • 多智慧體協作功能可幫助客戶輕鬆構建和編排多個AI智慧體，以共同解決問題，從而擴充套件客戶應用生成式AI解決複雜用例的方式。
  • 模型蒸餾功能使客戶能夠將特定知識從功能強大的大模型轉移到更小、更高效的模型，執行速度最快可提高500%，成本降低75%。
  • 如今，數以萬計的客戶在使用 Amazon Bedrock，穆迪公司、普華永道和Robin AI等公司都在使用這些新功能，以經濟高效的方式擴大推理規模，實現前所未有的生成式AI創新。

亞馬遜雲科技人工智慧和資料副總裁Swami Sivasubramanian博士表示：“Amazon Bedrock擁有廣泛的模型選擇、領先的功能，使開發人員能夠更輕鬆地將生成式AI整合到其應用中，並且注重安全和隱私。對於希望將生成式AI作為其應用和業務核心的客戶來說，Amazon Bedrock已成為一個不可或缺的工具。因此，Amazon Bedrock的客戶群僅在去年就增長4.7倍之多。隨著生成式AI逐漸改變越來越多企業業務和客戶體驗，推理將成為每個應用的核心部分。隨著此次新功能的推出，我們正在為客戶進行創新，以解決整個行業在將生成式AI應用推向生產時面臨的主要挑戰，比如降低幻覺和成本。”

自動化推理檢查功能防止因模型幻覺而導致的事實性錯誤

雖然模型在不斷進步，但即使是能力最強的模型也會產生幻覺，提供不正確或誤導性的響應。幻覺仍然是整個行業面臨的一個根本挑戰，這限制了企業對生成式AI的信任。特別是在醫療保健、金融服務和政府機構等受監管的行業中，準確性至關重要，這些組織需要進行稽核，以確保模型做出適當的響應。自動化推理檢查功能是強大的生成式AI保護措施，可透過邏輯準確且可驗證的推理來幫助防止因模型幻覺而導致的事實性錯誤。透過提高客戶對模型響應的信任，自動化推理檢查功能為生成式AI開闢了對準確性要求極高的新應用場景。

自動化推理是AI的一個分支，它運用數學來驗證事情的正確性。在處理使用者需要精確答案的問題時，自動化推理表現出色，尤其是在那些主題廣泛且複雜、並有一套明確定義的規則或知識體系的領域。亞馬遜雲科技擁有一支由世界一流的自動化推理專家組成的團隊，他們過去十年使用這項技術在整個亞馬遜雲科技改善使用者體驗，例如準確部署證明許可權和訪問控制以增強安全性，或者在部署之前，對Amazon Simple Storage Service（Amazon S3）中的數百萬個場景進行檢查，以確保可用性和永續性得到保障。

Amazon Bedrock Guardrails使客戶能夠輕鬆地將安全和負責任的AI檢查應用到生成式AI應用程式中，從而指導模型僅討論相關主題。透過Amazon Bedrock Guardrails，自動化推理檢查功能可以讓Amazon Bedrock驗證事實響應的準確性，生成可審計的輸出，並向客戶準確展示模型得出結果的原因。這提高了透明度，並確保模型響應符合客戶的規則和政策。例如，健康保險提供商採用了生成式AI驅動的客戶服務應用程式，它需要能夠正確響應客戶有關保單的問題，自動化推理檢查功能可實現這一點。為了使用該功能，提供商無需自動化推理方面的專業知識，只需上傳其政策資訊，Amazon Bedrock 會自動制定必要的規則，並指導客戶反覆測試，以確保模型調整為正確的響應。然後，保險提供商應用自動化推理檢查功能，當模型生成響應時，Amazon Bedrock 會對其進行驗證。如果響應不正確，例如弄錯了免賠額或標記了不在承保範圍內的程式，Amazon Bedrock 會使用自動化推理檢查功能中的資訊來建議正確的響應。

全球專業服務公司普華永道正在使用自動化推理檢查功能來建立高度準確、可信且有用的AI助手和智慧體，以推動其客戶的業務處於領先地位。普華永道將該功能納入到為金融服務、醫療保健和生命科學領域客戶提供的特定行業解決方案，包括驗證AI生成的合規內容是否符合美國食品藥品管理局（FDA）和其他監管標準的應用程式。在公司內部，普華永道採用自動化推理檢查功能來確保生成式AI助手和智慧體生成的響應準確且符合內部政策。

輕鬆構建和協調多個智慧體以執行復雜的工作流程

隨著企業將生成式AI作為其應用程式的核心部分，這項技術的應用不再僅限於總結內容和增強聊天體驗。企業還希望自己的應用程式能夠執行實際操作。AI驅動的智慧體可以透過利用模型的推理功能，將任務（例如幫助退貨或分析客戶留存資料）分解為模型可以執行的一系列步驟，從而幫助客戶的應用程式完成這些操作。Amazon Bedrock智慧體功能使客戶能夠輕鬆構建智慧體，使其能夠跨公司系統和資料來源工作。單個智慧體可能很有用，但更復雜的任務，如對數百或數千個不同變數進行財務分析，可能需要大量各具專長的智慧體。然而，要建立一個能夠協調多個智慧體、在智慧體之間共享上下文並動態分配不同任務給相應智慧體的系統，需要專業工具和生成式AI專業知識，這是很多企業難以企及的。因此，亞馬遜雲科技擴充套件Amazon Bedrock智慧體功能以支援多智慧體協作，使客戶能夠輕鬆地構建和協調專業智慧體來執行復雜的工作流程。

憑藉Amazon Bedrock多智慧體協作功能，客戶可以透過為專案的特定步驟建立和分配專用智慧體，從而獲得更準確的結果，並透過編排多個並行工作的智慧體來加速任務。例如，金融機構可以使用Amazon Bedrock智慧體對一家公司進行投資前的盡職調查。首先，客戶可以使用 Amazon Bedrock智慧體建立一系列專注於特定任務的專用智慧體，例如分析全球經濟因素、評估行業趨勢和審查公司的歷史財務狀況。在建立完所有專用智慧體後，再建立一個主管智慧體來管理整個專案。主管智慧體負責協調工作，包括將任務分解並路由到相應的智慧體，為特定智慧體提供完成工作所需的資訊，並確定哪些操作可以並行處理，以及哪些操作需要等待其他任務的詳細資訊完成後才能繼續。一旦所有專業智慧體都完成了自己的任務，主管智慧體會將資訊彙總，綜合結果，並制定整體風險概況。

穆迪公司是信用評級和金融洞察領域的全球領導者，已選擇Amazon Bedrock多智慧體協作功能來增強其風險分析工作流程。穆迪公司正在利用Amazon Bedrock建立智慧體，為每個智慧體分配特定的任務，並允許其訪問量身定製的資料集，以履行其職責。例如，一個智慧體可能會分析宏觀經濟趨勢，另一個智慧體可能會使用專有財務資料評估公司特定風險，第三個智慧體則考慮競爭和戰略定位。這些智慧體無縫協作，將輸出結果綜合成精確、可操作的洞察。這種創新方法使穆迪公司能夠提供更快、更準確的風險評估，鞏固其作為金融決策領域值得信賴的權威機構的聲譽。

使用模型蒸餾功能建立更小、更快、更具成本效益的模型

如今，客戶正在嘗試各種型號的模型，以找到最適合其業務獨特需求的模型。然而，即使在所有可用模型中，也很難找到一個能夠提供特定知識、成本和延遲的最佳組合。較大的模型知識更豐富，但響應時間更長、成本更高，較小的模型執行速度更快、更便宜，但功能不夠強大。模型蒸餾是一種將知識從大型模型轉移到小型模型，同時保留小型模型價效比的技術。然而，這項工作需要機器學習（ML）專業知識來處理訓練資料、手動微調模型，以及在不損害客戶最初選擇該小型模型的效能特徵的前提下調整模型權重。藉助Amazon Bedrock模型蒸餾功能，任何客戶現在都可以蒸餾出自己的模型，與原始模型相比，被蒸餾模型的速度可以提高500%，執行成本降低75%，在檢索增強生成（RAG）等用例中，準確性損失低於2%。現在，客戶無需具備專業的機器學習知識，可根據自身用例進行最佳化，實現功能、準確性、延遲和成本的最佳組合。

藉助Amazon Bedrock模型蒸餾功能，客戶只需為給定的用例選擇最佳模型，該系列模型中的一個較小的模型便能滿足客戶對成本和延遲的需求。在客戶提供樣本提示後，Amazon Bedrock將完成生成響應和微調較小模型的所有工作，如果需要，它甚至可以建立更多樣本資料以完成蒸餾過程。這為客戶提供了一個具有大模型的相關知識和準確性，同時又具有較小模型的速度和成本的模型，使其成為生產場景下（如實時聊天互動）的理想選擇。模型蒸餾適用於來自Anthropic、Meta的模型，以及新發布的Amazon Nova模型。

Robin AI提供一款AI驅動的助手，該服務能使複雜的法律流程更快、更經濟且更易於訪問。該公司正在使用模型蒸餾來幫助實現針對數百萬合同條款的高質量法律問答。模型蒸餾幫助Robin AI以極低的成本獲得所需的準確性，而更快的響應則為客戶與AI助手之間提供了更流暢的互動。

自動化推理檢查、多智慧體協作和模型蒸餾功能均已預覽可用。