On the Radar: 百度智慧雲千帆大模型平臺加速企業多模態生成式AI應用落地

生成式AI已在各行各業得到廣泛應用。在開源和專有大型語言模型（LLM）的推動下，生成式AI已應用於所有行業的120個應用場景中。雖然基於LLM的應用程式越來越受歡迎，但其本身仍存在固有的侷限性。LLM主要針對文字和語音資料的理解、處理和生成進行了最佳化，無法進行多模態學習，也無法生成除文字和語音之外的其他輸出。

為了解決上述問題，越來越多的廠商和開發者開始採用多模態生成式AI技術。該技術能夠處理多種輸入形式，包括文字、影像和音訊，並將這些提示轉換為幾乎任意型別的輸出。這將進一步提升使用者體驗，因為模型可以實現多模態的理解和生成。

一方面，憑藉其理解能力，使用者可以透過文字、語音、影像和影片與應用程式自然互動。透過多模態資料理解上下文，多模態生成式AI應用能夠以更全面的方式作出響應，幫助企業從其他資料型別中獲取情景感知的見解。

另一方面，多模態生成式AI技術的多模態生成能力允許使用者生成從文字到語音、影像、影片、音訊、音樂、點雲資料、遙測資料、3D模型和數字孿生等各種型別的輸出。透過充分的預訓練和微調，這些模型可以生成高保真且物理準確的輸出，非常適合企業應用場景。

希望部署多模態生成式AI應用的企業可以與兩類廠商合作。

• 第一類：專注於多模態生成服務的生成式AI基礎模型廠商。這類廠商以提供多模態生成服務為主，例如，OpenAI推出了Sora，這是一項文字到影片的生成服務，能夠生成超逼真的影片，主要面向消費、媒體和娛樂行業。

• 第二類：提供多模態的生成式AI模型和應用的生成式AI開發平臺廠商。這些廠商通常是擁有深厚生成式AI基礎設施、工程和服務專業知識的超大規模企業。例如，百度智慧雲支援文心大模型、多模態模型系列和多模態生成式AI應用，如百度智慧雲曦靈（數字人），能幫助企業快速構建多模態生成式AI應用。

與這兩類廠商合作各有利弊：

第一類廠商提供的模型對於不熟悉該技術的開發者和企業提供了一個甚佳的起點。由於多模態生成能力是透過服務方式提供的，使用者可以輕鬆訪問並使用該能力。這種使用便利性也為個人開發者降低開發門檻。然而，這類模型的多模態生成能力主要面向通用的應用場景，缺乏針對特定用例的定製化選項，無法重新訓練以滿足特定需求，尤其是在高度監管的行業或業務關鍵的應用場景中。儘管這些模型在使用者中很受歡迎，但對於希望構建企業級多模態生成式AI應用的企業來說，這些模型的限制性很高。

相反，企業始終需要尋求基於最適合企業資料和業務目標的模型來開發多模態生成式AI應用。這些模型需要具備高度的定製化能力、準確性、安全性，並符合市場的資料安全法規。由於並非所有開發者和企業都精通多模態生成式AI，因此他們需要一個開發平臺，該平臺能夠提供多樣化的多模態生成式AI模型選擇，同時易於部署、最佳化和維護，以及滿足高標準的AI治理和安全要求。

為了建立真正符合業務目標的多模態生成式AI應用，提供全面多模態生成式AI解決方案的全棧廠商更適合企業。鑑於該領域缺乏專業知識和資源，企業難以期望僅提供基礎模型的廠商（第一類廠商）提供完全可定製的模型以及相關服務。全棧生成式AI解決方案廠商的核心業務並非僅銷售生成式AI模型及服務，而是致力於推動企業落地。他們不會將自己侷限於單一模型，而是會幫助客戶挑選最合適的生成式AI模型。企業和開發者可以使用其雲產品和服務開發、部署和最佳化這些模型，從而實現業務目標。