「AI Infra 軟體開源不是一個選項，而是必然」丨雲邊端架構和 AI Infra 專場回顧 @RTE2024

在人工智慧和開源技術蓬勃發展的當下，AI Infra 專案正經歷著日新月異的變革。從跨平臺執行時到雲邊端 AI 基礎設施，再到多模態知識助手，創新浪潮席捲而來。這些進步不僅顯著提升了技術指標，也為實時音影片處理、邊緣計算、大模型應用等場景開闢了新的可能性。

在 RTE 2024 大會上，LLamaIndex 研究員鄭欽月、TEN Framework 創始人 halajohn、亞馬遜雲科技資深開發者佈道師鄭予彬、聲網後端媒體中心負責人曹類、WasmEdge 維護者 Michael Yuan 等行業專家分享了各自的見解和研究成果。

RTE 開發者社群主理人、小櫻桃科技 CTO 杜金房主持了主題分享和圓桌討論環節。

鄭欽月：構建多模態知識助手，高效應用 RAG 框架

LLamaIndex 研究員鄭欽月指出，儘管大語言模型能力不斷提升，但在實際應用中仍面臨著幻覺、時效性和專業性不足等問題。為解決這些問題，RAG（檢索增強生成）技術應運而生，透過外接資料來最大化大模型的能力。然而，簡單的 RAG 框架仍存在侷限性，無法有效處理複雜任務和多模態資料。

一個理想的知識助手應具備以下特質：

1、高質量的多模態 RAG 框架， 能處理文字、影像、音影片等多種資料型別。
2、強大的任務處理能力， 不僅能回答問題，還能生成報告、製作 PPT、分析資料等。
3、具備行動能力， 能夠提供下一步行動建議。

LLamaIndex 提供了一系列工具和框架來實現這一願景：

1、LLamaParse： 一個文件解析工具，能最大限度保留文件的圖表和佈局資訊。
2、LLamaCloud： 一個 Production-ready 的 RAG 平臺，支援簡單的資料輸入和問答。
3、Agentic RAG： 包括有約束和無約束兩種操作流程，允許多個 AI 代理協作完成複雜任務。
4、LLamaIndex Workflow： 一個事件驅動的工作流框架，用於定義和執行復雜的 AI 任務。

halajohn：基於 TEN Framework 的雲邊端 AI 基礎設施與 AI Agent 應用

TEN Framework Creator halajohn 提出了目前基於雲端的語音互動 AI 應用面臨的三大挑戰：高昂的雲端計算成本、使用者資料隱私洩露的風險，以及難以適應不同使用者負載的架構擴充套件性問題。

面對這些挑戰，halajohn 提出了他們的解決方案：TEN Framework，一個「雲邊端互融、跨裝置、跨環境的 AI 基礎設施」。

他強調了 TEN Framework 的 模組化設計理念 ，允許開發者建立可在各種平臺上執行的 Extension 模組。為了方便開發者快速構建應用，「站在巨人的肩膀上」，TEN Framework 支援所有主流程式語言（C++、Python、Golang、JavaScript 等），並推出了 TEN Cloud Store，方便開發者分享和使用現成的模組，如同提供一把便捷的「鏟子」，讓開發者專注於挖掘應用場景的「金礦」。

TEN Framework 將不同語言編寫的模組組合在同一服務中執行，最佳化實時音影片應用的效能，並避免微服務架構帶來的效能瓶頸和跨裝置難題，實現成本控制和效能保障。

他還介紹了正在開發的 Graph Designer， 一個視覺化工具 ，旨在簡化模組的組合、除錯和流程管理，並計劃引入 動態除錯功能 ，方便開發者快速定位問題。

此外，他還提到透過 最佳化雲邊端傳輸 ，將語音互動的響應速度提升至毫秒級，並將成功率提升到 97%-98%。

目前，TEN Framework 已經開源，並期待社群的共同參與和貢獻。

鄭予彬：生成式人工智慧賦能雲上開發全流程

來自亞馬遜雲科技開發者體驗團隊的鄭予彬分享聚焦於在生成式 AI 蓬勃發展的當下，雲平臺如何為個人和組織提供強有力的支援，以及如何透過一系列工具提升開發者體驗，最終將創新落地轉化為生產力。

鄭予彬指出，2024 年開發者和組織對雲平臺的需求已經從單純的算力轉向更便捷的平臺和多樣化的工具。為此，雲平臺需要在三個層面提供支援：

1、底層 LLM 部署方面，雲平臺需要提供優秀的工具和標準化策略， 簡化 LLM 部署流程。
2、平臺層面上，需要支援企業利用自身資料定製 LLM，將基礎模型轉化為 專用模型。
3、最後，生成式 AI Agent 需要將模型與前端服務和應用快速連線，將 LLM 呼叫 融入生產流程。

Amazon Bedrock 平臺預置了近十種 LLM，並提供便捷的工具幫助企業定製模型，同時兼顧安全合規。他還特別提到，他們團隊更名為 「開發者體驗團隊」 ，正是因為開發者體驗對企業創新能力至關重要。

曹類：十億級月活分鐘數背後的聲網媒體中心架構演進之路

聲網後端媒體中心負責人曹類分享了他在聲網七年間，見證公司 從高速增長到追求極致平衡過程中 ，媒體中心架構的演進歷程。

從早期的 SDK 到 Restful API，再到如今的雲端應用，媒體中心的業務流程經歷了多次迭代升級。然而，高速增長也帶來了新的挑戰：組合業務種類繁多、單一產品功能激增、成本居高不下、業務交付週期長，以及可用性問題頻發。

為了解決這些問題，曹類和他的團隊制定了針對性的解決方案。透過構建統一可用性系統、整合音影片能力、搭建統一編排引擎、最佳化資源排程和計量模型等一系列舉措，他們成功地實現了降本增效，同時顯著提升了系統效率和可用性。

「過去兩年，我們的業務用量增長了 39%，而單位成本卻降低了 56%，等價 L4 故障數降低了 50%。」

然而，曹類也深刻地認識到，架構演進是一個持續的過程，他將其比作對抗熵增，如同人的成長一樣。早期低熵狀態下，系統野蠻生長；中期需要積極對抗熵增，保持系統的有序性；後期則需要在可控範圍內管理熵增。

Michael Yuan：在端側部署多模態大模型的實踐與思考

Michael Yuan，WasmEdge 維護者和 Second State 創始人分享瞭如何在邊緣側部署多模態大模型，來處理音影片資料。Yuan 開篇展示了一個將 YouTube 英文影片翻譯成中文的專案。儘管看似簡單，這項任務實際上融合了多個複雜步驟和技術。

Yuan 指出 Python 在大模型部署中的侷限性。 雖然 Python 在模型訓練階段被廣泛採用，但在推理階段，尤其是在需要高效能和複雜業務邏輯的場景下，Python 往往會成為效能瓶頸。在雲邊緣計算環境中，Python 的效能問題尤為突出。Python 在實時互動場景中會導致明顯的延遲，並非毫秒級，而是秒級。

Yuan 提出使用 Rust 和 WebAssembly 來解決這一難題。WebAssembly 可以作為 硬體和應用程式之間的新抽象層， 類似於曾經的 Java 虛擬機器，但以 Rust 作為主要開發語言。這種方法可以有效解決跨平臺部署、安全性和效能等關鍵問題。

圓桌討論：開源 AI 專案的設計哲學和成長方法論

主題是 「開源 AI 專案的設計哲學和成長方法論」 的圓桌討論由 FreeSWITCH 的核心維護者杜金房主持，參與討論的嘉賓有 WasmEdge 維護者 Michael Yuan、TEN Framework 的 halajohn 以及開源社聯合創始人林旅強。

halajohn 首先分享了 TEN Framework 的設計理念：幫助開發者快速構建 AI 場景和應用，並強調其 「集百家之長」 的設計哲學有助於快速達成目標。

Michael Yuan 介紹了 WasmEdge，一個跨平臺、輕量級、高效能的 AI 執行時。他指出 WasmEdge 的核心目標是實現 「模型與應用一體化」 ，將模型嵌入應用中，並在使用者可控的裝置上以輕量級執行時執行。

林旅強則從開源社群的角度闡述了 開源基金會的重要作用。 他認為，基金會能夠有效地管理和發展開發者捐贈的專案，並構建繁榮的生態系統。他強調，專案長期發展需要基金會化和公司化，以確保其可持續性和高效決策。

談及 AI Infra 和開源的關係，Michael Yuan 說，如果基礎軟體不開源，幾乎不可能得到機會。不開源意味著無法讓大家試用，這會讓人對基礎軟體的可靠性產生懷疑。在今天，做基礎軟體的人幾乎沒有不開源的選擇—— 開源不是一個選項，而是必然。

在個人成長經驗分享環節，三位嘉賓也提供了寶貴的建議。Michael Yuan 強調了 為開源專案貢獻程式碼的重要性， 認為這是伴隨終身的寶貴財富。halajohn 提出了三點建議： 保持追根究底的精神、勇於嘗試、運用費曼學習法。 林旅強則以《鳥哥的 Linux 私房菜》為例，說明了 把握時代需求、持續輸出 的重要性。

這場圓桌討論不僅涵蓋了開源 AI 專案的技術層面，更深入探討了個人成長和社群建設。正如林旅強總結道：「緊跟時代需求，持續輸出，創造人人需要的產品，無論是書籍、TEN 框架還是 WasmEdge，只要能夠幫助他人，社群就會給予回報，這對於專案發展和個人成長都至關重要。」