社群來稿丨一個真正意義上的實時多模態智慧體框架，TEN Framework 為構建下一代 AI Agent 而生

本文由 RTE 開發者社群成員透過社群網站投稿提供，如果你也有與實時互動（Real-Time Engagement，RTE）相關的專案分享，歡迎訪問網站 rtecommunity.dev 釋出，優秀專案將會在公眾號釋出分享。

自從 OpenAI 展示了 GPT-4o 的實時對話能力後，感覺電影《Her》中的場景瞬間成了現實。受這種突破性多模態體驗的啟發，開發者們開始瘋狂尋找構建實時對話 AI 智慧體的方法。雖然現在有一些開源工具可以讓大家輕鬆上手做點編排，但要真正構建一個多模態 AI Agent 還是很難——這些智慧體不僅需要超低延遲，還得掌握聊天、語音轉文字、文字轉語音、實時音影片通訊等技術。更別提要把這些技術都無縫整合在一起，打造出像人類一樣的互動體驗，真的是個「腦力活兒」。

不過，好訊息來了！有了 TEN（Transformative Extensions Network，變革性擴充套件網路），開發者們終於不用再「絞盡腦汁」了！TEN 是全球首個真正實現 實時多模態智慧體 的框架，不僅能減少開發痛點，還讓你輕鬆從頭開始構建下一代 AI 應用。

什麼是 TEN 框架？

TEN 框架是一個開源的開發框架，專為那些希望快速構建支援語音、影片、資料流、影像和文字的實時多模態智慧體的開發者打造。它讓開發者輕鬆試驗、整合大語言模型，並建立可複用的擴充套件。想要做語音聊天機器人？AI 生成的會議記錄？語言導師或虛擬伴侶？甚至是 AI 心理諮詢師？TEN 都能幫你實現！它提供了豐富的 AI 服務和擴充套件，讓你完全自由地構建、測試和釋出能夠實時思考、傾聽、觀察和互動的下一代 AI agent。

你可能聽過開發者抱怨：「我想盡快構建出 AI agent！」或者企業開發者說：「我們需要一個能隨著業務增長而擴充套件的解決方案。」對於那些想要快速構建演示版實時多模態 AI 智慧體，或是需要一個能夠輕鬆擴充套件到生產環境並允許新增新功能或大語言模型的框架，TEN 框架就是你的最佳選擇。

你能用 TEN 框架構建什麼？

使用 TEN 框架，你可以構建能夠像人類一樣自然、實時互動的 AI 智慧體。讓我們來快速瞭解一下由 TEN 驅動的代理演示，感受它的強大魅力吧！

Voice, Vision and RAG

TEN Agent 是一個伺服器端的演示 AI 智慧體，它透過多個擴充套件實現實時音訊和影片互動，並支援 RAG（檢索增強生成），可以訪問和利用本地文件提供答案。開發者可以輕鬆修改提示詞和其他配置引數，以滿足自己的需求。快來試試吧！你會驚訝於在不到 10 分鐘內就能建立出一個 AI 智慧體！

當然，你也可以使用 TEN 框架在本地構建自己的 AI 智慧體。對於更復雜的用例，TEN 框架允許開發者透過社群的第三方外掛，整合一個或多個大語言模型（LLM），並使用內建的擴充套件管理工具 TEN Manager 來管理它們之間的資料流。此外，Graph Designer 提供了一個簡單的拖拽介面，方便你輕鬆設計工作流（如下圖所示）。

TEN Graph Designer

為什麼選擇 TEN 框架？

未來的生成式 AI 預計將迅速轉向語音和影片作為主要且最自然的交流介面，而實時互動（RTE）將成為大多數應用的標準。在這一轉變過程中，我們發現現有的 AI 智慧體平臺存在一些侷限性。

例如，一些平臺雖然在快速開發多模態代理方面表現出色，但僅限於使用 Python，這限制了其構建更復雜應用程式並擴充套件到更廣泛用例的潛力。同樣，其他平臺可能對音訊和影片的支援有限，進一步限制了它們的多樣性。

TEN 框架的設計初衷是幫助開發者更快、更輕鬆地建立實時多模態 AI 智慧體：

- 真正的實時多模態，超低延遲。 TEN 支援語音、影片、資料流、影像和文字，尤其適用於實時翻譯等語音或影片互動的用例。此外，不同擴充套件之間的互動（如資料傳輸）得到了最佳化，簡化了端到端的開發和效能。

- 廣泛的支援與可定製的擴充套件元件。 與其他僅支援有限多模態和程式語言的工作流構建工具不同，TEN 框架支援 Golang、C++ 和 Python，Node.js 也即將推出。此外，TEN 支援在所有主要平臺上進行開發，包括 Windows、Mac、Linux 和移動裝置。所有擴充套件元件都是模組化結構，跨多種語言具備完全的靈活性。非常歡迎擴充套件元件開發者將他們的服務連線到框架和社群中。

- 實時響應與狀態管理。 TEN 框架透過優先考慮實時響應、動態工作流和同步資料，構建出的 AI 智慧體能夠提供更具互動性、類似人類的 AI 體驗，特別是在多使用者的場景下。使用 TEN，開發者擁有一個低延遲、同步、可調節媒體質量、支援併發使用者、網路彈性等功能的框架。

- 同時支援邊緣計算與雲端。 透過 TEN 框架，部署在邊緣和雲端的擴充套件可以無縫結合，建立各種應用程式。對於隱私敏感的邊緣部署，可以使用本地計算能力來降低整體成本並減少延遲，而云端的大語言模型可以整合以實現成本與效能的最佳平衡。

- 極速構建體驗，開發者友好。 直觀的視覺化介面和拖放元件讓開發者輕鬆上手。對於有更復雜需求的開發者，TEN 的靈活架構和開放 API 提供了一個強大的平臺，用於構建自定義擴充套件。此外，TEN 歡迎社群的各種創意和貢獻。

使用 TEN 作為你的 AI 智慧體框架，讓你的想象力起飛！立即訪問 TEN Agent 倉庫，構建你的第一個 AI 智慧體吧！如果你享受構建和探索的樂趣，記得在倉庫上為我們點贊。https://github.com/TEN-framework/ten_framework

Star TEN to stay up with TEN

如果您對 TEN 框架感興趣，歡迎訪問我們的網站 www.theten.ai，
隨時關注未來的更新和釋出。我們非常期待聽到您的意見、想法和反饋！同時，歡迎加入我們的 Discord 社群群，和大家一起交流探討。

TEN Discord

您還可以透過以下平臺找到我們：

• Discord:
https://discord.gg/VnPftUzAMJ

• X（推特）:
https://x.com/TenFramework

• Medium:
https://ten-framework.medium.com/

• Reddit:
https://www.reddit.com/r/TenFramework/

• 郵箱：
developer@theten.ai

盡情享受 TEN 框架，讓您的實時多模態 AI 智慧體栩栩如生！

本文由 RTE 開發者社群成員透過社群網站投稿提供，如果你也有與實時互動（Real-Time Engagement，RTE）相關的專案分享，歡迎訪問網站 rtecommunity.dev 釋出，優秀專案將會在公眾號釋出分享。同時還有 RTE Meetup demo 分享、《編碼人聲》播客錄製、RTE Open Day 展位優先申請等機會。

有意投稿者請聯絡鮑勃微信（bob_fu，請備註身份和來意）。