人類級別語音 AI 路線圖丨 Voice AI 學習筆記

Ultravox 是一個開源多模態模型，專為實時人工智慧對話而設計。他們最近分享了內部的語音 AI 路線圖框架。

這幅路線圖描繪了從基礎助理到人類級別語音 AI 的五個階段，展現了他們對於實現真正自然、富有表現力和影響力的對話互動的願景。

人類級別語音 AI 路線圖 ROADMAP TO HUMAN-LEVEL VOICE AI

關注 RTE 開發者社群公眾號，
後臺回覆「路線圖」獲取高畫質版本。

第一級：助理 Level 1: Assistant

助理系統較為基礎，在聽和說兩種模式間切換，提供簡單的資訊和執行基本任務，類似於 Siri、Alexa 和谷歌助手等傳統語音助手。它們不能維持上下文，也無法進行多輪對話。

第二級：對話者 Level 2: Conversationalist

對話者是基於大規模語言模型（LLM）的全雙工系統，能夠進行對話。初級對話者依賴於語音活動檢測（VAD）、自動語音識別（ASR）和文字轉語音（TTS）等獨立元件，這些元件的效率問題可能會影響對話的流暢度和自然度。而高階對話者則採用整合的端到端方法，可以直接理解和生成語音，從而實現無縫、富有表現力且引人入勝的一對一互動。注：Ultravox 已超越初級對話者，但尚未達到我們定義的「高階」對話者水平。我們認為 GPT-4o Realtime 也處於類似階段。

第三級：合作者 Level 3: Collaborator

合作者將對話式人工智慧的能力擴充套件到群體環境，使人工智慧能夠與多個說話者有效互動。這類系統可以管理社交動態，為專業領域和現實生活應用創造巨大價值。作為團隊中積極而有價值的成員，合作者能夠有效促進團隊協作，提高工作效率。

第四級：共情溝通者 Level 4: Empathic Communicator

共情溝通者能夠深入理解情感、語氣和社交環境等細微差別，並調整其表達方式，從而營造自然、引人入勝且富有同理心的互動。他們非常適合需要高情商以及在個人和職業場合建立良好人際關係的場景。

第五級：組織者 Level 5: Organize

r 組織者代表對話式人工智慧的巔峰，能夠在複雜的互動中引導、影響和激勵他人。它們展現出卓越的戰略思維能力，能夠輕鬆駕馭群體動態，並以極具魅力和權威的方式進行溝通。

關注 RTE 開發者社群公眾號，回覆「路線圖」獲取高畫質版本。
原文：
https://www.ultravox.ai/blog/ultravox-an-open-weight-alternative-to-gpt-4o-realtime

漢化：RTE 開發者社群、林瑞麗、傅豐元

RTE 開發者社群持續關注 Voice AI 和語音驅動的下一代人機互動介面。如果你對此也有濃厚興趣，也期待和更多開發者交流（每個月都有線上/線下 meetup，以及學習筆記分享），歡迎加入我們的社群微信群（加微信 Creators2022，註明身份和來意），一同探索人和 AI 的實時互動新正規化。