國內首個端到端通用語音大模型——心辰Lingo開放內測預約

新闻助手發表於2024-08-29

內容導覽:

國內首個端到端通用語音大模型——心辰Lingo現開放內測預約。

在技術上,心辰Lingo具備實時打斷、實時指令控制、超級擬人、能說會唱等能力,擁有比 GPT-4o 更出色的中文語音效果。9月5日西湖心辰將在外灘大會上正式釋出該模型,這一技術的突破或將對多個領域產生深遠影響,有望引領人機互動進入一個全新的時代。

登陸「心辰Lingo」語音大模型官網(https://lingo.xinchenai.com),即可馬上預約內測。

什麼是端到端語音對話模型?

傳統的語音互動是先將語音轉成文字,再理解文字,然後生成回覆文字,最後再將文字轉為語音。每次互動中“語音-文字”和“文字-語音”的轉換不可避免地會丟失資訊,特別是語音中包含的情緒表達和“言外之意”。

端到端語音對話模型,就像是一個“高情商”的朋友。它可以捕捉到語氣的起伏,情緒的波動,甚至是話語中的猶豫和停頓。能“傾聽”、能“引導”,還能與你"共情",提供情緒價值。

端到端心辰Lingo三大核心優勢

心辰Lingo作為國內首個端到端通用語音大模型,融合了語音識別自然語言處理意圖識別、對話管理以及語音合成等多項前沿技術,具備實時打斷、實時指令控制、超級擬人、能說會唱等能力。研發團隊針對模型能力在多個領域和中文上進行增強,使Lingo的中文語音效果,相較GPT4o更為出色。與其他語音大模型相比,Lingo擁有以下3個技術特徵:

原生的語音理解:在精準識別語音中的文字資訊的同時,精確捕捉其他重要特徵,如情感、語氣、音調,甚至環境音,幫助模型更全面地理解語音內容,從而提供更加自然和生動的互動體驗。

多種語音風格表達:能根據互動上下文和使用者指令,自適應調整語音的速度、高低、噪聲強度等,並生成對話、歌唱、相聲等多種風格的語音響應,有效提升模型在不同應用場景下的靈活性和適應性。

語音模態超級壓縮:採用具有數百倍壓縮率的語音編解碼器,能夠將語音壓縮至極短的長度,在顯著降低計算和儲存成本的同時幫助模型生成高質量語音內容。

心辰Lingo多場景多領域應用探索

端到端語音技術正以其強大的互動能力和智慧化處理方式,不斷地擴充在各行各業的應用邊界。心辰Lingo作為行業先鋒,也正積極進行相關應用場景探索。

國內首個端到端通用語音大模型——心辰Lingo開放內測預約

具身智慧:心辰Lingo可以扮演不同的助手角色,根據使用者的需求和指令,提供個性化的語音服務。與具身智慧技術深度融合,便能大幅提升智慧機器人的意圖識別與溝通理解能力,讓使用者享受智慧生活帶來的便捷之餘,更能感受到科技的溫情與貼心。

心理療愈:心辰Lingo可以根據使用者的情感狀態,模擬“朋友”以及“親人”的溝通方式,透過定製語音提供安慰和鼓勵,幫助使用者緩解壓力和焦慮。此外,可以模擬心理諮詢師,用專業且溫暖的態度與使用者進行語音交流,提供傾聽、理解和引導,幫助使用者走出情緒低谷。

客戶服務:心辰Lingo卓越的即時響應能力,能確保在與使用者交流時提供無任何體感延時的語音服務。它不依賴於傳統的決策樹結構,避免了因未預見情況而導致的響應障礙,無論使用者提出何種問題,Lingo都能憑藉其先進的演算法和強大的語言理解能力,提供恰當且及時的答覆。心辰Lingo還能精準識別客戶煩躁、生氣、高興、舒緩等不同情緒,快速地調整語音語調、聲音大小,以提供更具人性化和同理心的語音服務。

兒童教育:孩子天馬行空的想象力和並不完善的語義表達增加了人機溝通的難度。心辰Lingo可以透過分析上下文、語氣、語調等深入理解兒童語音內容,圍繞“愛商教育”理念,以積極的鼓勵和表揚與孩子們建立情感聯絡,激發他們的表達能力。此外它還能用說唱的方式來講述故事情節與知識,增加學習的趣味性和吸引力,真正做到寓教於樂。

國內首個端到端通用語音大模型——心辰Lingo開放內測預約

歲月檔案:人類大腦的儲存空間是有限的,心辰Lingo作為端到端AI語音大模型,具備長期記憶的能力,能提供記憶無限儲存服務。它可以從對話中提取有效資訊並記錄存檔,支援隨時提取。利用存檔的資料與AI克隆技術,即可復活親友與你同頻“交流”。它擁有你們之間共同的回憶,能更好地與你共情對話。

從智慧家居到醫療健康,從客戶服務到教育輔助,再到記憶存檔,端到端語音系統正以其便捷性、高效性和個性化服務,引領人機溝通進入一個全新的時代。隨著技術的不斷成熟和創新,我們可以預見,該技術將在未來的智慧世界中扮演更加核心和關鍵的角色,為人們的生活和工作帶來更多的便利和可能。

心辰Lingo端到端語音大模型的問世,是西湖心辰在語音技術領域深耕細作的成果,也是探索智慧語音應用的一次重要里程碑。

9月5日,西湖心辰將在外灘大會正式釋出該模型。目前,心辰Lingo端到端通用語音大模型已開放測試預約,歡迎大家前來預約體驗。

國內首個端到端通用語音大模型——心辰Lingo開放內測預約


相關文章