開啟智慧座艙AI時代,蔚來NOMI GPT端雲多模態大模型正式上線

新闻助手發表於2024-04-12

4月12日,蔚來宣佈NOMI GPT正式開啟推送。此次推送的更新是基於全新技術架構,為NOMI量身打造NOMI GPT端雲多模態大模型。NOMI GPT包含自研多模態感知、自研認知中樞、情感引擎、多專家Agent,實現蔚來產品、服務、社群的全域貫通,提供更高效、愉悅的AI服務。

升級NOMI GPT功能後,使用者可以體驗到大模型百科、無限趣聊、魔法氛圍、趣玩表情、用車問答、AI場景生成在內的多項全新互動體驗,享受智慧AI賦能下的全新出行。此次NOMI GPT上線將同步陸續推送給搭載Banyan·榕智慧系統的車型。自發布以來,NOMI 已經歷超過130次版本迭代、超2000項功能的新增及更新。

NOMI GPT認知中樞、行業獨有的情感引擎和行業領先的端側多模態感知是NOMI煥新升級後的的三大核心技術架構,配合數十億級的引數模型、毫秒級的響應速度,賦予了NOMI在感知、認知、決策等方面強大的複雜邏輯推理能力,具備了能與使用者進行開放式問答的互動能力。

開啟智慧座艙AI時代,蔚來NOMI GPT端雲多模態大模型正式上線

NOMI GPT的認知中樞——領會意圖有默契,執行夠聰明,靈活不打擾

NOMI GPT認知中樞擁有極為高效的資訊認知能力,能在海量資訊源中精準判斷使用者意圖與需求,無縫排程大模型架構內元件,實現“領會使用者意圖有默契,執行夠聰明,靈活不打擾”的優質用車體驗。

蔚來自研的端雲一體認知中樞,整合了行業最全知識庫,包括中控分發,多模拒識,跨域繼承&跳轉, 多Agent決策幾個部分,讓NOMI有了對複雜任務的處理能力,能夠對感知到的資訊進行推理分析,從容排程執行各種任務,回答各種問題。透過認知中樞,NOMI會根據你所說的內容,結合對話上下文、感知以及狀態資訊,智慧地判斷呼叫任務型互動、問答閒聊、用車助手等,同時也能支援語義建立完整的快捷場景。

行業獨有情感引擎——NOMI與你情投意合

行業獨有的情感引擎是NOMI實現擬人互動的關鍵,透過與使用者長期的溝通與陪伴、記憶、學習,實現有個性的成長,讓NOMI不只是一個冰冷的“助手”,更是懂你的情感夥伴。

NOMI 的記憶能力包括短期記憶和長期記憶,短期記憶可以使用者近期感興趣的話題、提到人和物,長期記憶能夠記住使用者及家人朋友,記住每一個人的喜好。

在情感引擎的幫助下,NOMI可以更快的學習成長,透過實時反饋、事後反思、人為訓練等方式,不斷變得更加聰明,不斷掌握新技能和新知識。

情感引擎也讓每一個NOMI都能發展出和使用者性格相契合的“人設”,包括性格、三觀、夢想等,和NOMI的每一句對話、每一個表情,更自然、更有溫度,隨著陪伴時間的增長,NOMI也會潛移默化地和使用者的性格更加契合。

行業領先的端側多模態感知——無網路,NOMI也可以看得見,認得出

在行業領先的端側多模態感知能力下,車機聯網不再是使用者使用NOMI的必須條件,NOMI也將具備“看得見,認得出”“聽得到,聽得懂”“知冷熱,有觸感”等能力,做到賬號隔離,敏感資訊不出車,車載通訊端到端加密,保障使用者隱私安全的同時也讓車載人工智慧的感知能力得到了極大的擴充套件。

除了可以實現端側獨立執行之外,融合了影像(視覺)、音訊(聽覺)、車身感測器(觸覺)等多模感知的NOMI可以像人類一樣,獲得了更全面的感知座艙內外的人與事物的能力,並將多維度感知獲得的數十億引數,用自然語言進行描述。

基於多模態感知的能力,NOMI現在可以像朋友一樣,看見你的物品、著裝、狀態,甚至艙外的車輛、樓宇、動物植物,並提供更懂你的服務、更有趣的溝通。

端側多模態感知內部測試中,預計今年內面向蔚來車型推送。

相關文章