今日,首屆中國數字人大會在北京拉開帷幕,一隻以四川省阿壩州大熊貓“蘇琳”為原型的 3D 數字熊貓吸引了大量圍觀和駐足。數字熊貓“蘇琳”身著帶有藏、羌族元素的特色服裝,在現場親切自然地與觀眾進行語音互動,介紹並講解阿壩州本地的景區特色和風土人情,還時不時地跳起舞來。
這是由中國電信四川公司與中國電信人工智慧研究院(TeleAI)共同建立的人工智慧聯合實驗室最新推出的落地專案之一,是基於首次面向文旅產業推出的創新產品“TeleTrip - 星辰文旅”,以四川省阿壩州為試點打造的3D數字熊貓智慧一體機。TeleTrip 以大語言模型為基礎賦能文旅場景,集結了包括 3D 數字人、實時渲染與重建、多模態 AI 智慧體(Agent)等多項前沿技術。
此工作由中國電信集團 CTO、首席科學家、中國電信人工智慧研究院(TeleAI)院長李學龍教授帶領,由 TeleAI 的多媒體認知學習實驗室(EVOL)和渲染與三維重建團隊(CTEngine)協同完成,旨在透過端雲協同實現智慧化和沉浸式的大模型應用體驗,開拓智慧文旅超級應用,推動文旅產業的創新發展,引領新風向。
據悉,多媒體認知學習實驗室(EVOL)主任為中國電信人工智慧研究院(TeleAI)資深研究科學家趙健,兼任西北工業大學光電與智慧研究院研究員、博士生導師,清華大學自動化系、復旦大學/浙江大學/中國科學技術大學計算機系博士生企業導師,博士畢業於新加坡國立大學。研究領域:多模態AI Agent、AI+文旅、臨地安防。 發表CCF-A類論文60餘篇,一作代表作包括2篇T-PAMI(IF: 20.8)、3篇IJCV (IF: 11.6)等,第一發明人授權國家發明專利5項。技術成果服務於多個國家重要部門、發揮了重要作用,同時也在中國電信、百度、螞蟻金服等7個科技領軍企業得到應用,產生了顯著效益。入選了中國科協、北京市科協“青年人才託舉工程”,主持JKW某特區專案、國自然面上/青年科學基金等專案7項。曾獲吳文俊人工智慧優秀青年獎(2023)、吳文俊人工智慧自然科學獎一等獎(2/5, 2022)、ACM MM唯一最佳學生論文獎(一作, 1/208, CCF-A, 2018),8次在國際重要科技賽事中奪冠。 擔任北京圖象圖形學學會理事,國際知名期刊《Pattern Recognition》、《IET Computer Vision》編委,《Pattern Recognition Letters》、《Electronics》特刊客座編輯,VALSE資深領域主席,ACM Multimedia 2021分論壇主席,CICAI 2022/2023領域主席,CCBR 2024論壇主席,中國人工智慧學會/中國圖象圖形學學會高階會員,“挑戰杯”大學生科技作品競賽、中國人工智慧大賽、中國電信集團科技獎評審專家等。
3A級高精度生物還原,讓每一根毛髮自然逼真
數字形象構建是數字人應用的基礎。無論人物或動物,對其外形、皮膚、毛髮,以及體態和動作的還原,將決定使用者感受的第一印象。
在數字版“蘇琳”的形象構建上,TeleTrip 團隊根據 1936 年出生於阿壩汶川,國際大熊貓譜系編號 001 的大熊貓“蘇琳”為原型,經過查閱對照歷史照片和影像資料,並透過超越 3A 級別的高精度生物體三維重建與實時渲染技術,進行復雜的幾何細節處理,針對超過百萬根毛髮實時渲染,使其無論在靜止還是運動中都能展現逼真的質感。
此外,依據大熊貓的生理構造,TeleTrip 團隊還透過創新的智慧骨骼繫結技術,精確模擬其在運動中的骨骼與肌肉變化,實現動作和姿態的高度模擬,讓數字熊貓“蘇琳”在與使用者互動時自然、順暢,展現出無與倫比的真實感和生命力。
大模型加持多語言互動,“大熊貓”也有智慧大腦
數字熊貓“蘇琳”不僅擁有自然、逼真的外表,還“上通天文,下知地理”,能夠透過識別多種方言,為觀眾介紹和講解阿壩州特有的文化知識和旅遊資源。
這正得益於 TeleTrip 大模型強大的自然語言處理和多模態理解能力,實現語音和圖文等多種輸入方式協同互動,確保全面、深度理解使用者需求。同時,TeleTrip 還整合了阿壩州豐富的歷史、文化和旅遊知識庫,構成數字熊貓“蘇琳”的智慧大腦,讓它成為知識淵博的智慧導遊。
針對實時分析難、互動不流暢、真實感實時渲染難等關鍵挑戰,TeleTrip 團隊透過先進的資料儲存策略和智慧路由查詢引擎,大幅提升了檢索效率,並有效降低推理成本。同時,訂製化的超多毛髮逼真實時渲染技術保證了“蘇琳”逼真萌萌的外態;本地化部署還確保高準確率和毫秒級響應速度,即使在沒有網路的情況下,仍能提供優質的服務。
多模態多智慧體協同,面向未來的智慧文旅超級應用
面向未來,TeleTrip 團隊將繼續專注技術創新,引入自研的多模態多智慧體協同技術,讓數字熊貓“蘇琳”不僅可以為遊客介紹景區,還能提供個性化行程規劃、訂票訂酒店、餐飲穿搭推薦、購物等全方位的超級應用體驗。
AI Agent 具備獨立思考、呼叫工具等核心能力,可以透過與環境進行互動從而感知資訊並做出相應的思考和行動。它能夠結合大語言模型的通用能力,根據使用者的指令和需求,將任務拆解並逐個完成,彌補大模型行動的“不足”,實現更復雜的任務。
未來,結合 AI Agent 的強大能力,數字熊貓“蘇琳”可以基於使用者意圖和偏好自動安排旅行計劃,並根據行程預定航班、酒店和餐廳。同時,它還能靈活應對可能發生的各種突發情況,並透過調取工具,一一解決。
此外,結合多模態智慧互動和多輪對話技術,AI Agent 還能為使用者提供旅行中的實時支援,如導航、本地資訊查詢和語言翻譯等。結合虛擬現實(VR)和擴增實境(AR)技術,AI Agent 還將打造沉浸式的互動體驗,為使用者提供虛擬導覽和伴遊,豐富每段旅程。
打造標杆專案,引領智慧文旅新風向
本次大會是數字熊貓“蘇琳”的首次公開亮相,它將於10月在四川省阿壩州與廣大遊客正式見面。屆時,每位使用者都可以在指定景點透過語音、觸控等方式與數字“蘇琳”面對面交流和互動。
不僅如此,TeleTrip 還將利用端雲協同渲染與三維重建技術構建一個虛擬與現實相結合的野生棲息地。遊客透過手機掃描實景,就可以與數字熊貓“蘇琳”互動,跟隨它的腳步探索阿壩州的美麗景色,並享受包括餐飲、交通、住宿、娛樂等多種個性化的旅遊導覽服務。
自疫情結束以來,文旅市場迎來了新一輪的增長和爆發。文化和旅遊部積極響應國家科技創新戰略,大力推動 5G、人工智慧、大資料等前沿技術在文旅產業的深入融合。在此背景下,智慧文旅應用創新就成為行業發展的關鍵推動力。
結合 AI 技術賦能,智慧文旅將不僅極大最佳化旅遊體驗和資源配置效率,還將有效促進地方經濟增長和文化交流,成為推動社會經濟可持續發展的重要引擎。
數字熊貓“蘇琳”的成功打造是“TeleTrip - 星辰文旅”的首次試點。作為央企大模型機構,TeleAI 希望不僅為阿壩州景區帶來數字化、智慧化的創新體驗,同時以此為標杆,賦能全國更多文旅場景,推動國內大模型技術創新向產業落地躍遷,引領文化旅遊產業的全新風向標。