快手虛擬世界互動平臺及解決方案

　　 導讀：快手針對虛擬世界互動的技術方案主要分為兩方面，分別是平臺和軟體。在平臺側快手構建了快手虛擬世界互動平臺（KMIP），基於 PAAS 技術基礎支撐各種上層應用。在軟體側，面向不同應用場景和使用者群體的虛擬世界應用產品包括快手虛擬演播助手（KVS）、快手面捕助手（KFC）等。

　　 01 虛擬世界互動的背景與現狀

　　首先分享一下目前虛擬世界互動的一些基礎概念、背景及現狀，以及快手在已有內容社群基礎上對虛擬世界進行的技術擴充與思考。

　　1. 背景與現狀

　　虛擬世界互動的定義：虛擬世界互動是指在虛擬空間中進行的沉浸式多人互動。人可以是真人和數字人（主要是數字人），互動多為社交、遊戲和展覽類的活動。在此概念下，市場上湧現出許多優秀的產品，比如：遊戲類產品 Roblox、工具&社交產品 Zepet、開放劇情類產品 Rival Peak 、娛樂類產品騰訊音樂 Tmeland、展會類產品網易瑤臺、營銷類產品百度希壤等。

　　（1）快手虛擬世界新形態平臺

　　環繞著快手短影片和直播內容生態，虛擬世界平臺衍生出更多不同的展示形態。例如雲蹦迪、線上演唱會以及直播互動遊戲等，觀眾可以透過傳送彈幕以及基於 H5 的各種互動形式來增強參與感和沉浸感，並能夠透過互動的方式成為虛擬活動中的決策參與者。另外，基於短影片和直播的虛擬世界互動無需改變使用者對快手平臺一貫的使用習慣，對使用者更加友好。　　

　　2. 快手技術方案總覽

　　快手針對虛擬世界互動的技術方案主要分為兩方面，分別是平臺和軟體。在平臺側快手構建了快手虛擬世界互動平臺（KMIP），基於 PAAS 技術基礎支撐各種上層應用。在軟體側，面向不同應用場景和使用者群體的虛擬世界應用產品包括快手虛擬演播助手（KVS）、快手面捕助手（KFC）等。　　

　　 02 平臺方案：快手虛擬世界互動平臺（KMIP）

　　第二部分內容會從平臺的角度給大家介紹一下快手在虛擬世界的一些技術建設。我們構建了快手虛擬世界互動平臺（KMIP），作為一個統一的底座支撐各種在虛擬世界中的互動能力（雲蹦迪、雲演唱會等）。下圖為快手虛擬世界互動平臺的使用者互動流程圖。

　　使用者（主播或觀眾）的裝置軟體（PC軟體/App/H5）透過整合我們的 KMIP SDK 將各種互動訊號傳遞給 KMIP，同時接收 KMIP 處理傳送的流媒體資訊，實現多端低延時接入的媒體互動和場景應用功能。　　

　　快手虛擬世界互動平臺由三部分技術構建而成，分別為基礎層、計算層和接入層。

　　基礎層：基礎層是支撐平臺成功運轉的服務底層，主要管理通用的計算、網路以及儲存等資源。既支援自研雲平臺也具備相容第三方雲平臺的能力。

　　計算層：計算層作為快手虛擬世界互動平臺（KMIP）的核心能力層，包含了四大模組分別為 AI 引擎、圖形引擎、音影片、資產庫。虛擬互動中需大量運用 AI 能力，渲染能力，以及 RTC 和邊緣計算能力。

　　接入層：接入層包括鑑權、智慧排程和端雲協同等。

　　以下為快手虛擬世界互動平臺（KMIP）的特性。　　

　　特性一：多終端接入

　　多終端接入是指可以支援 PC/手機/XR 等各種裝置的接入，便於使用者參與。快手作為一個以內容為核心，連線觀眾和創作者，打通短影片和直播內容的分發平臺，將使用者群體劃分成兩大類：終端觀眾和創作者。創作者相較於終端觀眾而言在裝置上會有著更高階的需求，終端觀眾則更需要能夠低門檻的參與，支援多終端的接入能夠滿足使用者在使用上的差異。

　　特性二：RTC 結構化資料傳輸

　　RTC 結構化資料傳輸的定義通俗來講就是支援傳輸各種各樣的資料，比如動捕/語音/文字/控制引數等。透過支援豐富多元的互動訊號的輸入和對應的資料反饋，在滿足適配不同互動形式和資料傳輸要求情況下同時可以保證系統在互動整個鏈路上的完整性並且降低了延遲風險。

　　特性三：多種渲染模式

　　快手虛擬世界互動平臺（KMIP）不僅支援端渲染、雲渲染，同時也支援端雲協同渲染，以滿足各種不同場景下的渲染需求。

　　特性四：支援多種角色

　　快手虛擬世界互動平臺（KMIP）能夠支援真人(透過綠幕摳圖接入)和數字人（虛擬 IP、Avatar 等）等多種角色參與其中。

　　特性五：千人千面同屏

　　基於快手虛擬世界互動平臺（KMIP）的設計理念，能夠承載多人互動的開放生態，開放世界多人同屏，使用者能夠自由切換視角以第一或第三人稱視角參與其中，體驗不同視角的場景。

　　 03 軟體方案：快手虛擬演播助手（KVS）等

　　第三部分內容會從實用性角度主要介紹兩個應用於特定場景的軟體，主要作用為提供給主播和創作者們更友好的互動方式。

　　1. 快手虛擬演播助手（KVS）

　　關於快手虛擬演播助手的定義：KVS 是一款面向 PGC 場景的數字人驅動及開播的工具。

　　主要面向的使用者群體為追求高品質的數字人直播的使用者。KVS 為其提供了一站式服務，不僅能夠滿足數字人所需的驅動和渲染能力，在其基礎上還能夠滿足 3D 場景的互動能力。

　　特點一：數字人驅動方面，從普通攝像頭到專業動作捕捉裝置都支援

　　特點二：支援多平臺高畫質推流直播，提供豐富的特效玩法和 3D 場景融合

　　特點三：打通了快手直播間資料，可解鎖各種虛擬世界玩法。

　　以下是快手虛擬演播助手 KVS 的架構邏輯：

　　從業務層面來說虛擬演播助手可以滲透到智慧文娛、直播電商和虛擬拍攝等場景。藉助快手對音影片的高效處理和資料的埋點統計等中臺能力，利用 MVC 等互動框架，和諸多 AI 能力，實現虛擬人的高仿生及達到虛擬世界的高效互動。　　

　　2. 快手面捕助手（KFC）

　　關於快手面捕助手的定義：KFC 是一款面向 UGC 的數字人驅動及開播的工具。

　　特點一：僅需一個普通的攝像頭即可實現頭部、肢體、手部的動作捕捉與驅動。

　　特點二：擁有豐富的預置模型，支援 DIY 捏臉，以及 Live2D、VRM 模型匯入等。

　　以下是快手面捕助手 KFC 的架構邏輯：

　　KFC 主要面向於卡通虛擬主播（娛樂、遊戲等），在互動層和能力層上也同樣有些許的差別，稍特殊的一點是掛件模式，掛件模式是指在最小化當前程式時，虛擬人仍能疊加在桌面上，可增強虛擬世界互動的體驗感和參與感，相比 KVS，KFC 的架構在中介軟體及基礎層是基本相同的。　　

　　 04 專案案例

　　第四部分會從幾個經典案例入手更加清晰的瞭解快手虛擬世界互動平臺的實際應用。

　　1. 案例一：主播與主播互動場景　　

　　虛擬主播同屏直播互動的核心點打破了時間和空間的限制，多位主播可以同時呈現在同一個數字空間中並進行相應的互動。PC 端和手機端都支援。

　　2. 案例二：主播與觀眾互動場景　　

　　虛擬主播+真人主播+觀眾虛擬化身雲蹦迪

　　真人主播和虛擬主播同屏共處的形式更能夠帶動使用者，增強使用者的體驗感。

　　虛擬/真人 IP+觀眾虛擬化身演唱會

　　此處的虛擬主播均為實時驅動和專業演繹，所以對於使用者反饋做出的反應也是即時且深度的，可加深使用者的互動性和參與度。

　　3. 案例三：其他創新場景　　

　　真人 IP+觀眾虛擬化身互動劇

　　主播+觀眾虛擬化身互動

　　此處的互動劇是指使用者可以充分參與到該活動中來，並且主播會根據觀眾的一些行為反饋來解鎖不同分支的劇情走向從而形成不同的故事結局。基於虛擬化身的互動則可以拉近主播和觀眾的距離，營造更加個性化的體驗。

　　無論從內容效果還是呈現方式上，都體現出基於直播形式的虛擬世界互動的場景在未來具有著巨大的想象空間和發展前景。

　　 05 總結與展望

　　第五部分會從綜合角度出發探討虛擬世界的後續發展。

　　1. 內容形態迭代

　　內容形態的迭代發展由過去的文字影像內容，逐漸演進至今日影片和直播的形式。未來以 XR 作為新媒介衍生的新內容形式，其沉浸感和互動性會呈指數型增長，我們相信相關的研究領域中仍存在著待挖掘的巨大價值。

　　2. 資源整合實現共贏

　　快手作為以使用者為核心、影片和內容為驅動力的社群開放平臺的產品，整合資源共同挖掘數字人和 XR 內容的潛力，對於快手生態來說具有重要意義。我們歡迎各個領域的生態合作伙伴和我們一起合作共建共贏。也歡迎在數字人及 XR 方面有需求的客戶聯絡我們，試用和採買我們的解決方案。