問耕 發自 凹非寺
量子位 出品 | 公眾號 QbitAI

“This breaks my brain.”

目睹了GDC大會期間的一幕時，有人發出上面這句感嘆。如果翻譯成中文，應該就是兩個字：“炸裂”。

讓人驚歎的，是一個名為Siren的數字人類。

這個基於計算機視覺等技術構建的虛擬小姐姐，擁有逼真的眼睛、皮膚和頭髮……細節方面達到了前所未有的程度。

但絕不僅是細節讓人驚歎這麼簡單。

Siren背後的系統，還具備強大的人類表情動作實時捕捉以及合成技術。

幹講沒意思，一起感受下GDC現場：

沒錯，就是你看到的這樣。

一個真實的女性人類在現場侃侃而談，她的表情、動作、聲音，被實時的賦予身後大螢幕上的女性數字人類Siren。

這就是開頭提及的炸裂一幕。

實際上，Siren這位小姐姐的容貌身形，也不是憑空虛構出來。而是一位來自中國的演員：姜冰潔。

而負責現場演示的是英國演員Alexa Lee，她的表情和聲音，被頭戴裝置捕捉之後，與姜冰潔的外貌進行合成，最後就成了Siren。

這個過程，是這個樣子：

簡而言之，就是這樣一個“換臉”過程。

說個花絮，其實Alexa Lee說她體驗到Siren後，自己也嚇了一跳。Siren的聲音表情跟她一樣，但是臉卻是姜冰潔的樣子。

整個合成的動作在15毫秒內完成。

這個專案是Epic Games聚光燈計劃（Project Spotlight）的一部分，這個計劃意在虛擬環境中構建一個真實世界。

所有Siren的演示，都是以每秒60幀的速度執行在虛幻引擎中。“建立一個可以實時互動、讓人信任的數字角色，是近年來計算機圖形行業最激動人心的事情之一，”Epic Games技術長表示。

這裡解釋一下Siren這個名字。

其實，塞壬（Siren）是希臘神話中的海妖，慣以美妙的歌聲引誘水手，使他們的船隻或觸礁或駛入危險水域。這個詞也有汽笛、妖冶而危險的女人等意思。

幕後公司

但Siren並不是某一個公司的功勞。

除了上面提到的Epic Games，參與這個專案的還包括擁有最先進面部掃描技術的3Lateral，提供了實時面部解算；Vicon提供人體動作捕捉系統；以及騰訊旗下游戲工作室Next Studio等。

這是一個通力合作的專案，不過Epic Games特別強調，在GDC 2018大會上，他們最想測試Cubic Motion臉部捕捉系統的潛力。

“Cubic Motion突破性的計算機視覺和麵部動畫技術是我們取得成功的關鍵之一，”還是Epic Games技術長說。

這家被重點提及的公司，創立於2009年。現任CEO為Gareth Edwards，他是一位計算機視覺和AI技術專家。

Cubic Motion的計算機視覺技術，能以每秒90幀的速度跟蹤200多種面部特徵，並將這些資料實時對映到高解析度的數字角色身上。

Alexa Lee戴的頭盔，就是來自Cubic Motion。

另外，Vicon提供的是全新的Shōgun 1.2軟體、Vantage光學動作捕捉系統、VUE視訊攝像頭。所有這些將Alexa Lee的肢體動作，直接解析到Siren的身上，手指的部分還用了一種更逼真還原的演算法。

當然，虛幻引擎的光效也功不可沒。

至於騰訊。

實際上，Siren專案始於Epic Games和騰訊之間的合作，目的是通過一個概念驗證演示，以展示虛幻引擎4的實力，以及下一代數字角色長什麼樣。

也就是說，今天Siren上的相關技術，未來可能會應用到騰訊的遊戲中。

如果你不熟悉這個領域，那麼需要說一下，Siren並不是憑空出現，只是這類技術的一個最新進展。同樣的原理，這種技術可以幫助電影、動畫、遊戲等行業降低生產成本，提高虛擬人物的親和力。

最後，來看一段Siren的自我介紹吧。

— 完 —

加入社群

量子位AI社群15群開始招募啦，歡迎對AI感興趣的同學，加小助手微信qbitbot6入群；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進群請加小助手微訊號qbitbot6，並務必備註相應群的關鍵詞~通過稽核後我們將邀請進群。（專業群稽核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話介面，回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態