- 原文地址：Using iPhone X With Maya For Quick And Cheap Facial Capture
- 原文作者：IAN HAMILTON
- 譯文出自：掘金翻譯計劃
- 本文永久連結：github.com/xitu/gold-m…
- 譯者：ALVINYEH
- 校對者：luochen1992、melon8
iPhone X 能否成為一個快速、廉價、簡單的面部捕捉系統？大約在一個月前，Kite & Lightning 的科裡·斯特拉斯伯格收到了蘋果公司的一部 iPhone X。不到一天，他就在用 TrueDepth 相機和 ARKit 來測試軟體。他想看看這臺手機是否可以用於他們的遊戲和電影內容。
Kite & Lightning 是 Oculus VR 開發工具包早期的創新者，還使用一些引人注目的人物捕捉技術構建了像 Senza Peso 那樣等突破性的體驗。現在，他們正在建造巴比倫皇家戰役。遊戲圍繞著這些有巨大態度的 “beby” 角色展開。他想知道是否可以通過使用 iPhone X 面部捕捉來更快更廉價地完成賦予這些角色一個比較大的個性，他在週末花一些時間在上面。
“我認為目前我得出的一個重大結論是：iPhone X 所捕獲資料非常微妙、穩定而且不會過度平滑”，斯特拉斯伯格在一封電子郵件中寫道：“它實際上能夠捕捉到非常微妙的動作，甚至是微小的抽搐，它已經足夠乾淨(無噪音)，可以在手機上直接使用，當然這取決於你的標準。”
他認為這是一種相對便宜的面部捕捉的可行方法。該系統也是可移動的，可以使它更容易建立和部署。蘋果收購了一家名為 Faceshift 的公司，該公司似乎為這項功能提供了很大的動力。雖然斯特拉斯伯格指出 Faceshift 的解決方案還有其他一些很酷的功能，但他已經能夠用蘋果所釋出的 iPhone X 提取出足夠的表現力，這可能對虛擬現實的製作仍然是有用的。
- YouTube 視訊連結：https://youtu.be/w047Dbo-fGQ
捕捉過程
下面是斯特拉斯伯格概述為了獲取 iPhone X 的面部捕捉資料，並用它來啟用動畫角色在 Maya 中的表情全過程：
- 使用蘋果 ARKit 和 Unity，我匯入了一個正在開發中的 Bebylon 角色，並將其面部表情混合形狀和 ARKit 輸出的面部捕捉資料掛鉤。 這讓我可以根據自己的表情來驅動嬰兒的臉部動畫。
- 我需要捕捉這個表情資料，以便匯入到 Maya 中。我新增了一個記錄函式，將面部表情資料傳入文字檔案中。然後儲存在本地的 iPhone 上。捕獲的每一個表情從起始到停止都會被存成一個單獨的文字檔案，並且可以在捕獲應用程式中命名或重新命名。
- 我通過 USB 將文字檔案從 iPhone X 複製到桌面。
- 為了匯入到 Maya 中，捕捉的資料需要重新格式化，因此我編寫了一個簡單的桌面應用程式來實現這一點。它能夠獲取所選的文字檔案並將它們轉換為 Maya .anim 檔案。
- 我將 .anim 檔案匯入到 Maya 和 voila 中，你的角色會模仿你在捕捉過程中在 iPhone 看到的自己的樣子。
據斯特拉斯伯格所說，他看到資料中出現了幾個小漏洞，認為可能是他的程式碼所造成的。此外，儘管捕獲發生在 60 幀每秒，但是這個過程目前呈現在 30 幀每秒，所以你可以看到一些質量上的損失。根據斯特拉斯伯格的說法，這一點在“馬脣”部分中最為顯著。
“這個系統真正的美妙之處在於它非常快和容易捕捉(就在你的手機上)，然後匯入到 Maya 或遊戲引擎中，”斯特拉斯伯格寫道：“在任何時候都沒有涉及到真正的處理過程，資料看起來也很乾淨，並且可以直接通過手機來使用未經修改的資料。”
下一步
斯特拉斯伯格希望能將 iPhone X 安裝在頭盔上，然後同時用 Xsens 套裝進行全身運動，同時還能人臉捕捉。
“我非常有信心，通過調整形狀融合變形器的引數雕塑造型，以及新增適當的皺紋貼圖，可以在臉部動畫時使皮膚變形，從而能夠顯著改善 beby 這個角色。”斯特拉斯伯格寫道：“同樣，使用捕捉到的資料來驅動次級混合變形，表情將感覺更有活力和生動。”
掘金翻譯計劃 是一個翻譯優質網際網路技術文章的社群，文章來源為 掘金 上的英文分享文章。內容覆蓋 Android、iOS、前端、後端、區塊鏈、產品、設計、人工智慧等領域，想要檢視更多優質譯文請持續關注 掘金翻譯計劃、官方微博、知乎專欄。