論文連結：https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf
專案主頁：https://peizhuoli.github.io/neural-blend-shapes/
GitHub程式碼倉庫：https://github.com/PeizhuoLi/neural-blend-shapes
01 引 言
骨骼驅動的三維人物動畫在遊戲、影視等應用場景中隨處可見。然而，使用骨骼驅動三維人物網格模型（mesh）進行變形並得到動畫，通常需要經歷繁瑣的骨骼搭建（rigging）以及蒙皮權重繫結（skinning）。這些處理技術複雜而艱深，動畫師通常需要數年的時間來嘗試掌握。此外，一些常見的特定動作，例如彎曲肘部、蹲下，由於常用的蒙皮技術（線性融合蒙皮，Linear Blend Skinning）的侷限性，關節區域的變形並不理想。
左：現有技術在關節區域的問題；右：本文技術生成的高質量且細節豐富的動畫
為了簡化骨骼搭建和蒙皮權重繫結的過程、高效利用動作捕捉資料以及生成高質量的動畫，我們開發了一套能生成具有指定結構的骨骼以及精準繫結權重的神經網路。加以我們提出的神經融合形狀（neural blend shapes）技術，我們實現了實時高質量三維人物模型動畫的端到端自動生成
方法概覽
02 方法簡介
從處於 T 姿態的人物模型以及在給定的骨骼結構上的關節旋轉開始，我們的包裹變形分支（envelope deformation branch）學習並預測出相應的骨骼以及蒙皮權重。與此同時，補償變形分支（residual deformation branch）預測出對應的融合形狀（blend shapes）並使用輸入的關節旋轉預測對應的融合係數，然後基於此插值得到補償變形。綜合以上中間結果，可微分包裹變形模組將生成最終的變形結果。這一設計使得我們的神經網路能夠透過僅觀察變形後的人物模型進行間接學習，而不需要對訓練資料集的變形方法有任何限制，極大增廣了該方法的適用範圍。
方法框架
我們的神經網路使用了網格卷積[1]和骨骼卷積[2]搭建各個模組。基於這些最前沿技術的基本運算元，我們的網路可以在具有任意網格連通性的人物模型上生成高質量的結果。下圖展示了我們的網路的具體架構：
包裹變形分支
補償變形分支
03 結果展示
我們的方法能準確的預測出與人物模型高度匹配的骨骼以及繫結權重：
骨骼以及繫結權重的視覺化
特別的，我們的方法能生成符合預先指定結構的骨骼，這一點在使用動作捕捉資料時尤為關鍵。而 RigNet[3]只提供了十分有限的使用者操縱引數，生成的骨骼結構難以控制：
從左至右分別為：RigNet(12), RigNet(25), RigNet(50), Ours
由於我們的神經網路直接在高質量變形模型上訓練，僅使用包裹變形分支就已經超過了基準的線性融合蒙皮技術。再加上我們的神經融合形狀技術，關節區域的變形結果便是更上一層樓：
動畫結果對比
參考：
[1] Hanocka et al., 2019, MeshCNN: A Network with an Edge
[2] Aberman et al., 2020, Skeleton-Aware Networks for Deep Motion Retargeting
[3] Xu et al., 2020, RigNet: Neural Rigging for Articulated Characters
圖文 | 李沛卓
Visual Computing and Learning (VCL)