操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

機器之心發表於2020-05-10
動畫

在動畫製作中，骨架繫結（Rigging）與動畫密切相關。

什麼是動畫骨架繫結呢？基於 3D 蒙皮建立骨骼。動畫模型中的關節就像現實中人的關節一樣，兩個關節組成一段骨骼，幾段骨骼組成一個骨架。繫結就是把模型繫結到骨骼上邊，透過骨骼來控制模型的運動。

如下圖所示，綠色球即為關節，藍色線段為骨骼，多個骨骼構成了骨架。

操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

給定 3D 角色蒙皮，RigNet 生成動畫骨骼和蒙皮權重。

Rigging 本身是一項專門技術，骨架繫結結果的好壞對動畫的質量有很大影響。那麼，有沒有什麼辦法可以簡化該過程呢？

最近，來自馬薩諸塞大學阿默斯特分校和多倫多大學的研究者提出了一種基於輸入角色模型生成動畫骨架繫結結果的端到端自動化方法 RigNet，並以其優秀效果在 reddit 上引發大量關注。

我們先來看 RigNet 的效果：

操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

圖中角色動作敏捷，關節活動自然，左搖右晃時身體協調性也不錯。

操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

走路、蹦跳、前躍、跳舞、飛翔，這些角色的動作都很自然。

以及找亮點！有沒有發現加魯魯獸？

reddit 網友紛紛表示「效果很好，求程式碼」。

  • 論文連結：https://arxiv.org/abs/2005.00559

  • 專案頁面：https://zhan-xu.github.io/rig-net/

  • 程式碼（暫未釋出）：https://github.com/zhan-xu/RigNet

瞭解了效果，接下來我們來看看 RigNet 是如何做到的。
給出表示某個鉸接式角色的 3D 模型作為輸入，RigNet 能夠預測角色的骨架，且骨架的關節位置和拓撲結構與動畫師的預期相匹配。此外，RigNet 還可以基於預測的骨架估計蒙皮權重。
該方法基於深度架構構建而成，此架構可以直接在蒙皮（mesh）表徵上執行，無需對形狀類別和結構進行假設。該架構的訓練資料包含大量不同的骨架繫結模型，及其蒙皮、骨架和對應的蒙皮權重。

端到端自動動畫骨架繫結方法：RigNet

給定某個角色的 3D 蒙皮作為輸入，RigNet 可以基於其底層關節結構和幾何來預測動畫骨架和蒙皮。動畫師可對骨架和蒙皮權重進行編輯，以便透過標準建模和動畫製作流程進行細化。

RigNet 的整體架構如下圖 4 所示，它可以直接在蒙皮表徵上執行，在訓練或測試過程中無需事先了解角色的類別、部件結構或骨骼關節類別。該方法唯一需要的假設是，輸入訓練和測試形狀需要具備一致的方向：直立、面朝前方。

操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

圖 4：（上）RigNet 流程概覽。（下）GMEdgeNet 架構及其圖卷積層（GMEdgeConv）。

上圖展示了 RigNet 方法的流程：

  1. 給定一個輸入 3D 模型，使用圖神經網路 GMEdgeNet 預測頂點相對相鄰關節發生的變化；

  2. 使用另一個具備分離引數的 GMEdgeNet 網路，預測蒙皮的注意力函式，這有助於找出與關節預測更為相關的區域（紅色越重表示注意力越強，替換後的頂點也會根據注意力著色）；

  3. 受蒙皮注意力的驅動，聚類模組檢測出所有關節，即圖中綠色球；

  4. 現在關節已經檢測出來了，使用神經模組 BoneNet 來預測每對關節的相連機率；

  5. 使用另一個模組 RootNet 提取根關節（root joint）；

  6. 最小生成樹（MST）演算法利用 BoneNet 和 RootNet，構建動畫骨架；

  7. 最後，GMEdgeNet 模組基於預測到的骨架生成蒙皮權重。

骨骼關節預測

該架構的第一個模組用於預測關節位置，可用於後續的動畫骨架生成。它學習替換候選關節位置的蒙皮幾何（圖 4a）。該模組基於圖神經網路構建，從蒙皮中提取拓撲和幾何特徵，以學習這些替換。

在這一階段，該架構的主要思路是：學習輸入蒙皮的權重函式，用於找出與關節位置更相關的區域（圖 4b）。實驗表明，這帶來了更加精確的骨架。替換後的蒙皮幾何能夠圍繞候選關節位置形成集簇。

研究者提出一種可微聚類機制，利用神經蒙皮注意力來提取關節位置（圖 4c）。

骨骼連線預測

該架構的第二個模組學習哪些關節對應該與骨骼相連。

該模組以之前步驟中得到的預測關節作為輸入，包括學得的形狀和骨骼表徵，然後輸出每個關節對是否與骨骼相連的機率（圖 4d）。

研究者發現，學得的關節和形狀表徵對於骨骼估計很重要，因為骨骼連線不僅依賴關節位置，還依賴整體的形狀和骨骼幾何。

接下來，將得到的骨骼機率作為最小生成樹的輸入，即使用機率最高的骨骼構建樹結構骨架。該步驟從另一個神經模組得到的根關節開始（圖 4e）。

操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

該階段所使用模組 BoneNet 的架構。

蒙皮預測

給定預測到的骨架（圖 4f），該架構中的最後一個模組為每個蒙皮頂點生成權重向量，用以表示不同骨骼對頂點的影響程度（圖 4g）。雖然該研究提出的方法受到 NeuroSkinning 的啟發，但在架構、骨骼和形狀表徵、從頂點到骨骼的體積測地距離使用方面都有重要差別。

訓練和泛化

該架構使用了多個損失函式進行訓練，這些損失函式用來衡量關節位置偏移、骨骼連線和蒙皮權重差異。

訓練輸入角色不管從結構、數量還是移動部分的幾何來看都具備極大的多樣性，如人形物、二足動物、四足動物、魚、玩具、虛構角色等。同樣地，測試集也具備類似的多樣性。

研究者觀察到，該方法能夠泛化到具備不同數量關節部位的角色中。

操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

圖 10：該方法基於測試模型得到的不同結構和形態的骨骼。

效果怎麼樣

研究者對他們提出的方法與其他用於動畫骨架和蒙皮預測的方法進行了定量和定性評估。下表 1 展示了不同方法之間骨架提取的評估度量。本研究提出的方法在所有度量上均優於其他方法。

操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

表 1：與其他骨架預測方法的比較。

操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

圖 8：與其他骨架提取方法的效果對比圖。

下表 2 展示了蒙皮的評估度量。結果顯示，該研究提出的方法在所有度量上均優於 BBW、GeoVoxel 和 NeuroSkinning 方法。

操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

表2：與其他蒙皮預測方法的比較。


操縱加魯魯獸的機會來了，SIGGRAPH論文提出RigNet幫動畫師做骨架繫結

圖 9：與其他蒙皮預測方法的效果對比圖。

作者簡介

該研究的作者為 ZHAN XU、YANG ZHOU、EVANGELOS KALOGERAKIS、CHRIS LANDRETH 和 KARAN SINGH，來自馬薩諸塞大學阿默斯特分校和多倫多大學。

其中第一作者 ZHAN XU 是馬薩諸塞大學阿默斯特分校的博士在讀學生，導師為 Evangelos Kalogerakis。研究方向為視覺計算，計算機圖形學、計算機視覺和機器學習的交叉領域。

第二作者 Yang Zhou 本科畢業於上海交大，導師為林巍嶢教授。現在馬薩諸塞大學阿默斯特分校讀博，導師為 Evangelos Kalogerakis。其研究方向為計算機圖形學和機器學習，研究興趣是：利用深度學習技術幫助藝術家、動畫師做出更好的設計。

前不久他和 Adobe、虎牙的研究人員合作提出了一種使單張照片張嘴說話的新方法 MakeItTalk，該方法不僅能讓真人頭像說話，還可以讓卡通、油畫、素描、日漫中的人像說話（參見論文《MakeItTalk: Speaker-Aware Talking Head Animation》）。


本文為機器之心編譯，轉載請聯絡本公眾號獲得授權。
✄------------------------------------------------
加入機器之心（全職記者 / 實習生）：hr@jiqizhixin.com
投稿或尋求報導：content@jiqizhixin.com
廣告 & 商務合作：bd@jiqizhixin.com

相關文章