SIGGRAPH2024｜上科大、影眸聯合提出DressCode：從文字生成3D服裝板片 机器之心 發表於2024-06-16
AIxiv專欄是機器之心 釋出學術、技術內容的欄目。過去數年，機器之心 AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 3D生成是生成式人工智慧 和計算機圖形 學領域最引人注目的話題之一，符合影視、遊戲標準的3D生成尤其受產業界關注。在生產流程中，一般品類的3D資產往往透過手工建模或者掃描的方式製作。但作為3D資產的一個重要類別，服裝資產的往往來源於平皮膚片與物理模擬等流程，而不是直接在3D上建模。 上海科技大學、影眸科技與賓夕法尼亞大學聯合提出DressCode，它是首個完全支援 CG 操作，能夠相容到工業流程的 3D 服裝生成框架，並透過文字的引導，實現自動生成具有高質量渲染效果、可編輯、可驅動、可模擬的 3D 服裝。 計算機圖形 領域國際頂級期刊 Transactions on Graphics 接收，並將在國際計算機圖形 頂級會議 SIGGRAPH 2024 上展示。專案連結：https://sites.google.com/view/projectpage-dresscode 論文連結：https://arxiv.org/abs/2401.16465 服裝在人類外觀中扮演著重要角色，這突顯了服裝數字化對於數字人創造的重要性。近期在 3D 內容創造領域的巨大進展對於數字人的創造至關重要。 然而，對於服裝生成的工作仍有空缺，由於通用生成方法生成的網格或神經場與實際數字服裝生產流程不相容，使這類方法直接應用於服裝類別並未能達到很好的效果。 為了解決這些問題，來自影眸科技與上海科技大學的研發團隊提出了一個文字驅動的 3D 服裝生成框架——DressCode，旨在為初學者設計數字服裝簡單化，並在時尚設計、虛擬試穿和數字人創造提供巨大潛力。 該框架可以透過自然語言互動生成對 CG 流程友好的服裝模型，並且還便於版片補全和紋理編輯， 透過使用者友好的互動簡化了設計過程。本文將對 DressCode 的主要功能進行詳細介紹，並探討其在實際設計場景中的應用前景。 對於版片生成模組，該論文提出了 SewingGPT ，這是一個基於 GPT 的自迴歸模型 ，用於透過文字提示生縫紉版片。其首先將縫紉版片引數 轉換為一系列量化 的token，訓練了一個 Decoder-only Transformer。並透過在Transformer中融合使用文字提示詞的交叉關注力，來達到用文字來引導生成結果。 訓練完成後，該模型可以根據使用者條件自迴歸地生成token序列，並將生成的序列經過反向量化 來得到生成的縫紉版片引數 。 藉助 SewingGPT，該框架能夠直接從文字提示中生成多樣化的縫紉版片。由於材質貼圖在 CG 流程中非常關鍵，該框架為這些版片生成相應的基於物理的紋理，更緊密地與服裝設計工作流程相契合。 作者們提出的DressCode框架，透過利用 SewingGPT 和 PBR 紋理生成器來生成3D服裝的幾何部分與紋理部分，並且進一步利用大型語言模型 透過自然語言互動為使用者建立定製服裝。 在實現透過文字提示生成縫紉版片和紋理之後，為了在實際場景中使設計師能夠使用自然語言與生成器互動，而不是依賴於資料集格式的提示，作者們採用 GPT-4 進行內容學習，以解釋使用者的自然語言輸入，生成幾何提示詞和紋理提示詞。 這些提示詞輸入到 SewingGPT 和 PBR 紋理生成器後，得到生成的縫紉版片與紋理，並經過模擬、渲染得到最終的結果。同時，生成的服裝以及 PBR 紋理可以被無縫整合到工業軟體中，可以與人體模型進行動畫驅動，並在各種照明下進行渲染，確保生動、逼真的效果。
得益於自迴歸模型 ，SewingGPT可以透過利用模型提供的機率預測，在接收到部分版片資訊後補全整個縫紉版片。此外，輸入一個文字提示可以指導模型補全縫紉版片。如給定一個袖子後， 該模型能夠根據不同的提示補全完成各種縫紉版片。這使得使用者能夠手動設計部分版片，利用 SewingGPT 進行靈感激發並基於文字提示來補全服裝。 在近期大多 3D 生成任務中，無法產生結構化的 UV 對映 是對實際應用場景一個重大障礙，尤其是在生成服裝時，使其無法用於實際設計場景。本文提出的生成方法，利用縫紉版片表示，使得能夠建立每個版片獨特且結構化的 UV 對映 。這也促使使用者可以在特定位置便捷得編輯紋理，支援對紋理貼圖進行高效的後處理。 DressCode 框架在與其他方法比較中取得了優異的成績，該框架作為第一個基於縫紉版片的服裝生成工作，能夠讓初學者和專業設計師都能透過簡單的文字提示生成高質量的縫紉版片和 PBR 紋理，使服裝設計流程大幅簡單化。 DressCode 的易用性和創新方法有望推動數字服裝的未來發展。這類以縫紉版片為基礎的生成任務，將推動虛擬試穿、時尚設計和數字人創造的數字服裝領域的發展，讓我們共同期待。 