[3D建模服務](https://developer.huawei.com/consumer/cn/hms/huawei-3d-modeling?ha_source=hms1)（3D Modeling Kit）是HMS Core在圖形影像領域又一技術開放。3D建模產品的定位就是要做快速、簡潔、低成本的3D製作能力，並陸續開放給有3D模型、動畫遊戲製作等能力訴求的開發者。開發者無需特殊硬體（RGBD\LiDAR等）也可以利用拍攝影像之間共視資訊匹配，估算出深度資訊並完成採集。

[3D建模服務](https://developer.huawei.com/consumer/cn/hms/huawei-3d-modeling?ha_source=hms1)已經開放了物體建模的能力，還有平面的材質生成和動作捕捉三大核心能力，接下來還會對人體的建模以及面部捕捉做進一步的能力開放。下面就來為開發者們分享介紹一下。

## 一、3D物體建模能力

### （1）3D物體建模能力介紹

[3D物體建模](https://developer.huawei.com/consumer/cn/hms/huawei-3d-modeling?ha_source=hms1)的能力。不同於傳統的建模師用3D軟體製作模型的方式，或是透過掃描器進行建模的方式，我們的定位是要做移動端快速的、低成本UDC的生產，只需普通RGB相機，透過拍攝物體不同角度的多張影像，上傳到雲端，即可實現物體3D幾何模型和紋理的自動化生成。硬體要求上，當前我們支援安卓和iOS，WEB APR，形成全終端的支援形態。

對於支援的類別。因為這是透過拍照攝影的方法，所以就要求這個物體的紋理需要儘量豐富、不反光、尺寸中等、剛體，典型物體包括：商品類的毛絨玩具、包、鞋子等，傢俱類的比如沙發、抱枕，文物類可以是青銅器、石器、木器等。

![](https://oscimg.oschina.net/oscnet/up-c52ce352abb703bc894772a1b951ba74857.gif)

支援物體尺寸大概是在10立方厘米和2立方米之間，當然物理尺寸更大也是能建模的，只是建模的時間會更長一點。如果建模的圖片在1080P的解析度，整個建模時長大概在5分鐘以內，最後輸出的格式也是標準的3D模型的格式，包括obj和gltf的格式。最後比較重要的一點，就是支撐這個能力的SDK包只有83K的大小，對於我們APP開發者們來說是非常友好的。

### （2）3D物體建模採集方法建議

如果開發者想建一個比較完整的模型，對採集條件還是有一定要求的。

**第一，環境**。建議將單一的採集物體靜置於純色的平面上。

**第二，光照**。光照需柔和，避免燈光過暗，或某一面有強烈的陰影。

**第三，拍攝**。要對焦，覆蓋均勻而足夠的多視角，含仰視、平視、俯視角度共50張以上，相機移動儘可能緩慢。

**第四，採集過程**。相鄰照片至少有70%-80%的重疊，展示儘量大且完整，要求儘量保證拍攝無虛焦、運動模糊、抖動模糊。

最後一點，**物體的底部可以透過翻轉續拍去建立，實現物體完整模型的呈現**。

### （3）應用場景

對於物體建模，比較典型就是電商的場景。下圖是我們做的關於鞋子的建模和文物的建模，我們放置了一個小型的轉盤，再放了一個小型的燈箱，然後按照以上方式就可以實現建模。相較2D的商品展示，3D的展示可以給使用者帶來更好的體驗，在電商行業，3D商品展示可以提供差異化體驗，透過“看、試、穿、戴”等模擬方式提升使用者轉化，在文博行業，文物經三維數字化建模後，可應用於文物數字儲存及多媒體展示。

![](https://oscimg.oschina.net/oscnet/up-84decd742f1444e8c2bf1e0fe3bc58bd007.gif)

## 二、平面材質的生成

### （1）三維材質定義

第二個能力是平面材質的生成。圖形學中的表觀(Appearance)又稱材質，是描述光線如何在物體表面和內部進行互動的一種性質，由材質模型和一組控制引數來定義表面外觀。從下組圖可以看出，左邊的圖，如果不仔細看，對整個場景的感受非常弱，但如果把牆面、地面、油桶、桌面，這些材料加上去以後，真實感立刻顯示出來了。

![](https://oscimg.oschina.net/oscnet/up-5f3af0fd778daee4212ef65ab12cd730c05.png)

在材質製作過程中，開發者和使用者有哪些痛點呢？

**第一，從現實世界採集的紋理通常需要經過美術用專業軟體處理，才能用於渲染中取得真實感效果**。比如去除光照影響、調整凸凹、尺度等處理，過程耗時、費力且難以標準化；**第二，傳統紋理貼圖處理效果嚴重依賴美術經驗和特定渲染器，紋理素材在不同專案和渲染器間複用困難，專案積累少、製作成本居高不下**。

為了解決這些痛點，我們提供兩種思路：

**第一種，利用深度學習推理網路**，一鍵生成符合PBR標準的紋理要素，提升紋理製作效率和質量；**第二種，將技術美術的經驗和製作規範固化為遵循PBR標準的資料**，透過資料在不同專案和渲染器間複用素材，傳承美術製作經驗。

### （2）材質生成能力介紹

材質生成能力提供將RGB影像轉換為PBR材質的能力，僅需要拍攝一張或多張RGB圖片，便可一鍵生成五種材質貼圖。

使用該能力只需要普通RGB手機，不要求ToF或LiDAR，支援安卓所有機型；支援的材質型別，主要包括混凝土、大理石、岩石、碎石、磚、石膏、黏土、金屬、木材、樹皮、皮革、織物、漆面、塑膠、合成材料等材質；支援diffuse map, normal map, specular map, roughness map，height map貼圖型別；對於輸入影像的解析度，當前已經能支援1k~8k貼圖的輸出，輸入影像中需無接縫、無亮斑、陰影、倒影；對於最終制作效果，透過SSIM的評價指標評價，約大於0.9，效果是非常好的。

### （3）材質庫
開發者可以根據需要使用種類豐富的材質庫，可以根據需求篩選場景和種類並提供1k-8k解析度的的PBR材質貼圖，同時，支援查詢、預覽和下載等功能，

## 三、動作捕捉能力
剛剛釋出的動作捕捉能力是透過普通單目攝像頭輸入連續影片幀或RGB影像，精準快速估計24個人體骨骼關鍵點的三維資訊。開發者整合也只需要用到普通的手機，輸入影片流或影像，就可以估計出人體骨骼，可以支援站立、行走、舞蹈、蹲、側身、彎腰等常見動作。

影片流、RGB影像的輸入格式，建議影片中圖片解析度不小於320*320 px，解析度過低影響檢測精度。同時解析度不高於1920*1080 px，解析度過高會影響檢測幀率。輸出的格式也比較重要，動作捕捉能力可以同時輸出24個人體骨骼關鍵點的四元數和3D座標，在一些引擎裡面，直接可以驅動匹配。

**瞭解更多詳情>>**

訪問[華為開發者聯盟官網](http://developer.huawei.com/consumer/cn/hms?ha_source=hms1)  
獲取[開發指導文件](http://developer.huawei.com/consumer/cn/doc/development?ha_source=hms1)  
華為移動服務開源倉庫地址：[GitHub](http://github.com/HMS-Core)、[Gitee](http://gitee.com/hms-core)

**關注我們，第一時間瞭解 HMS Core 最新技術資訊~**

3D建模服務提供更高效、專業的3D製作能力，“築”力開發者

相關文章