3D建模服務（3D Modeling Kit）是HMS Core在圖形影像領域又一技術開放。3D建模產品的定位就是要做快速、簡潔、低成本的3D製作能力，並陸續開放給有3D模型、動畫遊戲製作等能力訴求的開發者。開發者無需特殊硬體（RGBD\LiDAR等）也可以利用拍攝影像之間共視資訊匹配，估算出深度資訊並完成採集。
3D建模服務已經開放了物體建模的能力，還有平面的材質生成和動作捕捉三大核心能力，接下來還會對人體的建模以及面部捕捉做進一步的能力開放。下面就來為開發者們分享介紹一下。
一、3D物體建模能力
（1）3D物體建模能力介紹
3D物體建模的能力。不同於傳統的建模師用3D軟體製作模型的方式，或是通過掃描器進行建模的方式，我們的定位是要做移動端快速的、低成本UDC的生產，只需普通RGB相機，通過拍攝物體不同角度的多張影像，上傳到雲端，即可實現物體3D幾何模型和紋理的自動化生成。硬體要求上，當前我們支援安卓和iOS，WEB APR，形成全終端的支援形態。
對於支援的類別。因為這是通過拍照攝影的方法，所以就要求這個物體的紋理需要儘量豐富、不反光、尺寸中等、剛體，典型物體包括：商品類的毛絨玩具、包、鞋子等，傢俱類的比如沙發、抱枕，文物類可以是青銅器、石器、木器等。
支援物體尺寸大概是在10立方厘米和2立方米之間，當然物理尺寸更大也是能建模的，只是建模的時間會更長一點。如果建模的圖片在1080P的解析度，整個建模時長大概在5分鐘以內，最後輸出的格式也是標準的3D模型的格式，包括obj和gltf的格式。最後比較重要的一點，就是支撐這個能力的SDK包只有83K的大小，對於我們APP開發者們來說是非常友好的。
（2）3D物體建模採集方法建議
如果開發者想建一個比較完整的模型，對採集條件還是有一定要求的。
第一，環境。建議將單一的採集物體靜置於純色的平面上。
第二，光照。光照需柔和，避免燈光過暗，或某一面有強烈的陰影。
第三，拍攝。要對焦，覆蓋均勻而足夠的多視角，含仰視、平視、俯視角度共50張以上，相機移動儘可能緩慢。
第四，採集過程。相鄰照片至少有70%-80%的重疊，展示儘量大且完整，要求儘量保證拍攝無虛焦、運動模糊、抖動模糊。
最後一點，物體的底部可以通過翻轉續拍去建立，實現物體完整模型的呈現。
（3）應用場景
對於物體建模，比較典型就是電商的場景。下圖是我們做的關於鞋子的建模和文物的建模，我們放置了一個小型的轉盤，再放了一個小型的燈箱，然後按照以上方式就可以實現建模。相較2D的商品展示，3D的展示可以給使用者帶來更好的體驗，在電商行業，3D商品展示可以提供差異化體驗，通過“看、試、穿、戴”等模擬方式提升使用者轉化，在文博行業，文物經三維數字化建模後，可應用於文物數字儲存及多媒體展示。
二、平面材質的生成
（1）三維材質定義
第二個能力是平面材質的生成。圖形學中的表觀(Appearance)又稱材質，是描述光線如何在物體表面和內部進行互動的一種性質，由材質模型和一組控制引數來定義表面外觀。從下組圖可以看出，左邊的圖，如果不仔細看，對整個場景的感受非常弱，但如果把牆面、地面、油桶、桌面，這些材料加上去以後，真實感立刻顯示出來了。
在材質製作過程中，開發者和使用者有哪些痛點呢？
第一，從現實世界採集的紋理通常需要經過美術用專業軟體處理，才能用於渲染中取得真實感效果。比如去除光照影響、調整凸凹、尺度等處理，過程耗時、費力且難以標準化；第二，傳統紋理貼圖處理效果嚴重依賴美術經驗和特定渲染器，紋理素材在不同專案和渲染器間複用困難，專案積累少、製作成本居高不下。
為了解決這些痛點，我們提供兩種思路：
第一種，利用深度學習推理網路，一鍵生成符合PBR標準的紋理要素，提升紋理製作效率和質量；第二種，將技術美術的經驗和製作規範固化為遵循PBR標準的資料，通過資料在不同專案和渲染器間複用素材，傳承美術製作經驗。
（2）材質生成能力介紹
材質生成能力提供將RGB影像轉換為PBR材質的能力，僅需要拍攝一張或多張RGB圖片，便可一鍵生成五種材質貼圖。
使用該能力只需要普通RGB手機，不要求ToF或LiDAR，支援安卓所有機型；支援的材質型別，主要包括混凝土、大理石、岩石、碎石、磚、石膏、黏土、金屬、木材、樹皮、皮革、織物、漆面、塑料、合成材料等材質；支援diffuse map, normal map, specular map, roughness map，height map貼圖型別；對於輸入影像的解析度，當前已經能支援1k~8k貼圖的輸出，輸入影像中需無接縫、無亮斑、陰影、倒影；對於最終制作效果，通過SSIM的評價指標評價，約大於0.9，效果是非常好的。
（3）材質庫
開發者可以根據需要使用種類豐富的材質庫，可以根據需求篩選場景和種類並提供1k-8k解析度的的PBR材質貼圖，同時，支援查詢、預覽和下載等功能，
三、動作捕捉能力
剛剛釋出的動作捕捉能力是通過普通單目攝像頭輸入連續視訊幀或RGB影像，精準快速估計24個人體骨骼關鍵點的三維資訊。開發者整合也只需要用到普通的手機，輸入視訊流或影像，就可以估計出人體骨骼，可以支援站立、行走、舞蹈、蹲、側身、彎腰等常見動作。
視訊流、RGB影像的輸入格式，建議視訊中圖片解析度不小於320320 px，解析度過低影響檢測精度。同時解析度不高於19201080 px，解析度過高會影響檢測幀率。輸出的格式也比較重要，動作捕捉能力可以同時輸出24個人體骨骼關鍵點的四元數和3D座標，在一些引擎裡面，直接可以驅動匹配。
瞭解更多詳情>>
訪問華為開發者聯盟官網
獲取開發指導文件
華為移動服務開源倉庫地址：GitHub、Gitee
關注我們，第一時間瞭解 HMS Core 最新技術資訊~