頂點著色網格轉換為 UV 對映的紋理化網格

HuggingFace發表於2024-10-23

https://dylanebert-instanttexture.hf.space

簡介

頂點著色是一種將顏色資訊直接應用於網格頂點的簡便方法。這種方式常用於生成式 3D 模型的構建，例如 InstantMesh。然而，大多數應用程式更偏好使用 UV 對映的紋理化網格。

本教程將介紹一種快速的解決方案，將頂點著色的網格轉換為 UV 對映和紋理化的網格。內容包括 [簡短版](# 簡短版)，以幫助您迅速獲取結果，以及 [詳細版](# 詳細版)，提供深入的操作指導。

簡短版

安裝 InstantTexture 庫，以便捷地進行轉換。該庫實現了下面 詳細版 中描述的具體步驟。

pip install git+https://github.com/dylanebert/InstantTexture

用法

以下程式碼將頂點著色的 .obj 網格轉換為 UV 對映的紋理 .glb 網格，並將其儲存為 output.glb 檔案。

from instant_texture import Converter

input_mesh_path = "https://raw.githubusercontent.com/dylanebert/InstantTexture/refs/heads/main/examples/chair.obj"

converter = Converter()
converter.convert(input_mesh_path)

視覺化輸出的網格。

import trimesh

mesh = trimesh.load("output.glb")
mesh.show()

就是這樣！

如果需要更詳細的步驟，可以繼續閱讀下面的內容。

詳細版

首先安裝以下依賴項:

  • numpy 用於數值運算
  • trimesh 用於載入和儲存網格資料
  • xatlas 用於生成 UV 對映
  • Pillow 用於影像處理
  • opencv-python 用於影像處理
  • httpx 用於下載輸入網格
pip install numpy trimesh xatlas opencv-python pillow httpx

匯入依賴項。

import cv2
import numpy as np
import trimesh
import xatlas
from PIL import Image, ImageFilter

載入帶有頂點顏色的輸入網格。該檔案應為 .obj 格式，位於 input_mesh_path 。

如果是本地檔案，使用 trimesh.load() 而不是 trimesh.load_remote() 。

mesh = trimesh.load_remote(input_mesh_path)
mesh.show()

檢視網格的頂點顏色。

如果失敗，請確保網格是有效的 .obj 檔案，並且帶有頂點顏色。

vertex_colors = mesh.visual.vertex_colors

使用 xatlas 生成 UV 對映。

這是整個處理過程中的最耗時部分。

vmapping, indices, uvs = xatlas.parametrize(mesh.vertices, mesh.faces)

將頂點和頂點顏色重新對映到 UV 對映。

vertices = mesh.vertices[vmapping]
vertex_colors = vertex_colors[vmapping]

mesh.vertices = vertices
mesh.faces = indices

定義所需的紋理大小。

構造一個紋理緩衝區，透過 upscale_factor 以建立更高質量的紋理。

texture_size = 1024

upscale_factor = 2
buffer_size = texture_size * upscale_factor

texture_buffer = np.zeros((buffer_size, buffer_size, 4), dtype=np.uint8)

使用質心插值填充 UV 對映網格的紋理。

  1. 質心插值: 計算在由頂點 v0 、v1 和 v2 定義的三角形內的點 p 的插值顏色，分別對應顏色 c0 、c1 和 c2 。
  2. 點在三角形內測試: 確定點 p 是否位於由頂點 v0 、v1 和 v2 定義的三角形內。
  3. 紋理填充迴圈:
  • 遍歷網格的每個面。
  • 檢索當前面的 UV 座標 (uv0 , uv1 , uv2 ) 和顏色 (c0 , c1 , c2 )。
  • 將 UV 座標轉換為緩衝區座標。
  • 確定紋理緩衝區中三角形的邊界框。
  • 對於邊界框中的每個畫素，檢查該畫素是否在三角形內，使用點在三角形內測試。
  • 如果在內部，使用重心插值計算插值顏色。
  • 將顏色分配給紋理緩衝區中的相應畫素。
# Barycentric interpolation
def barycentric_interpolate(v0, v1, v2, c0, c1, c2, p):
    v0v1 = v1 - v0
    v0v2 = v2 - v0
    v0p = p - v0
    d00 = np.dot(v0v1, v0v1)
    d01 = np.dot(v0v1, v0v2)
    d11 = np.dot(v0v2, v0v2)
    d20 = np.dot(v0p, v0v1)
    d21 = np.dot(v0p, v0v2)
    denom = d00 * d11 - d01 * d01
    if abs(denom) < 1e-8:
        return (c0 + c1 + c2) / 3
    v = (d11 * d20 - d01 * d21) / denom
    w = (d00 * d21 - d01 * d20) / denom
    u = 1.0 - v - w
    u = np.clip(u, 0, 1)
    v = np.clip(v, 0, 1)
    w = np.clip(w, 0, 1)
    interpolate_color = u * c0 + v * c1 + w * c2
    return np.clip(interpolate_color, 0, 255)

# Point-in-Triangle test
def is_point_in_triangle(p, v0, v1, v2):
    def sign(p1, p2, p3):
        return (p1[0] - p3[0])*(p2[1] - p3[1]) - (p2[0] - p3[0])*(p1[1] - p3[1])

    d1 = sign(p, v0, v1)
    d2 = sign(p, v1, v2)
    d3 = sign(p, v2, v0)

    has_neg = (d1 < 0) or (d2 < 0) or (d3 < 0)
    has_pos = (d1 > 0) or (d2 > 0) or (d3 > 0)

    return not (has_neg and has_pos)

# Texture-filling loop
for face in mesh.faces:
    uv0, uv1, uv2 = uvs[face]
    c0, c1, c2 = vertex_colors[face]

    uv0 = (uv0 *(buffer_size - 1)).astype(int)
    uv1 = (uv1 *(buffer_size - 1)).astype(int)
    uv2 = (uv2 *(buffer_size - 1)).astype(int)

    min_x = max(int(np.floor(min(uv0[0], uv1[0], uv2[0]))), 0)
    max_x = min(int(np.ceil(max(uv0[0], uv1[0], uv2[0]))), buffer_size - 1)
    min_y = max(int(np.floor(min(uv0[1], uv1[1], uv2[1]))), 0)
    max_y = min(int(np.ceil(max(uv0[1], uv1[1], uv2[1]))), buffer_size - 1)

    for y in range(min_y, max_y + 1):
        for x in range(min_x, max_x + 1):
            p = np.array([x + 0.5, y + 0.5])
            if is_point_in_triangle(p, uv0, uv1, uv2):
                color = barycentric_interpolate(uv0, uv1, uv2, c0, c1, c2, p)
                texture_buffer[y, x] = np.clip(color, 0, 255).astype(
                    np.uint8
                )

讓我們視覺化一下目前的紋理效果。

from IPython.display import display

image_texture = Image.fromarray(texture_buffer)
display(image_texture)

Texture with holes

正如我們所看到的，紋理有很多空洞。

為了解決這個問題，我們將結合四種技術:

  1. 影像修復: 使用周圍畫素的平均顏色填充空洞。
  2. 中值濾波: 透過用周圍畫素的中值顏色替換每個畫素來去除噪聲。
  3. 高斯模糊: 平滑紋理以去除任何剩餘噪聲。
  4. 降取樣: 使用 LANCZOS 重取樣縮小到 texture_size 。
# Inpainting
image_bgra = texture_buffer.copy()
mask = (image_bgra[:, :, 3] == 0).astype(np.uint8)* 255
image_bgr = cv2.cvtColor(image_bgra, cv2.COLOR_BGRA2BGR)
inpainted_bgr = cv2.inpaint(
    image_bgr, mask, inpaintRadius=3, flags=cv2.INPAINT_TELEA
)
inpainted_bgra = cv2.cvtColor(inpainted_bgr, cv2.COLOR_BGR2BGRA)
texture_buffer = inpainted_bgra[::-1]
image_texture = Image.fromarray(texture_buffer)

# Median filter
image_texture = image_texture.filter(ImageFilter.MedianFilter(size=3))

# Gaussian blur
image_texture = image_texture.filter(ImageFilter.GaussianBlur(radius=1))

# Downsample
image_texture = image_texture.resize((texture_size, texture_size), Image.LANCZOS)

# Display the final texture
display(image_texture)

沒有空洞的紋理

正如我們所看到的，紋理現在變得更加平滑，並且沒有空洞。

可以透過更高階的技術或手動紋理編輯進一步改進。

最後，我們可以構建一個帶有生成的 UV 座標和紋理的新網格。

material = trimesh.visual.material.PBRMaterial(
    baseColorFactor=[1.0, 1.0, 1.0, 1.0],
    baseColorTexture=image_texture,
    metallicFactor=0.0,
    roughnessFactor=1.0,
)

visuals = trimesh.visual.TextureVisuals(uv=uvs, material=material)
mesh.visual = visuals
mesh.show()

最終網格

就這樣！網格已進行 UV 對映並貼上紋理。

在本地執行時，您可以透過呼叫 mesh.export("output.glb") 來匯出它。

侷限性

正如您所看到的，網格仍然存在許多小的偽影。

UV 地圖和紋理的質量與生產級網格的標準仍有較大差距。

然而，如果您正在尋找一種快速解決方案，將頂點著色網格對映到 UV 對映網格，這種方法可能會對您有所幫助。

結論

本教程介紹瞭如何將頂點著色網格轉換為 UV 對映的紋理網格。

如果您有任何問題或反饋，請隨時在 GitHub 或 Space 上提出問題。

感謝您的閱讀！

原文連結: https://hf.co/blog/vertex-colored-to-textured-mesh
原文作者: Dylan Ebert

譯者: cheninwang

相關文章