openai開源 shap-e 根據文字或影像生成 3D 模型,支援匯入blender

破晓一代發表於2024-06-24

介紹

github倉庫地址:https://github.com/openai/shap-e

技術原理論文:https://arxiv.org/abs/2305.02463

官方生成效果示例:

2024-06-23T14:22:23.png

部署安裝

開啟colab:https://colab.research.google.com/

新建一個筆記,然後點選右上角的ram圖示,再點選更改執行時型別

2024-06-23T14:25:42.png

改為使用t4 gpu

2024-06-23T14:27:06.png

輸入pip install git+https://github.com/openai/shap-e

2024-06-23T14:50:02.png

然後執行這個測試

sample_text_to_3d.ipynb - 根據文字提示對 3D 模型進行取樣。

依次複製貼上程式碼執行

這裡我將batch_size改為1,size改為256

2024-06-23T15:06:21.png

最後這段程式碼是輸出可編輯的模型檔案

# Example of saving the latents as meshes.
from shap_e.util.notebooks import decode_latent_mesh

for i, latent in enumerate(latents):
    t = decode_latent_mesh(xm, latent).tri_mesh()
    with open(f'example_mesh_{i}.ply', 'wb') as f:
        t.write_ply(f)
    with open(f'example_mesh_{i}.obj', 'w') as f:
        t.write_obj(f)

生成檔案的位置

2024-06-23T15:08:15.png

接下里我重新修改了提示詞,為1 girl

2024-06-23T15:11:48.png

把模型檔案下載下來,匯入到blender看看

2024-06-23T15:13:29.png

效果,emm...

2024-06-23T15:16:06.png

敬請關注,每日分享AI工具和相關知識

破曉一代技術公眾號

相關文章