Unity製作本地離線數字人功能模組記錄

陌洛發表於2024-03-30

耗時半個月實現數字人各個功能模組記錄一下個人感覺比較好的功能模組:

1、TTS, 語音合成,GPT-SoVITS, 可本地部署使用 cuda/gpu/cpu 運算,https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e

2、ASR, 語音識別,FunASR,阿里開源模型,可本地部署當前為 cpu 運算版本,中文識別王者級模型,FunASR: 阿里開源的 ASR (gitee.com)

3、NLP, 自然語言處理,langChain-chatchat,可本地部署支援自主配置 LLM 模型及 RAG 模型,免費,Langchain-Chatchat 如何自定義目錄和配置模型? - 嗶哩嗶哩 (bilibili.com)

4、音訊驅動口型及表情,SALSA,本地外掛

5、人物,自制 / 網站製作

基礎測試配置需求:16G 執行記憶體,8G 視訊記憶體

落地配置需求:32G 執行記憶體,24G 視訊記憶體

相關文章