基於函式計算部署GPT-Sovits語音生成模型實現AI克隆聲音

Serverless社区發表於2024-06-07

GPT-Sovits是一個熱門的文字生成語音的大模型,只需要少量樣本的聲音資料來源,就可以實現高度相似的模擬效果。透過函式計算部署GPT-Sovits模型,您無需關心GPU伺服器維護和環境配置,即可快速部署和體驗模型,同時,可以充分利用函式計算按量付費,彈性伸縮等優勢,高效地為使用者提供基於GPT-Sovits模型的文字到語音生成服務。

方案概覽


本方案的技術架構包括以下基礎設施和雲服務:

  • 函式計算:用於提供GPT-Sovits模型的應用服務。
  • 檔案儲存 NAS:用於存放預訓練的GPT-Sovits模型。
  • 專有網路 VPC:用於配置專有網路,方便函式計算訪問檔案儲存 NAS。

重要

  1. 阿里雲不對第三方模型的合法性、安全性、準確性進行任何保證,阿里雲不對由此引發的任何損害承擔責任。
  2. 您應自覺遵守第三方模型的使用者協議、使用規範和相關法律法規,並就使用第三方模型的合法性、合規性自行承擔相關責任。

部署GPT-Sovits模型

1.登入函式計算3.0控制檯

2.請確認訪問的控制檯是函式計算3.0,否則您需要在右上角單擊體驗函式計算3.0
image.png

3.在左側導航欄,單擊應用

4.(可選)在應用頁面,單擊建立應用
說明:如果您之前未使用過應用中心,請跳過本步驟,可直接進入下一步。
image.png

5.在應用頁面,選擇人工智慧>語音克隆生成GPT-SoVITS,單擊立即建立
image.png

6.在建立應用頁面,部署型別選擇直接部署角色名稱請確認所需要的許可權均已獲取(若缺失許可權請按照頁面引導進行操作),服務狀態請確認函式計算FC和檔案儲存NAS已開通,其他配置保持預設即可,然後單擊建立應用。
image.png

7.在活動應用建立提醒對話方塊中,選中函式計算FC和檔案儲存NAS兩個收費項,選中我已經瞭解上面的內容,並同意上述描述,單擊同意並進行部署
image.png

8.等待約1分鐘,部署狀態變為部署成功,表示應用部署成功,並生成訪問域名,單擊訪問域名後的連結開始體驗應用。

***.devsapp.net域名是CNCF SandBox專案Serverless Devs社群所提供,僅供學習和測試使用,不可用於任何生產使用;社群會對該域名進行不定期地撥測,並在域名下發30天后進行回收,強烈建議您繫結自定義域名以獲得更好的使用體驗
image.png

快速體驗

部署完成後,您可以使用已經準備好的DEMO聲音樣例,進行聲音的合成和體驗。
我們準備了一些童年經典動畫片的臺詞,您可以合成試試:

  • 既然你誠心誠意的發問了,我們就大發慈悲的告訴你,為了防止世界被破壞,為了守護世界的和平,貫徹愛與真實的邪惡,可愛又迷人的反派角色,武藏、小次郎!我們是穿梭在銀河的火箭隊,白洞,白色的明天在等著我們! ——《小精靈》
  • 成為全國第一是我從小的夢想,我不會放棄,這點小傷根本不能讓我放棄。 ——《灌籃高手》
  • 舒克舒克舒克舒克開飛機的舒克,貝塔貝塔貝塔貝塔開坦克的貝塔。——《舒克和貝塔》

合成操作步驟

1.選擇預設語音模板,輸入需要生成的文字,單擊合成語音
image.png

2.等待語音合成之後,可以單擊播放。
image.png

聲音訓練

您可以透過聲音原始檔微調GPT-Sovits大模型,生成您期望的聲音。在微調訓練過程中,訓練步驟的所有中間產物將置於NAS的output資料夾下。訓練將使用預設的UVR5和ASR模型。若需要使用其他的UVR5和ASR模型,可根據官方README下載,並分別置於NAS的tools/asr/models和tools/uvr5/uvr5_weights目錄下。

1.資料預處理。準備一個較長的您需要克隆的原始聲音,單擊資料預處理,輸入您需要上傳的語音檔案,單擊開始資料預處理
image.png

2.微調文字。單擊訓練語音文字校對,調整原始文字的內容。
image.png

3.開始訓練,單擊模型微調,開啟SoVITS訓練和GPT訓練。訓練後的模型將儲存在NAS下的GPT_weights和SoVITS_weights資料夾內。

image.png

4.訓練完之後,在語音克隆&&推流頁籤,重新整理和選擇自己訓練的模型,再體驗合成語音。
image.png

清理資源

您部署GPT-Sovits會使用函式計算FC產品,您建立模型管理器使用了檔案儲存NAS產品。如果您後續不再使用GPT-Sovits可以刪除以下兩個部分,函式計算不呼叫不會計費,檔案儲存NAS只要有模型儲存即會付費,因此請您注意刪除相關資源。如果您需要長期使用,請忽略此步驟,並隨時注意賬號扣費情況。

刪除GPT-Sovits使用的FC。

1.前往函式計算應用頁面

2.在應用頁面,找到您部署的應用,單擊右側操作列下的刪除,根據頁面提示刪除該應用。
image.png

刪除模型管理器使用的NAS。

1.登入檔案儲存控制檯,在檔案系統列表頁面,切換到華東1(杭州)地域,找Alibab-Fc開頭到目標檔案系統,在操作列,選擇image.png>刪除

說明
本實驗檔案儲存NAS例項所在地域為華東1(杭州)。
image.png

2.在刪除檔案系統皮膚,移除掛載點及生效策略,然後單擊刪除
image.png
image.png

更多內容關注 Serverless 微信公眾號(ID:serverlessdevs),彙集 Serverless 技術最全內容,定期舉辦 Serverless 活動、直播,使用者最佳實踐。

相關文章