基於函式計算部署GPT-Sovits語音生成模型實現AI克隆聲音

Serverless社区發表於2024-06-07
函式GPT模型AI

GPT-Sovits是一個熱門的文字生成語音的大模型，只需要少量樣本的聲音資料來源，就可以實現高度相似的模擬效果。透過函式計算部署GPT-Sovits模型，您無需關心GPU伺服器維護和環境配置，即可快速部署和體驗模型，同時，可以充分利用函式計算按量付費，彈性伸縮等優勢，高效地為使用者提供基於GPT-Sovits模型的文字到語音生成服務。

方案概覽


本方案的技術架構包括以下基礎設施和雲服務：

  • 函式計算：用於提供GPT-Sovits模型的應用服務。
  • 檔案儲存 NAS：用於存放預訓練的GPT-Sovits模型。
  • 專有網路 VPC：用於配置專有網路，方便函式計算訪問檔案儲存 NAS。

重要

  1. 阿里雲不對第三方模型的合法性、安全性、準確性進行任何保證，阿里雲不對由此引發的任何損害承擔責任。
  2. 您應自覺遵守第三方模型的使用者協議、使用規範和相關法律法規，並就使用第三方模型的合法性、合規性自行承擔相關責任。

部署GPT-Sovits模型

1.登入函式計算3.0控制檯。

2.請確認訪問的控制檯是函式計算3.0，否則您需要在右上角單擊體驗函式計算3.0。
image.png

3.在左側導航欄，單擊應用。

4.（可選）在應用頁面，單擊建立應用。
說明：如果您之前未使用過應用中心，請跳過本步驟，可直接進入下一步。
image.png

5.在應用頁面，選擇人工智慧>語音克隆生成GPT-SoVITS，單擊立即建立。
image.png

6.在建立應用頁面，部署型別選擇直接部署，角色名稱請確認所需要的許可權均已獲取（若缺失許可權請按照頁面引導進行操作），服務狀態請確認函式計算FC和檔案儲存NAS已開通，其他配置保持預設即可，然後單擊建立應用。
image.png

7.在活動應用建立提醒對話方塊中，選中函式計算FC和檔案儲存NAS兩個收費項，選中我已經瞭解上面的內容，並同意上述描述，單擊同意並進行部署。
image.png

8.等待約1分鐘，部署狀態變為部署成功，表示應用部署成功，並生成訪問域名，單擊訪問域名後的連結開始體驗應用。

***.devsapp.net域名是CNCF SandBox專案Serverless Devs社群所提供，僅供學習和測試使用，不可用於任何生產使用；社群會對該域名進行不定期地撥測，並在域名下發30天后進行回收，強烈建議您繫結自定義域名以獲得更好的使用體驗
image.png

快速體驗

部署完成後，您可以使用已經準備好的DEMO聲音樣例，進行聲音的合成和體驗。
我們準備了一些童年經典動畫片的臺詞，您可以合成試試：

  • 既然你誠心誠意的發問了，我們就大發慈悲的告訴你，為了防止世界被破壞，為了守護世界的和平，貫徹愛與真實的邪惡，可愛又迷人的反派角色，武藏、小次郎！我們是穿梭在銀河的火箭隊，白洞，白色的明天在等著我們！ ——《小精靈》
  • 成為全國第一是我從小的夢想，我不會放棄，這點小傷根本不能讓我放棄。 ——《灌籃高手》
  • 舒克舒克舒克舒克開飛機的舒克，貝塔貝塔貝塔貝塔開坦克的貝塔。——《舒克和貝塔》

合成操作步驟

1.選擇預設語音模板，輸入需要生成的文字，單擊合成語音。
image.png

2.等待語音合成之後，可以單擊播放。
image.png

聲音訓練

您可以透過聲音原始檔微調GPT-Sovits大模型，生成您期望的聲音。在微調訓練過程中，訓練步驟的所有中間產物將置於NAS的output資料夾下。訓練將使用預設的UVR5和ASR模型。若需要使用其他的UVR5和ASR模型，可根據官方README下載，並分別置於NAS的tools/asr/models和tools/uvr5/uvr5_weights目錄下。

1.資料預處理。準備一個較長的您需要克隆的原始聲音，單擊資料預處理，輸入您需要上傳的語音檔案，單擊開始資料預處理。
image.png

2.微調文字。單擊訓練語音文字校對，調整原始文字的內容。
image.png

3.開始訓練，單擊模型微調，開啟SoVITS訓練和GPT訓練。訓練後的模型將儲存在NAS下的GPT_weights和SoVITS_weights資料夾內。

image.png

4.訓練完之後，在語音克隆&&推流頁籤，重新整理和選擇自己訓練的模型，再體驗合成語音。
image.png

清理資源

您部署GPT-Sovits會使用函式計算FC產品，您建立模型管理器使用了檔案儲存NAS產品。如果您後續不再使用GPT-Sovits可以刪除以下兩個部分，函式計算不呼叫不會計費，檔案儲存NAS只要有模型儲存即會付費，因此請您注意刪除相關資源。如果您需要長期使用，請忽略此步驟，並隨時注意賬號扣費情況。

刪除GPT-Sovits使用的FC。

1.前往函式計算應用頁面。

2.在應用頁面，找到您部署的應用，單擊右側操作列下的刪除，根據頁面提示刪除該應用。
image.png

刪除模型管理器使用的NAS。

1.登入檔案儲存控制檯，在檔案系統列表頁面，切換到華東1（杭州）地域，找Alibab-Fc開頭到目標檔案系統，在操作列，選擇image.png>刪除。

說明
本實驗檔案儲存NAS例項所在地域為華東1（杭州）。
image.png

2.在刪除檔案系統皮膚，移除掛載點及生效策略，然後單擊刪除。
image.png
image.png

更多內容關注 Serverless 微信公眾號（ID：serverlessdevs），彙集 Serverless 技術最全內容，定期舉辦 Serverless 活動、直播，使用者最佳實踐。

相關文章