一個可一鍵生成短影片的AI大模型,親測可用

Java陈序员發表於2024-03-27

大家好,我是 Java陳序員

自從 OpenAI 釋出 Sora 文字生成影片模型後,文字生成影片的 AI 技術引起了無數圈內圈外人士的關注和實驗。

今天,給大家介紹一個大模型,可一鍵生成短影片。

關注微信公眾號:【Java陳序員】,獲取開源專案分享、AI副業分享、超200本經典計算機電子書籍等。

專案介紹

MoneyPrinterTurbo —— 一個利用大模型,一鍵生成短影片的開源專案。

只需輸入影片主題關鍵詞,就可以全自動生成影片文案、影片素材、影片字幕、影片背景音樂,最後合成一個高畫質的短影片。

MoneyPrinterTurbo 支援生成豎屏9:16(抖音影片)、橫屏16:9(西瓜影片)兩種影片尺寸。

功能特色:

安裝部署

1、環境準備

  • MoneyPrinterTurbo 推薦使用 conda 建立 python 虛擬環境,因此需要先安裝好 conda
  • 下載安裝 ImageMagick

2、拉取程式碼

3、建立 python 虛擬環境

conda create -n MoneyPrinterTurbo python=3.10
conda activate MoneyPrinterTurbo

4、安裝依賴

pip install -r requirements.txt

5、修改配置檔案

將 config.example.toml 檔案複製一份,命名為 config.toml.

按照配置檔案(如下配置)中的說明,配置好 pexels_api_keys 和 llm_provider,並根據 llm_provider 對應的服務商,配置相關的 API Key.

[app]
    # Pexels API Key
    # Register at https://www.pexels.com/api/ to get your API key.
    # You can use multiple keys to avoid rate limits.
    # For example: pexels_api_keys = ["123456789","abcdefghi"]
    # 特別注意格式,Key 用英文雙引號括起來,多個Key用逗號隔開
    pexels_api_keys = []

    # 如果你沒有 OPENAI API Key,可以使用 g4f 代替,或者使用國內的 Moonshot API
    llm_provider="openai" # "openai" or "moonshot" or "oneapi" or "g4f" or "azure"

    ########## OpenAI API Key
    # Visit https://openai.com/api/ for details on obtaining an API key.
    openai_api_key = ""
    openai_base_url = "" # no need to set it unless you want to use your own proxy
    openai_model_name = "gpt-4-turbo-preview"

    ########## Moonshot API Key
    # Visit https://platform.moonshot.cn/console/api-keys to get your API key.
    moonshot_api_key=""
    moonshot_base_url = "https://api.moonshot.cn/v1"
    moonshot_model_name = "moonshot-v1-8k"

    ########## OneAPI API Key
    # Visit https://github.com/songquanpeng/one-api to get your API key
    oneapi_api_key=""
    oneapi_base_url=""
    oneapi_model_name=""

    ########## G4F
    # Visit https://github.com/xtekky/gpt4free to get more details
    # Supported model list: https://github.com/xtekky/gpt4free/blob/main/g4f/models.py
    g4f_model_name = "gpt-3.5-turbo-16k-0613"

    ########## Azure API Key
    # Visit https://learn.microsoft.com/zh-cn/azure/ai-services/openai/ to get more details
    # API documentation: https://learn.microsoft.com/zh-cn/azure/ai-services/openai/reference
    azure_api_key = ""
    azure_base_url=""
    azure_model_name="gpt-35-turbo" # replace with your model deployment name
    azure_api_version = "2024-02-15-preview"


    # Subtitle Provider, "edge" or "whisper"
    # If empty, the subtitle will not be generated
    subtitle_provider = "edge"

    #
    # ImageMagick
    #
    # Once you have installed it, ImageMagick will be automatically detected, except on Windows!
    # On Windows, for example "C:\Program Files (x86)\ImageMagick-7.1.1-Q16-HDRI\magick.exe"
    # Download from https://imagemagick.org/archive/binaries/ImageMagick-7.1.1-29-Q16-x64-static.exe

    # imagemagick_path = "C:\\Program Files (x86)\\ImageMagick-7.1.1-Q16\\magick.exe"


    #
    # FFMPEG
    #
    # 通常情況下,ffmpeg 會被自動下載,並且會被自動檢測到。
    # 但是如果你的環境有問題,無法自動下載,可能會遇到如下錯誤:
    #   RuntimeError: No ffmpeg exe could be found.
    #   Install ffmpeg on your system, or set the IMAGEIO_FFMPEG_EXE environment variable.
    # 此時你可以手動下載 ffmpeg 並設定 ffmpeg_path,下載地址:https://www.gyan.dev/ffmpeg/builds/

    # Under normal circumstances, ffmpeg is downloaded automatically and detected automatically.
    # However, if there is an issue with your environment that prevents automatic downloading, you might encounter the following error:
    #   RuntimeError: No ffmpeg exe could be found.
    #   Install ffmpeg on your system, or set the IMAGEIO_FFMPEG_EXE environment variable.
    # In such cases, you can manually download ffmpeg and set the ffmpeg_path, download link: https://www.gyan.dev/ffmpeg/builds/

    # ffmpeg_path = "C:\\Users\\harry\\Downloads\\ffmpeg.exe"
    #########################################################################################

[whisper]
    # Only effective when subtitle_provider is "whisper"

    # Run on GPU with FP16
    # model = WhisperModel(model_size, device="cuda", compute_type="float16")

    # Run on GPU with INT8
    # model = WhisperModel(model_size, device="cuda", compute_type="int8_float16")

    # Run on CPU with INT8
    # model = WhisperModel(model_size, device="cpu", compute_type="int8")

    # recommended model_size: "large-v3"
    model_size="large-v3"
    # if you want to use GPU, set device="cuda"
    device="CPU"
    compute_type="int8"

[pexels]
    video_concat_mode="sequential" # "random" or "sequential"
    [pexels.proxies]
        ### Use a proxy to access the Pexels API
        ### Format: "http://<username>:<password>@<proxy>:<port>"
        ### Example: "http://user:pass@proxy:1234"
        ### Doc: https://requests.readthedocs.io/en/latest/user/advanced/#proxies
        # http = "http://10.10.1.10:3128"
        # https = "http://10.10.1.10:1080"

在 Windows 系統,需要將 imagemagick_path 配置為你的 ImageMagick 實際安裝路徑(如果安裝的時候沒有修改路徑,直接取消註釋即可)。

6、啟動專案

進入到專案根目錄下,執行以下命令:

webui.bat

成功啟動後,瀏覽器會自動開啟:

http://localhost:8501

接下來,就可以愉快的生成影片了~

快速使用

1、瀏覽器訪問

專案啟動成功後,在瀏覽器中訪問:

http://localhost:8501

成功訪問後,出現如下頁面:

2、開始生成影片

輸入影片主題、影片文案(可選),其他的一些影片設定進行自定義修改,設定完畢後點選開始生成影片,就可以開始生成影片了!

3、如果你沒有填寫影片的關鍵詞,工具會幫你生成影片的關鍵詞

4、整個任務分為生成影片、音訊、字幕,最終合成影片四個步驟

5、影片生成好後最後會生成一個任務 ID

6、生成的影片會存放在專案目錄下的 storage 資料夾中

7、任務 ID 對應的資料夾中會有影片、音訊、字幕素材以及最終的合成影片

8、最終生成影片的播放效果

MoneyPrinterTurbo 安裝簡單,小白也能快速上手,在短時間內就能快速生成一個短影片!快去安裝體驗吧~

關注微信公眾號:【Java陳序員】,回覆【搞錢】獲取專案原始碼地址。

最後

推薦的開源專案已經收錄到 GitHub 專案,歡迎 Star

https://github.com/chenyl8848/great-open-source-project

或者訪問網站,進行線上瀏覽:

https://chencoding.top:8090/#/

大家的點贊、收藏和評論都是對作者的支援,如文章對你有幫助還請點贊轉發支援下,謝謝!

相關文章