收集:本地執行Llama3

myrj發表於2024-04-22
本地執行Llama3新方法#
國外有網友火速分享了在本地(Windows、Linux、Mac)一鍵執行 Llama 3 的新方法~
廢話不多說,先看效果。【圖1】
在影片1倍速播放中,他用 OpenWebUI 在自己的 Macbook Pro M1 Max 64G 上成功執行了 Llama 3 。
而且還新增了側邊欄展開收起。【圖2】
以上效果他透過兩個步驟實現。1.安裝開源 OpenWebUI(具體連結文末提供)
              2.在 OpenWebUI 的 “拉取模型” 選單中輸入 llama3:instruct,然後單擊下載按鈕
              3.一鍵開啟執行【圖5】

順便一提, OpenWebUI 還支援 llama 3 與 PDF 及其他檔案聊天。【圖6】

此外,他還分享了利用 llama 3 生成影像的方法。【圖7】

具體而言,他使用開源 Python 庫#Gradio#構建了一個可以使用 Stable Diffusion XL Turbo 和 Diffusers 庫生成影像的應用程式。

開發者只需將 huggingface hub 名稱從“stabilityai/stable-diffusion-xl-turbo”更改為“stabilityai/sdxl-turbo”,然後使用 Gepeto 生成一個啟動器指令碼即可。【圖8】

最後,網友強調了, llama 3 70B 模型佔用大約 40G 記憶體,嘗試前需確保磁碟空間。

開源地址合集⬇️
OpenWebUI 開源地址:收集:本地執行Llama3網頁連結
Llama 3開源地址:收集:本地執行Llama3網頁連結
Llama 3線上體驗:收集:本地執行Llama3網頁連結
Github地址:收集:本地執行Llama3網頁連結

相關文章