本地執行Llama3新方法#
國外有網友火速分享了在本地(Windows、Linux、Mac)一鍵執行 Llama 3 的新方法~
廢話不多說,先看效果。【圖1】
在影片1倍速播放中,他用 OpenWebUI 在自己的 Macbook Pro M1 Max 64G 上成功執行了 Llama 3 。
而且還新增了側邊欄展開收起。【圖2】
以上效果他透過兩個步驟實現。1.安裝開源 OpenWebUI(具體連結文末提供)
2.在 OpenWebUI 的 “拉取模型” 選單中輸入 llama3:instruct,然後單擊下載按鈕
3.一鍵開啟執行【圖5】
順便一提, OpenWebUI 還支援 llama 3 與 PDF 及其他檔案聊天。【圖6】
此外,他還分享了利用 llama 3 生成影像的方法。【圖7】
具體而言,他使用開源 Python 庫#Gradio#構建了一個可以使用 Stable Diffusion XL Turbo 和 Diffusers 庫生成影像的應用程式。
開發者只需將 huggingface hub 名稱從“stabilityai/stable-diffusion-xl-turbo”更改為“stabilityai/sdxl-turbo”,然後使用 Gepeto 生成一個啟動器指令碼即可。【圖8】
最後,網友強調了, llama 3 70B 模型佔用大約 40G 記憶體,嘗試前需確保磁碟空間。
開源地址合集⬇️
OpenWebUI 開源地址:網頁連結
Llama 3開源地址:網頁連結
Llama 3線上體驗:網頁連結
Github地址:網頁連結
收集:本地執行Llama3
相關文章
- 本地執行LLaMa3:70b
- 10分鐘本地執行llama3及初體驗
- 本地快速安裝執行史上最強開源LLaMa3大模型大模型
- [20221018]本地執行與遠端執行.txt
- 收集 Linux 命令列執行的命令Linux命令列
- Linux本地資訊收集Linux
- 在Windows電腦上快速執行AI大語言模型-Llama3WindowsAI模型
- 搭建本地執行Hadoop環境Hadoop
- 本地執行 Gemma 的 pytorch 整合GemmaPyTorch
- 三種方式本地執行Knative
- 使用ollama + AnythingLLM快速且簡單的在本地部署llama3
- 學習筆記447—本地部署 Llama3 – 8B/70B 大模型!最簡單的方法: 支援CPU /GPU執行 【3種方案】筆記大模型GPU
- 在本地執行 LLMs 的 6 種方法
- 可本地執行大模型的應用大模型
- 搭建一個本地 Laravel 執行環境Laravel
- 可傳輸執行緒本地簡介執行緒
- Flume收集日誌到本地目錄
- java 執行shell命令及日誌收集避坑指南Java
- 透過歷史記錄執行本地模型模型
- 在本地執行Kubernetes的3種主流方式
- PHP環境搭建以及完成本地執行PHP
- 執行緒本地ThreadLocal的介紹與使用!執行緒thread
- IDEA本地執行hadoop程式成功,叢集執行找不到自定義的Mapper類IdeaHadoopAPP
- Spring AI 與 Ollama 在本地執行案例原始碼SpringAI原始碼
- HarmonyOS:使用本地真機執行應用/服務
- Visual Studio 2019本地不能執行Azure FunctionsFunction
- 多協程執行後使用channel收集結果--優雅版本
- 多協程執行後使用channel收集結果--初級版本
- Citus 11(分散式 PostgreSQL) 文件貢獻與本地執行分散式SQL
- Terraform初探:遷移本地專案到Terraform Cloud執行ORMCloud
- 6個在本地機器上執行 Kubernetes 的工具
- 如何使用 mock 資料在本地執行 SAP Fiori ElementsMock
- 如何擁有自己的專屬GPT-本地部署目前最強大模型llama3GPT大模型
- 使用執行緒本地變數儲存會員資訊執行緒變數
- git clone一個laravel的專案到本地並執行GitLaravel
- 如何實現一個高效的本地日誌收集程式
- 通過transmittable-thread-local原始碼理解執行緒池執行緒本地變數傳遞的原理MITthread原始碼執行緒變數
- 5分鐘搞定 服務端 本地開發 遠端執行服務端