mac本地搭建ollama

大耳朵小虎發表於2024-05-10
Mac

mac本地搭建ollama webUI

*簡介：ollama-webUI是一個開源專案，簡化了安裝部署過程，並能直接管理各種大型語言模型（LLM）。本文將介紹如何在你的macOS上安裝Ollama服務並配合webUI呼叫api來完成聊天。

開源地址

  • https://github.com/812781385/ollama-webUI.git，開源不易感謝star
  • 微信公眾號

環境要求

  • macos系統
  • nodejs >= 18
  • 沒錯，其他的都不需要了

目標

  • 執行ollama
  • 啟用webUI
  • 啟用API服務
  • 啟用RAG

安裝ollama

  • 官網直接安裝，ollama官網。
  • 選擇macos，點選download for mac下載
  • 得到的是個壓縮包，解壓，然後一路next
  • 安裝完成，直接使用
  • 系統可會預設啟動ollama，在電腦的右上角能看到這個標記，如果沒有，請看下一步

在命令列使用ollama

  • 開啟終端，輸入ollama -h,檢視到所有的命令。

  • 點選這裡搜尋你需要的模型，然後直接啟動，例如：ollama run llama3，可看到下載速度非常快，取決於你的寬頻。

  • 下載完成，現在可以與他聊天了

  • control + D退出聊天

呼叫ollama的API

  • ollama提供api的形式呼叫，直接檢視官網文件
  • ollama serve啟動服務，發現埠被佔用

需要點選電腦右上角的ollama圖示來退出ollama，再來執行ollama serve

  • ollama服務預設是http://127.0.0.1:11434，目前在macOS上修改ip和埠無效，官方未解決（2024-5-9）。
  • 呼叫api會出現跨域，所以需要做一個服務端。我已經做好了，點選檢視原始碼，感謝star

安裝ollama-webUI和serve

  • git clone https://github.com/812781385/ollama-webUI.git

  • cd client

  • pnpm i

  • 修改.env 裡的VITE_APP_AXIOS_BASE_URL 為自己的ip地址

  • npm run dev 執行webUI

  • cd serve

  • npm i

  • npm run dev 執行服務端

  • 瀏覽器訪問http://localhost:8080/

  • 點選設定按鈕，開啟設定對話方塊，輸入模型名稱，例如：qwen:0.5b，點選按鈕開始拉取模型

  • 選擇剛剛拉取好的模型後，點選確定。就可以開始聊天了

使用RAG

什麼是RAG，例如你問AI：你的名字叫什麼？，他會告訴你他是個ai模型...，這不是我想要的答案，怎麼辦？有兩種方式，1.訓練自己的模型。2.在prompt裡嵌入自己的文案。例如：你的名字叫小虎，請參考這個問題來回答: 你的名字叫什麼，這時候他會回答，他的名字叫小虎。

  • 如果你要使用RAG，請先安裝chroma資料庫，點選檢視官網文件
  • chroma run 啟動資料庫服務
  • 你還需拉取ollama的嵌入式模型mxbai-embed-large，點選檢視官網文件
  • 然後呼叫serve/app/router裡的介面，新增資料router.post('/addData', controller.chat.addDataForDB);
  • 在webUI的設定對話方塊裡，開啟RAG開關，就可以聊天了

模型推理記憶體損耗

  • 以llama2為例計算

影片演示

播放

相關文章