介紹
- llama：LLaMA（Large Language Model Meta AI）是由 Meta（原Facebook公司）釋出的一系列大型語言模型。這些模型旨在處理和生成自然語言文字，能夠執行多種任務，如文字摘要、翻譯、問答、文字生成等。LLaMA 模型因其高效的效能和較小的模型尺寸而受到關注，這使得它們能夠在資源有限的環境中執行，例如個人計算機或移動裝置。
- Ollama：是一個開源的大型語言模型服務工具，由 Meta釋出。
平臺功能
- 模型執行和管理：Ollama 允許使用者在本地機器上執行大型語言模型，提供了簡單的 API 來建立、執行和管理模型 。
- 模型庫：Ollama 擁有一個豐富的預構建模型庫，這些模型可以輕鬆地整合到各種應用程式中 。
- 多模態模型支援：Ollama 支援多模態模型，能夠理解和生成與影像相關的描述 。
- REST API：Ollama 提供了一個 REST API，用於執行和管理模型，包括生成響應和與模型進行聊天 。
- 跨平臺支援：Ollama 支援 macOS、Linux 和 Windows 作業系統，並且可以透過 Docker 容器進行部署 。
- 硬體加速：Ollama 能夠識別正在執行的硬體，並在可能的情況下呼叫 GPU 加速模型的執行 。
- 易用性：Ollama 提供了多種安裝方式，簡化了安裝和配置過程，使得使用者即使沒有專業背景也能輕鬆使用 。
- 社群整合：Ollama 擁有豐富的社群生態，提供了多種互動介面和外掛，如網頁、桌面、終端等，以及 Raycast 外掛等 。
- 模型自定義：使用者可以透過 Modelfile 自定義模型引數，包括系統提示詞、對話模板、模型推理溫度等 。
- 開源：作為一個開源專案，Ollama 允許使用者檢視、修改和貢獻程式碼，促進了社群的協作和發展 。
平臺優勢
Ollama 平臺在效能、穩定性和靈活性等方面相比其他 AI 平臺具有一些顯著的優勢：
- 效能：Ollama 支援 GPU 加速，這使得它在處理大型語言模型（LLMs）時能夠提供更快的推理速度。此外，Ollama 允許併發請求，更好地利用 GPU 資源，從而提高吞吐量。
- 穩定性：Ollama 提供了強大的模型管理功能，包括多版本控制和自動更新，這有助於確保平臺的穩定性和模型的持續改進。
- 靈活性：Ollama 設計上考慮了未來模型的擴充套件性，易於新增新模型或更新現有模型。它還提供了靈活的安裝方式，支援 macOS、Windows 和 Linux 作業系統，並且可以透過 Docker 容器進行部署。
- 易用性：Ollama 提供了簡單的安裝和配置過程，使得使用者即使沒有專業背景也能輕鬆使用。它還提供了多種互動介面和外掛，如網頁、桌面、終端等，以及 Raycast 外掛等，增加了使用的靈活性。
- 本地化部署：Ollama 允許在本地機器上執行復雜的 AI 模型，降低了對網路的依賴，提高了資料處理的隱私性。
- 社群支援：Ollama 擁有活躍的社群和豐富的文件，便於使用者學習和交流。
- 跨平臺應用：Ollama 不僅限於 Linux，還提供了跨平臺支援，無論使用 Windows、macOS 還是 Linux，都能滿足使用者的需求。
- 與 Python 的整合：Ollama 與 Python 的無縫整合，只需幾行程式碼，就可以執行本地語言模型並將其整合到 Python 專案中。
- 隱私保護：OLLAMA 使所有資料處理在本地裝置上完成，這對於使用者隱私來說是一大勝利。
- 多功能性：OLLAMA 不僅適用於 Python 愛好者，其靈活性還使其適用於各種應用，包括 Web 開發。
部署流程
step1 安裝Ollama
https://ollama.com/
驗證：
http://localhost:11434/
step2 下載模型
https://ollama.com/library
step3 安裝ollama-webui-lite
https://github.com/ollama-webui/ollama-webui-lite
驗證：
http://localhost:3000/
api介面訪問ollama
curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt":"Why is the sky blue?"
}'
在社群獲取更多模型
https://huggingface.co/
選擇library-gguf，可透過Chinese進行篩選支援中文的模型。
下載gguf檔案後，使用ollama提供的指令進行載入模型。
https://github.com/ollama/ollama