大模型學習進階 1-搭建一個開源大模型

本次大模型系列分享，總共會分為 5 篇文章，講解如何無編碼搭建執行起來一個大模型，到如何進行模型微調到屬於自己的一個專屬大模型
一、環境準備（沒有 GPU 可以考慮使用 2B 尺寸的模型，自己本地電腦無 GPU，記憶體 16G，執行 8B 的進行推理，基本卡死不可用）
1）Linux：
1.1、python 安裝：
務必注意這裡需要安裝 3.8 版本以上
sudo apt update
sudo apt install python3
python3 --version
1.2、pytorch 安裝
pip3 install torch torchvision torchaudio -f https://download.pytorch.org/whl/torch_stable.html -t /data2/torch
2）windows：
1.1、安裝 python
1.2、pytorch 安裝
二、相關開源軟體下載（windows 使用 gpt4all，裡面需要使用 llama.cpp 量化部署，下期會重點講解）
1）ollama
curl -fsSL https://ollama.com/install.sh | sh
2）open-webui
docker run -d --network=host -v open-webui:/app/backend/data -eOLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
三、啟動執行
1）ollama（如果網路限制建議來個科技，hugface 上下載一個 gguf 模型，0llama 本地載入，下期也會重點講解）
ollama run gemma:2b（這裡用的是一個開源的 GOOGLE 的 2B 大模型）也可以 qwen:7B
2）open-webui
docker start open-webui(docker ID)
http://自己的 IP 地址:8080/
四、效果：

下一期，會重點分析，如何利用 hugfece 上的模型 safetensors 轉 gguf,並且使用 ollama 載入本地模型