怎麼在Windows作業系統部署阿里開源版通義千問（Qwen2）
| 原創作者/編輯：凱哥Java | 分類：人工智慧學習系列教程
GitHub上qwen2截圖
隨著人工智慧技術的不斷進步，阿里巴巴通義千問團隊近期釋出了Qwen2系列開源模型，這一系列模型在多個領域展現出卓越的效能，特別是在自然語言理解、知識、程式碼、數學及多語言等能力上均顯著超越當前領先的模型。本文將詳細介紹如何在Windows作業系統上部署阿里開源版通義千問（Qwen2）模型，快速上手並體驗這一強大的AI工具。
一、準備工作
在開始部署之前，請確保您的Windows系統滿足以下要求：
1. 系統相容性：確保您的Windows系統版本支援所需的軟體安裝。
2. 顯示卡驅動：如果您的計算機配備了獨立顯示卡，請確保顯示卡驅動是最新的，以便更好地支援模型執行。
3. 硬碟空間：Qwen2模型檔案較大，需要足夠的硬碟空間來儲存。
凱哥使用的電腦配置：
CPU：I7-12700F
記憶體：32GB
顯示卡：RTX3060 12G
cpu和記憶體
顯示卡
二、下載並安裝Ollama
Ollama是一個用於執行大型AI模型的工具，支援多種模型格式，包括Qwen2。首先，您需要從Ollama的官方網站下載並安裝Ollama。
-
訪問Ollama官網：進入Ollama官網（https://ollama.com/download/windows）。
2. 下載並安裝：點選“Download”按鈕，選擇Windows版本進行下載。下載完成後，按照提示進行安裝。
這裡凱哥就選擇Windows版本的。
ollama官網下載頁面
三、下載Qwen2模型
接下來，您需要從阿里通義千問的官方倉庫下載Qwen2模型。
1. 訪問官方教程：訪問Qwen2官方教程（實際連結以官方提供為準）。
https://qwen.readthedocs.io/zh-cn/latest/
2. 選擇適合的模型：根據您的硬體條件（如顯示卡視訊記憶體大小），選擇適合的Qwen2模型版本。在官方教程中，拉到最下面，可以看到效率評估。如下圖：
找到效率評估
因為凱哥的顯示卡是12GB,所以凱哥選擇Qwen2-7B-Instruct。如果你的顯示卡也是12GB，可以選擇Qwen2-7B-Instruct版本。
Qwen2-7B-Instruct不同版本記憶體佔用
凱哥使用的下載地址：https://modelscope.cn/models/qwen/Qwen2-7B-Instruct-GGUF/files
3. 下載模型檔案：在官方教程中，找到模型下載連結，下載對應的.gguf檔案。注意，模型檔案可能包含多個精度版本（如q8、q16等），選擇適合您需求的版本。
說明：
會看到不同的字尾，q”+ 用於儲存權重的位數（精度）+ 特定變體，數字越大效能越強。
數字越大，精度越高，k是在所有的attention和feed_forward張量上將精度提升2位，m是在一半的attention和feed_forward張量上將精度提升2位。
根據自己的需求選擇模型，凱哥這裡直接選了q8。
凱哥選擇的q8
四、部署Qwen2模型
下載完模型檔案後，您可以使用Ollama來部署Qwen2模型。
1. 建立模型檔案：在Windows上建立一個新資料夾（例如命名為“qwen”），將下載的.gguf檔案放入該資料夾中。然後，在該資料夾內建立一個名為“Modelfile”的文字檔案，內容填寫為：
FROM ./qwen2-7b-instruct-q8_0.gguf
注意替換檔名以匹配您下載的模型檔案。
2. 使用Ollama建立模型：開啟命令列工具（如CMD或PowerShell），切換到包含Modelfile的資料夾。執行以下命令來建立Qwen2模型：
模型建立成功
如果顯示“success”，則表示模型建立成功。
3. 執行模型：建立成功後，您可以透過以下命令來執行模型：
ollama run Qwen2-7B
此時，您應該能看到一個對話方塊或命令列介面，您可以在這裡輸入文字與模型進行互動。
命令列輸入文案地方
在這裡輸入：你是誰？看看模型怎麼互動的。
可以看到模型互動如下：
模型互動效果
補充說明：
如果要看本地有哪些大模型：ollama list
如果要刪除這個模型的話：ollama rm xxx
如果要看執行了哪些大模型：ollama ps
執行結果：
執行效果
五、在Web介面中執行Qwen2
雖然直接在命令列中執行模型很方便，但為了獲得更好的使用者體驗，您可以將Qwen2模型整合到Web介面中。
1. 安裝Node.js：
首先，需要在Windows上安裝Node.js。訪問Node.js官網，下載並安裝最新版本的Node.js。
凱哥使用的是版本號是18.6
凱哥本地node版本
2. 下載ollama-webui：
從GitHub或其他源下載ollama-webui的程式碼。
https://github.com/ollama-webui/ollama-webui-lite
3. 設定並啟動Web介面：
按照ollama-webui的文件說明，設定Node.js環境，安裝依賴，並啟動Web伺服器。然後，在瀏覽器中開啟Web頁面，選擇您的Qwen2模型即可開始對話。
3.1映象提速：
入ollama-webui資料夾，設定國內映象源提速：
npm config set registry http://mirrors.cloud.tencent.com/npm/
3.2 安裝依賴
npm install
錯誤解決辦法：
如果報錯說要audit，則依次進行即可：
npm auditnpm audit fix
啟動
3.3 啟動Web介面：
命令執行完成就可以用看到如下圖的訪問地址：
啟動成功輸出訪問地址
開啟Web頁面，選擇你的模型即可開始對話：
訪問頁面
透過web和模型進行互動：
我們依然輸入：你是誰？
在web也沒和模型互動效果
好了，至此，你就可以在自己電腦上和模型進行對話了。
大家好：我是凱哥Java(kaigejava)，如果大家感興趣，可以一起學學AI。
六、總結
透過以上步驟，您可以在Windows作業系統上成功部署阿里開源版通義千問（Qwen2）模型，並透過命令列或Web介面與模型進行互動。Qwen2系列模型憑藉其卓越的效能和廣泛的應用場景，將為您的AI專案提供強大的支援。
希望本文能幫助您順利部署阿里開源版通義千問模型，享受AI技術帶來的便利與樂趣。如有任何疑問，請隨時查閱官方文件或尋求技術支援。