山東大學專案實訓-基於LLM的中文法律文書生成系統（四）- ChatGLM（1）

H1S96發表於2024-05-31

環境

原始碼安裝

克隆程式碼和模型

模型基礎執行程式碼已經上傳到 github 平臺。開發者透過以下方式下載模型程式碼。

  • 從 github 下載原始碼

 git clone https://github.com/THUDM/ChatGLM3.git

開發者可以透過以下方式下載模型檔案

  • 下載模型檔案前請先確保git lfs命令已安裝，安裝教程請參考這裡。

  • ChatGLM3模型檔案在 Huggingface, Modelsope等平臺都有，可以快速安裝模型。

 git lfs install
 # 使用 Huggingface 下載模型
 git clone https://huggingface.co/THUDM/chatglm3-6b.git
 # 使用 Modelscope 下載模型
 git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

檢查檔案的完整性

  • 使用者在下載完模型後請檢查每個檔案的完整性，以下是模型檔案的sha256校驗碼。

 # sha256 checksums for chatglm3-6b
 4d5567466e89625dbd10e51c69a02982f233a10108cf232a379defdbb065ae0b  pytorch_model-00001-of-00007.bin
 4ad41534016ac4a2431fa2d4b08efbe28f963744135ec52b2ea13cc86730fa2a  pytorch_model-00002-of-00007.bin
 a2be9b17c332a8345e787953d4879caee4747ad4b263f013aa3c4654c94c3d24  pytorch_model-00003-of-00007.bin
 b5526891e1b4c8edd2e3688df5156aa107e2140fe7e3f9d0d54f9cbe3b6ee3b5  pytorch_model-00004-of-00007.bin
 84bb18a476f74beaf4d941733bd1c475791eba799b228f78d0165de989cb7a40  pytorch_model-00005-of-00007.bin
 1181875a2dc30fba968d72d0fc4628b9a60d3866bf680eb14b9822b5b504830f  pytorch_model-00006-of-00007.bin
 1271b638dc0a88206d1c7a51bcaa862410eb56f3e59fd0068a96e96cb5e3f4f0  pytorch_model-00007-of-00007.bin
 e7dc4c393423b76e4373e5157ddc34803a0189ba96b21ddbb40269d31468a6f2  tokenizer.model
 ​
 # sha256 checksums for chatglm3-6b-32k
 39aeddd81596b2d66d657687a7328ebc7f8850e8ea83fa74080da59f7d2f7afc  pytorch_model-00001-of-00007.bin
 2525475ea2d483ecc15a15ad4e016ee0155e628ac66f15cd54daa6c811193e92  pytorch_model-00002-of-00007.bin
 faa1d884168a125af5105c4ee4c59fdac79f847b35a7389e0122a562995d34db  pytorch_model-00003-of-00007.bin
 66492c02ed13189202c7e46a121e308cf0ebbcf8141ecf3d551141aecfac7120  pytorch_model-00004-of-00007.bin
 870bb2bb4a289b8ab37cce88f56e93381ff428063b3d0065994a3dd2e830cb32  pytorch_model-00005-of-00007.bin
 a5f39ca17ba89e47e484d3b20d4ff78f4fb9b1b24bd3dfb314eff91ff6e37230  pytorch_model-00006-of-00007.bin
 7c8a8f3e881202ac3a9ab2638ce30147f67d4bd799624c24af66406a6ba22db2  pytorch_model-00007-of-00007.bin
 e7dc4c393423b76e4373e5157ddc34803a0189ba96b21ddbb40269d31468a6f2  tokenizer.model
 ​
 # sha256 checksums for chatglm3-6b-base
 b6a6388dae55b598efe76c704e7f017bd84e6f6213466b7686a8f8326f78ab05  pytorch_model-00001-of-00007.bin
 2f96bef324acb5c3fe06b7a80f84272fe064d0327cbf14eddfae7af0d665a6ac  pytorch_model-00002-of-00007.bin
 2400101255213250d9df716f778b7d2325f2fa4a8acaedee788338fceee5b27e  pytorch_model-00003-of-00007.bin
 472567c1b0e448a19171fbb5b3dab5670426d0a5dfdfd2c3a87a60bb1f96037d  pytorch_model-00004-of-00007.bin
 ef2aea78fa386168958e5ba42ecf09cbb567ed3e77ce2be990d556b84081e2b9  pytorch_model-00005-of-00007.bin
 35191adf21a1ab632c2b175fcbb6c27601150026cb1ed5d602938d825954526f  pytorch_model-00006-of-00007.bin
 b7cdaa9b8ed183284905c49d19bf42360037fdf2f95acb3093039d3c3a459261  pytorch_model-00007-of-00007.bin
 e7dc4c393423b76e4373e5157ddc34803a0189ba96b21ddbb40269d31468a6f2  tokenizer.model

安裝依賴

使用 pip 安裝依賴：

 cd ChatGLM3 
 pip install -r requirements.txt
 ​
 # 如果太慢可以換源（以清華源為例）
 # 1、臨時使用
 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
 # 2、永久更改pip源
 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

執行demo

使用本地模型載入並使用命令列來問答

 python basic_demo/cli_demo.py

你將會在類似如下的命令列中進行互動。

使用本地模型載入並使用web_demo來問答

 python basic_demo/web_demo_gradio.py

你將會得到如下的網頁。

透過以下命令啟動基於 Gradio 的網頁版 demo

 python basic_demo/web_demo_streamlit.py

透過以下命令啟動基於 Streamlit 的網頁版 demo：

 streamlit run basic_demo/web_demo_streamlit.py

其效果與Gradio相同，但是更加流暢。

下載的時候有時候很慢，想要換源下載，但是伺服器對下載命令的中斷很敏感，中斷後環境就會無法使用，關閉例項後甚至出現無法重啟的現象。

相關文章