LM Studio 本地離線部署大模型

Jruing發表於2024-05-12

安裝 LM Studio

官網: https://lmstudio.ai/

下載模型:Meta-Llaa-3-8B-Instruet.Q4_KM.gguf

下載地址: https://cdn-lfs-us-1.huggingface.co/repos/79/f2/79f21025e377180e4ec0e3968bca4612bb9c99fa84e70cb7815186c42a858124/647a2b64cbcdbe670432d0502ebb2592b36dd364d51a9ef7a1387b7a4365781f?response-content-disposition=attachment%3B+filename*%3DUTF-8''Meta-Llama-3-8B-Instruct.Q4_K_M.gguf%3B+filename%3D"Meta-Llama-3-8B-Instruct.Q4_K_M.gguf"%3B&Expires=1715523914&Policy=eyJTdGF0ZW1lbnQiOlt7IkNvbmRpdGlvbiI6eyJEYXRlTGVzc1RoYW4iOnsiQVdTOkVwb2NoVGltZSI6MTcxNTUyMzkxNH19LCJSZXNvdXJjZSI6Imh0dHBzOi8vY2RuLWxmcy11cy0xLmh1Z2dpbmdmYWNlLmNvL3JlcG9zLzc5L2YyLzc5ZjIxMDI1ZTM3NzE4MGU0ZWMwZTM5NjhiY2E0NjEyYmI5Yzk5ZmE4NGU3MGNiNzgxNTE4NmM0MmE4NTgxMjQvNjQ3YTJiNjRjYmNkYmU2NzA0MzJkMDUwMmViYjI1OTJiMzZkZDM2NGQ1MWE5ZWY3YTEzODdiN2E0MzY1NzgxZj9yZXNwb25zZS1jb250ZW50LWRpc3Bvc2l0aW9uPSoifV19&Signature=cboCWba~6WWYBO6sTsNzUgNa5PksqpYGqlWcbdM7uqyb-OossFTOllwSrGwtz0yGpO4X03NvTD5MZwsXUqREhVl03ozknt1iSPCJGgo~Hx6NQ4nIF8SD9rW-Le~0Un1F8BKPA4LG9BAxBLKe0gZCzOYFz1kkKhyyTNfzwGntood~z~Ipqw38e8aIOxKMTeWo41iBqwIePgg5VTLwF5LFvl32vGsvk7WGagqhZlDI1au0-Mfa6fCsTHr0k7oFB9mk5ou~02S1Skz~upeSvfaLLkFAVV-SGeF-8R7PXCPkSHMmGKXQCduvfxOAb3W-PfdqMvtYcZ-AQCOBr2adYTF4kQ__&Key-Pair-Id=KCD77M1F0VK2B

配置

  1. 模型預設位置在C:\Users\使用者\.cache\lm-studio\models下,需要在該目錄下建立Publisher資料夾且在該資料夾中建立Repository,將該模型放入該目錄下
    image-20240511232845566

  2. 在AI Chat選單上面選擇Meta-Llaa-3-8B-Instruet.Q4_KM.gguf模型

    image-20240511232658394

  3. 輸入文字獲取返回值即可

  4. 如果文字渲染速度太慢,可以使用GPU處理(此處需要根據自己電腦的實際情況調整)

    image-20240511233104103

相關文章