0 前言
M晶片Mac想跑大模型,強烈推薦LM Studio。因為它支援專門為M系列晶片最佳化過的模型檔案,執行速度快了不止億點點!intel mac 不支援哦!
本地執行大模型的工具中,LM Studio和Ollama是最受歡迎的兩款。最近LM Studio新增了對MLX的支援。
1 MLX是啥?
蘋果公司開源的一個機器學習框架,專門為M系列晶片做了最佳化,如採用了統一記憶體模型、對應統一記憶體架構。所以,使用這個框架就可以非常高效地部署和執行模型。
MLX去年12月才開源,還很新,但是在社群支援下發展很快,主流模型都有對應的版本。在最新版本的LM Studio中也特意做了標註和篩選,方便蘋果使用者下載。
2 下載和使用LM Studio
開啟軟體,左邊欄是它的主要功能頁面,包括聊天模式、伺服器模式、檢視已有模型等等:
進入發現頁面,就可以搜尋和下載模型了:
LM Studio把MLX版的模型專門標註,列表裡很容易找到。它預設是推薦Staff Pick也就是官方推薦的模型,如果你想要更多,那就選擇Hugging Face(Search All)。
模型檔案下載好:
指定一個:
就在聊天模式里載入它:
3 蘋果AI落後?
蘋果硬體積累遠超那些PC廠商,看到最近釋出的 M4 系列晶片你也就懂了。在記憶體頻寬上,M4 Pro也比上一代大增75%,支援高達64GB的高速統一記憶體和273GB/s的記憶體頻寬,直接達到任意AI PC晶片的兩倍。
桌面端有MLX框架,發揮統一記憶體架構最大優勢:
- CPU和GPU可以直接訪問共享記憶體中的資料,不需要進行資料傳輸
- 小規模操作用CPU搞定。遇到計算密集型的需求再上GPU
到時明年我去香港買個港版,M4 urtra Mac Studio到手後我就開始測評!
4 總結
如今在 AI 軟體領域,各家都在擴張自己的勢力範圍。如LM Studio,以前只是偏後端軟體,幫你在本地跑大模型。現在,它把聊天模式往前提,新增RAG功能。主動從後端走向前端的打法會逐漸成為各家的共同選擇。AI應用大混戰時代來了。
關注我,緊跟本系列專欄文章,咱們下篇再續!
作者簡介:魔都架構師,多家大廠後端一線研發經驗,在分散式系統設計、資料平臺架構和AI應用開發等領域都有豐富實踐經驗。
各大技術社群頭部專家博主。具有豐富的引領團隊經驗,深厚業務架構和解決方案的積累。
負責:
- 中央/分銷預訂系統效能最佳化
- 活動&券等營銷中臺建設
- 交易平臺及資料中臺等架構和開發設計
- 車聯網核心平臺-物聯網連線平臺、大資料平臺架構設計及最佳化
- LLM Agent應用開發
- 區塊鏈應用開發
- 大資料開發挖掘經驗
- 推薦系統專案
目前主攻市級軟體專案設計、構建服務全社會的應用系統。
參考:
- 程式設計嚴選網
本文由部落格一文多發平臺 OpenWrite 釋出!