LM Studio讓你的Mac秒變AI神器!

公众号-JavaEdge發表於2024-11-05

0 前言

M晶片Mac想跑大模型,強烈推薦LM Studio。因為它支援專門為M系列晶片最佳化過的模型檔案,執行速度快了不止億點點!intel mac 不支援哦!

本地執行大模型的工具中,LM Studio和Ollama是最受歡迎的兩款。最近LM Studio新增了對MLX的支援。

1 MLX是啥?

蘋果公司開源的一個機器學習框架,專門為M系列晶片做了最佳化,如採用了統一記憶體模型、對應統一記憶體架構。所以,使用這個框架就可以非常高效地部署和執行模型。

MLX去年12月才開源,還很新,但是在社群支援下發展很快,主流模型都有對應的版本。在最新版本的LM Studio中也特意做了標註和篩選,方便蘋果使用者下載。

2 下載和使用LM Studio

開啟軟體,左邊欄是它的主要功能頁面,包括聊天模式、伺服器模式、檢視已有模型等等:

進入發現頁面,就可以搜尋和下載模型了:

LM Studio把MLX版的模型專門標註,列表裡很容易找到。它預設是推薦Staff Pick也就是官方推薦的模型,如果你想要更多,那就選擇Hugging Face(Search All)。

模型檔案下載好:

指定一個:

就在聊天模式里載入它:

3 蘋果AI落後?

蘋果硬體積累遠超那些PC廠商,看到最近釋出的 M4 系列晶片你也就懂了。在記憶體頻寬上,M4 Pro也比上一代大增75%,支援高達64GB的高速統一記憶體和273GB/s的記憶體頻寬,直接達到任意AI PC晶片的兩倍。

桌面端有MLX框架,發揮統一記憶體架構最大優勢:

  • CPU和GPU可以直接訪問共享記憶體中的資料,不需要進行資料傳輸
  • 小規模操作用CPU搞定。遇到計算密集型的需求再上GPU

到時明年我去香港買個港版,M4 urtra Mac Studio到手後我就開始測評!

4 總結

如今在 AI 軟體領域,各家都在擴張自己的勢力範圍。如LM Studio,以前只是偏後端軟體,幫你在本地跑大模型。現在,它把聊天模式往前提,新增RAG功能。主動從後端走向前端的打法會逐漸成為各家的共同選擇。AI應用大混戰時代來了。

關注我,緊跟本系列專欄文章,咱們下篇再續!

作者簡介:魔都架構師,多家大廠後端一線研發經驗,在分散式系統設計、資料平臺架構和AI應用開發等領域都有豐富實踐經驗。

各大技術社群頭部專家博主。具有豐富的引領團隊經驗,深厚業務架構和解決方案的積累。

負責:

  • 中央/分銷預訂系統效能最佳化
  • 活動&券等營銷中臺建設
  • 交易平臺及資料中臺等架構和開發設計
  • 車聯網核心平臺-物聯網連線平臺、大資料平臺架構設計及最佳化
  • LLM Agent應用開發
  • 區塊鏈應用開發
  • 大資料開發挖掘經驗
  • 推薦系統專案

目前主攻市級軟體專案設計、構建服務全社會的應用系統。

參考:

  • 程式設計嚴選網

本文由部落格一文多發平臺 OpenWrite 釋出!

相關文章