Framework Desktop是不是被吹得太厲害了，說它能跑DeepSeek這樣的大模型LLM？但實際上，它的記憶體不夠大，沒法搞MoE（專家混合模型），頻寬也不夠，跑不了那些需要大量計算的密集型模型。
理論上，128GB記憶體跑LLM會因為頻寬不夠而卡頓。記憶體太少，跑不了那種MoE模型，沒人會花2000塊去跑一個被qwen 72b打爆的mixtral。我覺得今年會有新的MoE模型出來，尤其是因為像DeepSeek這樣的大MoE模型現在很火。
Framework Desktop電腦128GB記憶體和頻寬有限，跑MoE和密集模型都吃力。雖然價效比高，但是慢於高階GPU，卻比7000刀MacBook划算，適合本地試新模型。期待更高頻寬和GPU算力。
Framework Desktop是什麼
Framework Desktop 是由Framework公司推出的一款模組化迷你臺式電腦，設計理念跟他們之前的模組化膝上型電腦類似，強調可升級、可修復和使用者自定義。它在2025年2月釋出，是Framework的首款桌上型電腦產品，體積只有4.5升，非常小巧，但效能不弱。它跟Framework之前出的模組化筆記本一個理念，主打可升級、可修復、使用者自己動手摺騰。
這款電腦用的是AMD Ryzen AI MAX處理器（比如Strix Halo系列），專為AI應用和高效能運算設計。它標配128GB記憶體，適合跑大型語言模型（LLM）或者玩遊戲、做開發之類需要大記憶體和算力的任務。GPU方面，它內建了Radeon 780M整合顯示卡，效能相當於中低端獨立顯示卡，能應付一些不太吃顯示卡的老遊戲或者輕量級圖形任務。
它的亮點是模組化設計。你可以自己換零件，比如記憶體、儲存，甚至前臉還有21個可換的裝飾塊，能隨便DIY外觀。埠也很靈活，有兩個擴充套件卡槽，能插USB-C、USB-A或者其他介面卡，跟Framework筆記本的擴充套件卡系統差不多。它跑Windows或Linux都行，不像蘋果那樣鎖死生態。
價格上，128GB記憶體版本賣1999美元，便宜點的可能有不同配置可選。
總之，這玩意兒是給喜歡折騰硬體、想跑AI模型或者要一臺小而強電腦的人準備的，跟傳統桌上型電腦比，它更開放、更環保，但效能上限可能不如高階遊戲PC。
有人覺得它跑大模型會慢，但具體咋樣還得看實際測試。
跑DeepSeek的表現咋樣？以下是網友幾個觀點：
- 密集模型能跑，但慢，還是能跑密集模型的。速度不快，也不是沒用。就算跑個32B模型，也能有更大的上下文。
- MoE模型有限制：每個標記都得啟用全部權重。MoE模型有8個專家，每個token只啟用2個，只用模型的一小部分，能省很多算力和頻寬。所以MoE在算力頻寬有限（比高階GPU差）、但記憶體夠大的裝置上跑得挺好。
- 新技術加持
- 推測解碼：有個推測解碼技術，用同一系列的小模型（Draft模型）提速大模型推理。
- NPU幫忙：這臺討論的晶片（Strix Halo / Ryzen AI Max）有50 TOPS NPU，理論上能把草稿模型塞NPU，加速iGPU上的大模型推理。AMD在這篇文章裡秀過配置。例子用的是Strix Point（比Strix Halo弱的APU）。Deepseek-v2.5 236B在128GB MacBook MLX Q3上跑得還行，複雜上下文會崩，但我有20+ t/s的響應。
- 混合執行：等下一個Linux核心出來，就能並行用iGPU加NPU，效能還能再提。簡單說，能把任務丟給iGPU和NPU，就像有倆GPU，這叫混合流程實現（混合執行模式）。得走幾步，比如用ONNX LLM啥的，文件裡有細節，包括十幾個最佳化過的LLM，像DeepSeek和它的精簡版。現在在Windows上跑，等下個月新Linux核心。
跑大模型慢，但有潛力
Framework Desktop跑大模型雖然慢，但有潛力：如果你想找個便宜簡單的方法試Huggingface的新模型，它真挺不錯。如果能用tensor-parallel在叢集裡跑，4臺一起可能會很快跑deepseek-R1這類模型。很多人喜歡本地玩70B的LLM模型（得有128GB視訊記憶體）。
總結
如果不願花7000美元買MacBook就只是為了練習學習LLM。配128GB記憶體的Framework Desktop就很合適，但跑deepseek-R1慢，頻寬和算力不夠頂級。
可笑的是，Framework硬是用移動端SoC做桌面產品。殺手級LLM機器的零件都有了，但卻湊在一起不能跑大模型！
真希望其他公司能像Strix Halo這樣搞SoC，用高頻寬做桌面效能。蘋果早證明了統一高頻寬記憶體行得通。我不懂為啥非得把可以跑LLM機器弄得那麼小巧緊湊（Framework 、mac studio）。給我mac studio的記憶體頻寬加Framework 的記憶體定價（最好到256GB），再加個4080或4090級的GPU算力就行了。