Framework Desktop：跑DeepSeek够不够强

Framework Desktop是不是被吹得太厉害了，说它能跑DeepSeek这样的大模型LLM？但实际上，它的内存不够大，没法搞MoE（专家混合模型），带宽也不够，跑不了那些需要大量计算的密集型模型。

理论上，128GB内存跑LLM会因为带宽不够而卡顿。内存太少，跑不了那种MoE模型，没人会花2000块去跑一个被qwen 72b打爆的mixtral。我觉得今年会有新的MoE模型出来，尤其是因为像DeepSeek这样的大MoE模型现在很火。

Framework Desktop电脑128GB内存和带宽有限，跑MoE和密集模型都吃力。虽然性价比高，但是慢于高端GPU，却比7000刀MacBook划算，适合本地试新模型。期待更高带宽和GPU算力。

Framework Desktop是什么
Framework Desktop 是由Framework公司推出的一款模块化迷你台式电脑，设计理念跟他们之前的模块化笔记本电脑类似，强调可升级、可修复和用户自定义。它在2025年2月发布，是Framework的首款台式机产品，体积只有4.5升，非常小巧，但性能不弱。它跟Framework之前出的模块化笔记本一个理念，主打可升级、可修复、用户自己动手折腾。

这款电脑用的是AMD Ryzen AI MAX处理器（比如Strix Halo系列），专为AI应用和高性能计算设计。它标配128GB内存，适合跑大型语言模型（LLM）或者玩游戏、做开发之类需要大内存和算力的任务。GPU方面，它内置了Radeon 780M集成显卡，性能相当于中低端独立显卡，能应付一些不太吃显卡的老游戏或者轻量级图形任务。

它的亮点是模块化设计。你可以自己换零件，比如内存、存储，甚至前脸还有21个可换的装饰块，能随便DIY外观。端口也很灵活，有两个扩展卡槽，能插USB-C、USB-A或者其他接口卡，跟Framework笔记本的扩展卡系统差不多。它跑Windows或Linux都行，不像苹果那样锁死生态。

价格上，128GB内存版本卖1999美元，便宜点的可能有不同配置可选。

总之，这玩意儿是给喜欢折腾硬件、想跑AI模型或者要一台小而强电脑的人准备的，跟传统台式机比，它更开放、更环保，但性能上限可能不如高端游戏PC。

有人觉得它跑大模型会慢，但具体咋样还得看实际测试。

跑DeepSeek的表现咋样？以下是网友几个观点：

• 密集模型能跑，但慢，还是能跑密集模型的。速度不快，也不是没用。就算跑个32B模型，也能有更大的上下文。
• MoE模型有限制：每个标记都得激活全部权重。MoE模型有8个专家，每个token只激活2个，只用模型的一小部分，能省很多算力和带宽。所以MoE在算力带宽有限（比高端GPU差）、但内存够大的设备上跑得挺好。
• 新技术加持
  
  • 推测解码：有个推测解码技术，用同一系列的小模型（Draft模型）提速大模型推理。
  • NPU帮忙：这台讨论的芯片（Strix Halo / Ryzen AI Max）有50 TOPS NPU，理论上能把草稿模型塞NPU，加速iGPU上的大模型推理。AMD在这篇文章里秀过配置。例子用的是Strix Point（比Strix Halo弱的APU）。Deepseek-v2.5 236B在128GB MacBook MLX Q3上跑得还行，复杂上下文会崩，但我有20+ t/s的响应。
  • 混合执行：等下一个Linux内核出来，就能并行用iGPU加NPU，性能还能再提。简单说，能把任务丢给iGPU和NPU，就像有俩GPU，这叫混合流程实现（混合执行模式）。得走几步，比如用ONNX LLM啥的，文档里有细节，包括十几个优化过的LLM，像DeepSeek和它的精简版。现在在Windows上跑，等下个月新Linux内核。

总结
如果不愿花7000美元买MacBook就只是为了练习学习LLM。配128GB内存的Framework Desktop就很合适，但跑deepseek-R1慢，带宽和算力不够顶级。

可笑的是，Framework硬是用移动端SoC做桌面产品。杀手级LLM机器的零件都有了，但却凑在一起不能跑大模型！

真希望其他公司能像Strix Halo这样搞SoC，用高带宽做桌面性能。苹果早证明了统一高带宽内存行得通。我不懂为啥非得把可以跑LLM机器弄得那么小巧紧凑（Framework 、mac studio）。给我mac studio的内存带宽加Framework 的内存定价（最好到256GB），再加个4080或4090级的GPU算力就行了。