M4 Max跑大模型？慢得离谱

虽然这台电脑能勉强运行大模型，但实际体验很差。举个例子：连最小的14b精简版Qwen模型（4bit压缩版）都跑得特别卡（每秒只能处理40个token，还老是中途出错，得整个文件重新来），而且生成的内容质量很糟糕。因为速度太慢，在Roo Code和Cline这些软件里根本没法用32位模式。

这可是市面上最贵的苹果笔记本啊！

这些电脑都贵得要命，但从来没人提醒它们根本不适合本地AI。真要玩AI的话，你不如：买前一两代的NVIDIA显卡，或者去租云服务器，或者直接花钱用在线API——这样质量和速度都有保障，还不用花大价钱买设备。

如果你非要买MacBook Pro，那就省点钱：买最低配的内存，自己加装固态硬盘，另外再配专业显卡来跑本地AI。

这确实是台好电脑，但必须说实话：如果你冲着AI性能买它，肯定会大失所望。

PS：不是说MacBook不好。我自己用了15年，觉得特别棒。只是提醒大家：别指望这些贵上天的顶配机型是AI神器。我之前用64GB内存的M1 Max时，刚开始还能兴奋地跑大模型，后来就因为上面说的原因再也不用了。现在M4虽然更快，但本质上没啥区别。

网友：

1. 下载一些 llama.cpp 版本，并使用 -m 和 -md 运行 llama-server 以绘制草稿模型。使用 1B 或更小的模型进行绘制。
2. 如果 Q4_K 出现故障，则使用 Q6_K。
3. 使用自定义系统消息将系统令牌数量从 8k 减少到约 2k。您可以要求任何 AI 提供带有完整语法和示例的缩小版本。
4. 购买 2x 3090 并用来代替房间加热器。
5. 等待几十年（以今天飞速的人工智能发布时间表来看，只需要几个月）就能看到小型智能模型。