80%的模型体积被削掉，智商居然还保留82%。一群民间高手在Discord里把7530亿参数的顶级大模型塞进了不到2万块的显卡里，他们到底对模型干了什么？
模型体积与内存带宽构成第一道成本高墙
GLM-5.2是一个混合专家模型。7530亿参数在BF16精度下刚好占满1.56TB显存，这还没算KV缓存和推理时的额外开销。想跑起来，至少需要2TB高带宽内存。按市面上最便宜的DGX Spark方案算，16台起步价就是7万美元，这还只是硬件成本。
FP8和NVFP4量化技术能把权重从16位压缩到8位，直接砍掉一半内存占用。4位量化再砍一刀，只剩下原来四分之一的权重内存需求。过去整整一年，4位就是地板价。再往下压，模型要么崩掉，要么推理引擎根本不支持。
修剪专家突破四比特天花板
Cerebras团队发布了一篇关于修剪MoE专家的论文。他们搞了个叫REAP的方法，跑一堆“观察”数据，收集专家激活度和显著性分数。然后根据你的校准数据集来决定保谁杀谁。这就像公司裁员，留核心业务组，裁边缘项目组。
我拿REAP在编码、智能体任务、哲学、宗教经文和科学知识混合数据集上做了校准，砍掉34%的专家。压缩率干到82%，编码智能体体验稳如老狗。但代价也很明显，世界知识变少了，推理质量有点飘，模型在某些冷门话题上会陷入死循环。
这个REAP版本在terminal-bench-2.1上拿了70.8分，aider-polyglot上91分，GPQA Diamond上86分。但MMLU Pro直接掉了30个点。社区一个月内下载了3.5万次，占了原版16位模型下载量的8%。
GGUF量化用速度换显存
Llama.cpp早就能把大部分模型塞进消费级显卡。压到2位精度，权重内存需求只剩BF16的12.5%。Unsloth在这个低比特压缩领域更是无人能敌。他们把1.51TB的GLM-5.2缩到了238GB，减少了84%的体积，2位模型还保留了82%的准确率。256GB内存的Mac就能跑。
但Llama.cpp的速度是个大坑。预填充阶段慢得感人，并发支持基本等于没有。现在每个编码任务都会生成2到8个子智能体并行跑后台，Codex和Claude Code已经把自动化玩出花了。吞吐量比智商还重要。Llama.cpp只能当备胎。
VLLM兼容压缩与混合精度登顶
我搞的那批VLLM兼容压缩都是先用REAP修剪再量化到NVFP4。NVFP4在Blackwell卡上不仅能保留智商还能提供不错的速度提升。它在单次对话里直接生成了一整个Minecraft克隆版，日夜循环、完整物品系统、动物、无限地形，全都一次性搞定。
2026年4月DeepSeek发布了DS4-Flash的FP8/FP4混合精度模型。这玩意儿不新鲜，但给了社区启发。madeby561搞了个骚操作：192个专家压到NF3，64个高显著性专家留NVFP4，门控和注意力模块用MXFP8。三种精度混在一个模型里。这需要定制内核，Discord里几百号人不眠不休搞出来的。
混合精度方案把权重从1.51TB干到了300GB，80%压缩率，没动一刀修剪。模型智商几乎无损。
KV缓存砍半释放长文本潜力
权重搞定了，KV缓存又挡路。VLLM默认每张GPU都得装一份KV缓存副本，为了减少PCIe数据传输。但显存扛不住。混合精度方案下，最大上下文只有20万token。
把KV缓存分散到多张GPU上，直接飙到37万token。FP8精度。社区跑完各种评测后，在384GB显存里塞进了74万token上下文。并发更高，会话更长，推理还快了一丢丢。
ExllamaV3与TR3把专家压到三比特
KL散度是测量模型质量的标尺。把同样的token序列分别喂给BF16教师模型和压缩版学生模型，比较它们预测下一个token的概率分布差异。我用EXL3量化配合ExllamaV3推理引擎，在低于4位的模型上跑出了最高质量。
TR3用的是网格编码量化。普通量化是一个权重一个权重单独四舍五入，误差堆起来能炸。TR3把一整块权重打包处理，找最优压缩路径。伤害均匀分布，不会集中毁掉某个关键方向。不重要专家压到3位左右，REAP是直接删，TR3是精打细算地存。QTIP是这套压缩方法的理论基础。
Moet方案用二比特权重加FP4急救通道
vLLM-Moet把大专家矩阵存成符号对称的2位权重，再给热门专家单独搞个FP4增量缓存。路由器不确定时就重放那个token，用高精度专家权重重新算一遍。正常走W2便宜通道，紧急走FP4救火通道。
更野的是，W2都塞不进显存时，专家可以住内存或NVMe里，GPU只保留热数据。缺哪个专家就从硬盘拽，然后重放token。号称两张96GB卡就能跑GLM-5.2。我在单张RTX Pro 6000上测DeepSeek-v4-flash，100 token/秒，GPQA Diamond得分跟NVFP4几乎一样，就错了一题。
Moet不需要静态量化或修剪，跑的是原始模型权重，只按需缓存。这方法太新了，但值得盯紧。
前沿模型正在变成个人装备
五万美元是笔巨款，但一万二到一万五就咬咬牙能上了。Spark跑这个模型能有30 token/秒，干活完全够用。开源社区这帮人用几个月时间把企业级AI成本打到了地面。从七万刀到一万五刀，从服务器机房到桌面显卡，从闭源垄断到人人可调。我们离人人拥有自己的大模型那天，不远了。
开源社区用几个月把企业级AI从七万美元干到一万五，那些卖天价显卡的是不是该醒醒了？