人类大脑是个奇怪的器官。它一边觉得"744B参数的大模型肯定要堆满整个机房的服务器"，一边又对"25GB内存就能跑"这个事实产生生理性的怀疑。
这个叫colibri的项目，直接把你对AI硬件的认知按在地上摩擦。它干了一件事：把一个拥有7440亿参数的巨型MoE模型，塞进了一台普通游戏本的16GB内存条里。你没看错，就是那种你用来打《原神》的电脑。纯C语言编写，零依赖，专家层直接从硬盘流式读取。这不是优化，这是对传统AI部署范式的贴脸嘲讽。
我花了整个下午把它的技术文档、代码仓库和社区反馈翻了个底朝天。这玩意儿背后的认知颠覆感，比第一次看到《三体》里的智子展开还上头。
参数海洋里的幽灵船
先感受一下744B参数是什么概念。绝大多数人电脑里跑个7B模型就卡得风扇起飞，觉得13B已经是家用极限了。744B是7B的一百倍还多。如果用FP16精度存，光模型文件就得1.5TB，足够把市面上所有2TB固态硬盘塞满还带拐弯的。
但colibri告诉你，这东西在25GB内存里活得好好的。它怎么做到的？核心秘密就两个字：MoE。Mixture of Experts，混合专家模型。意思是这744B参数不是每次推理全都要用上。每次你问它一个问题，它只激活大概400亿参数。四百亿听起来还是很大对吧？但四百亿用int4量化后就是20GB左右。还没完，最关键的一刀砍在注意力机制上。
GLM-5.2用了MLA注意力，压缩后的KV缓存每token只占576个浮点数。如果你不知道KV缓存是什么，你只需要知道：普通多头注意力每token要占32768个浮点数。直接砍了57倍。这一步把推理时的内存驻留需求从"不可能"变成了"有点挤但能塞下"。
把硬盘当内存用的疯子和他的蜂鸟
项目叫colibrì，意大利语的蜂鸟。蜂鸟体重几克，一天拜访上千朵花。这引擎让一个七千多亿参数的巨兽，活在25GB内存和一块固态硬盘的牙缝里。项目作者在README里写的原话：它不快。在一个744B的前沿模型上，冷启动时每生成一个token要读11GB的硬盘数据。注意是每个token，不是每次对话。这速度大概在0.05到0.1 token每秒。你打一行字的时间，够它生成一个标点符号。
看到这你可能会说，那这玩意儿有个屁用。但作者紧接着补了一刀：这个速度跑在一个WSL2虚拟硬盘上的NVMe，随机读取被限制在每秒1GB。也就是说，你花几千块钱买的消费级硬盘，在这台开发机上跑出了地狱难度。如果你的机器是原生Linux加PCIe 4.0固态，速度可以飙到0.5到1 token每秒。如果再狠一点，用64GB内存把热门专家全缓存起来，能冲到2到4 token每秒。
等会儿，2到4 token每秒跑一个744B模型？这已经比某些人在云端调用GPT-4的体验还好了。而你的硬件成本可能是一张H100显卡价格的百分之一。H100一张三万多美元，colibri跑在的游戏本可能只要一千美元。
你电脑里藏着的超级计算机
这就引出了一个认知上的深层荒谬。我们被大模型厂商洗脑太久了。他们告诉你，好模型必须跑在云端，必须用专用集群，必须交订阅费。然后colibri跳出来说，你那台吃灰的游戏本，那台用来刷B站的笔记本，那块用来存盗版电影的固态硬盘，凑一起就能跑一个世界顶级模型。
当然，作者非常诚实。他在文档里把每个数字都摊开了给你看。370GB的模型文件在硬盘上长眠，9.9GB的密集参数常驻内存，21,504个路由专家躺在磁盘里随时待命。每次推理去磁盘捞八个专家回来算，每个专家19MB。如果你在WSL2上，那可怜的每秒1GB随机读取速度就是你的天花板。每秒0.1个token，比蜗牛还慢，但注意，蜗牛不会回答你"人生的意义是什么"。
更有意思的是，这引擎还有一个学习缓存。它会记录你实际用到哪些专家，然后在空闲内存里自动固定那些最热的。也就是说，你用得越多，它越快。这不再是冷冰冰的静态模型了，它像一只真的蜂鸟，记住了你常去的几朵花，每次直接飞过去。
当MTP投机解码开始整活
如果你觉得上面这些还不够硬核，那看看MTP投机解码。这玩意儿是GLM-5.2自己的多token预测头，提前帮你把后面的token猜好，主模型一次性验证一堆。社区实测数据，int8精度的预测头能达到39%到59%的接受率，每次前向传播推进2.2到2.8个token。
但荒诞的是，int4精度的预测头接受率直接崩到0到4%，投机解码直接躺平不干活。作者在GitHub的issue里和社区用户反复拉扯，最后在README里加了一句话：MTP头默认用int8，转换器自己会处理。你用int4去量化那个预测头，它就直接罢工。这个细节太让人想笑了。一个为了省钱把模型压缩到极致的项目，在最关键的速度提升模块上告诉你：这地方不能省，省了就全完了。
更搞笑的还在后面。社区实测数据，Intel Core Ultra 7 270K，24GB内存，默认配置下跑0.07 token每秒。专家命中率3%到4%。然后加了一个参数--topp 0.7，直接飙到0.11 token每秒，命中率涨到11%。一行参数，速度提升57%。这说明什么？说明自适应专家选择比瞎蒙靠谱得多。你啥都不用干，敲个参数，模型自己就知道该找谁。
Apple M5 Max用户的凡尔赛现场
再去看看Issue区。有个老哥用Apple M5 Max跑的，128GB统一内存，内部固态，O_DIRECT测速14.2GB每秒。你猜他跑出多少？1.06 token每秒。专家命中率23%，内存占用21.8GB。这老哥在帖子结尾补了一句：744B模型在笔记本固态上跑出每秒1个token。我盯着这句话看了十秒钟。这已经不是凡尔赛了，这是活体证明你家的游戏本可能真的能跑前沿大模型。前提是你愿意等。
作者在预测表格里写，PCIe 5.0 NVMe或者双盘RAID 0，64GB内存，大概能跑2到4 token每秒。128到256GB内存，十二核CPU，热专家全部缓存，也是2到4，因为那时候瓶颈在矩阵乘法上，CPU算力跟不上。唯一能突破天花板的，是32核加AVX-512指令集，那时候能干到5到15 token每秒，才勉强算得上"交互式"。
你看，又来了一个荒谬点。你以为硬盘是瓶颈的时候，内存是瓶颈。你升级了内存，CPU成了瓶颈。你加核数，指令集又不够了。优化这件事没有尽头，colibri像一个黑洞，把所有硬件性能全吸进去，然后告诉你：还不够，再给点。
当量化精度开始拷问价值观
这里面藏着一个更深的矛盾。量化。int4精度把模型体积压到370GB，代价是什么？作者在文档里写了一段非常诚实的话：我们从来没测过量化的精度损失有多大。基准测试的代码写好了，但是在我的破开发机上跑完一次要好几天。这活儿谁有快机器谁帮我跑一下。这大概是我见过最卑微的开源请求了。项目作者用一台12核25GB内存的笔记本写出了一个能在世界顶级模型上推理的C引擎，结果跑个测试要跑一整天。他直接把问题抛给社区：你们谁有钱买好机器，帮我跑一下，看看int4到底损失了多少智商。
官方说GLM-5.2在MMLU这些测试上大概是85%到95%的准确率。int4量化后如果掉到80%以下，说明这个量化方案不行。如果只掉两三个点，那这方案就封神。然后这个问题挂在那没人回答。整个项目最大的未解之谜，不是代码能不能跑通，而是量化后的模型到底降智了多少。
你想，一个能把744B模型塞进25GB内存的人，居然没条件测试自己塞进去之后模型变傻了多少。这种反差简直可以写进喜剧剧本。更离谱的是，整个项目所有测试都在WSL2上完成，开发机内存就25GB，刚好卡着模型跑起来的门槛。这意味着作者写代码的时候没有任何容错空间。稍微多开一个浏览器标签页，模型就直接OOM（内存溢出）崩溃。
硬盘会被读坏吗？你的担心是多余的
关于固态硬盘寿命，作者专门写了一小段。冷启动每token读11GB，看起来挺吓人对吧。但读操作不磨损SSD，真正磨损的是写操作。如果系统内存不够开始用swap，那就把硬盘当内存写了，这时候才真的伤盘。所以引擎的自动内存预算会尽量避开swap区。还有一个问题：长时间满速读盘会让廉价固态发热，注意监控温度。
这就像一个医生跟你说，别担心，你每天走十公里不会伤膝盖。但是如果你穿拖鞋跑马拉松，脚底板会着火。同样，你在WSL2的VHDX虚拟硬盘上跑这个东西，每秒1GB的随机读，SSD主控得忙到冒烟。作者说，读不坏，但是会热。这就很诚实了。他既没忽悠你买企业级固态，也没劝退你尝试。他只是告诉你数据，然后你自己看着办。
从FP8到int4的减肥手术
还有一个细节特别能体现这个项目的狂野风格。模型转换器是Python写的，会从Hugging Face上一个一个下载FP8的权重分片，每个大概5GB，当场解压成int4，存到硬盘上，然后立马删掉分片。全程FP8的完整756GB模型永远不会同时存在于硬盘上。
这就像你要做一顿满汉全席，但厨房只有一个碗。你每炒一个菜，吃完洗锅再炒下一个。最后桌上摆满了一百道菜，但你自始至终只用一个碗。这不仅是内存优化，这是对存储空间的极致理解。作者甚至写了这个转换是可断点续传的。你中途关机了，下次接着下。这代码写得有多细致，你细品。
面对现实吧，它真的不快
回到速度问题。每秒0.05个token的冷启动速度能干嘛？给你算笔账。你问它"怎么用Python写一个快速排序"，它要想十秒才开始蹦字。蹦完第一个字你泡了杯茶，第二个字出来你喝了半杯，第三个字出来你开始刷手机。等到它把完整答案吐完，你可能已经忘记自己问过什么。
但注意，这是冷启动。它有一个每层LRU缓存外加一个可选的固定热专家缓存。当你开始跟它聊第二个问题的时候，专家命中率蹭蹭往上涨，速度可能翻好几倍。社区里的Intel用户加了--topp 0.7之后速度从0.07涨到0.11，命中率翻了三倍。从一个词蹦五秒变成了蹦三秒。你还是能感觉到它在思考，但它不再像在睡午觉。
作者在文档里写了一段关于SSD的备注："这块硬盘我用了半年做这个项目，到今天还没坏。读数据不伤盘，你们别担心。"然后话锋一转："但是如果系统开始swap，你的硬盘会被写死。"这一段写得像在说一个冷笑话。他用半年高强度随机读来证明硬盘扛造，结果重点是在提醒你不要用swap。
当推理速度变成硬件军备竞赛
GitHub上有人在Issue区问："怎么跑得快？"作者给了三个步骤：第一步，换原生Linux别用WSL2。第二步，买个好固态。第三步，加内存。每一步对应的速度提升都给你算好了。这明摆着就是告诉你，跑得快跟我的代码关系不大，跟你的钱包关系很大。我代码已经尽力了，剩下的看你钞能力。
然后他补了一句：如果谁有好机器跑出好成绩，请发Issue告诉我，我缺数据。一个做了这么大优化的人，自己没条件测上限。你给他说"我用256GB内存跑到了每秒10个token"，他会开心得像个孩子。因为这意味着他的代码没白写，硬件天花板比他想象的高。
Hacker News社区核心观点总结
评论区最高频的情绪不是质疑速度，而是对项目精神的集体致敬。网友们普遍认为colibri本质上是"把不可能变成可能"的宣言。有人直言："最好的创意往往看起来理所当然——这就是其中之一。"项目作者只用一台12核25GB内存的笔记本就写出了能跑744B模型的C引擎，这种"用瑞士军刀造航母"的行为艺术，让社区产生了强烈的共情。评论区反复出现一句话："这就是黑客精神。"
关于0.05-0.1 token每秒的冷启动速度，社区分为两派。一派认为这速度"实用性归零"，连打字都比它快。另一派提出新思路：慢模型不适合聊天，但适合工单系统、夜间批量任务、代码审查等异步场景。有用户分享经验："1 token每秒的本地模型依然很有用——你给它一个任务，走开六到八小时，回来看结果。"这种将慢速从缺陷重新定义为"成本"的视角转换，引发了不少共鸣。
评论区对"慢电脑"的定义产生过短暂争议：有人质疑"25GB内存也叫慢？"随后被纠正——慢是指纯CPU推理，没有GPU。更有趣的是，社区自发形成了硬件性能预测与实测的"众包实验室"。Apple M5 Max用户晒出1.06 token/s，Intel Ultra 7用户通过调整--topp 0.7参数把速度从0.07提升到0.11，还有人声称要用Olares One（96GB内存+RTX 5090）挑战5 token/s。这些实时数据让帖子变成了活体硬件评测平台。
关于SSD寿命的讨论贯穿整个评论区：作者在README里写了详细的SSD警告，但社区发现了一个认知错位——项目本身只做随机读，读操作不磨损闪存。真正的问题在于swap导致的大量写入，以及持续满速读盘带来的发热。有用户精准点评："这不是磨损问题，是热管理问题。"另有人建议在NVMe RAID 0上跑、使用外部USB4硬盘、甚至把模型放在只读分区。讨论从技术担忧上升到了"如何在笔记本上安全运行消耗型应用"的实用指南。
评论区几乎无人追问"int4的GLM-5.2智商还剩多少"。这个在GitHub文档里被作者明确标记为"未测量"的问题，在Hacker News上反而被忽视了。社区更关注"能不能跑"，而不是"跑出来的东西好不好"。这恰恰说明colibri目前处于技术验证阶段——大家还在为它活过来鼓掌，还没到检验它聪明不聪明的时候。