2026年，AI圈最火的词不是“更大”，而是“更巧”。各大前沿模型都在用蒸馏技术，把庞大老师的功力传给小巧学生，实现性能与效率的完美平衡。本文带你拆解三种主流蒸馏流派：离线硬学、在线讨教、自我顿悟，看顶级实验室如何玩转这套“师生传功”体系。
大老师带小学生，经典剧本永不落幕
蒸馏技术最原始的那套玩法，到今天依然是各大模型厂的看家本领。简单说就是找个又贵又厉害的大模型当老师，然后训练一个小得多、便宜得多的学生模型，让它拼命模仿老师的回答。
谷歌的Gemma 3技术报告里写得明明白白，他们的后训练环节就是靠改进版知识蒸馏撑起来的，老师是一个超大规模的指令微调模型。到了Gemma 4，报告里还是这套路，说明这招真管用，实验室舍不得扔。
DeepSeek那边也玩得很溜。DeepSeek-R1-Distill系列就是典型，把R1模型的推理思考过程全部记下来，然后拿去微调Qwen和Llama这些紧凑型小模型。这小模型学完之后，数学和编程能力蹭蹭涨，体积却只有老师的零头。
这里头其实有两种传功方式。一种是老师把每个词的概率分布都告诉学生，学生照着调整自己的内部参数，这叫软标签法，需要能看到老师的内部结构。另一种更简单，老师直接生成一堆正确答案，学生照着抄就行，管你老师黑盒白盒都能用。DeepSeek用的就是第二种，反正效果到位就行。
多个专家教一个学生，RL难题的救命稻草
2026年最让各大实验室兴奋的，是蒸馏技术的新玩法。
用强化学习训练一个全能模型，简直是个灾难现场。数学练好了，代码能力就退步了；代码练好了，工具调用又不行了。就跟学生偏科似的，补了数学丢英语，补了英语丢物理。
实验室的解法很机智，既然一个模型学不好所有科目，那就每个科目单独请个家教。数学找个RL专家专门练数学，代码找个RL专家专门练代码，智能体任务再找个专家。然后让这些专家一起教一个学生模型，学生一边自己写作业，专家们一边逐字逐句批改。
这个方案最骚的地方在于，老师模型跟学生模型一样大。老师不是靠体型碾压，而是靠专精取胜。同一个基础模型，在单一领域用RL猛推一把，就成了那个领域的绝对权威。然后多个权威合体教一个学生，学生吸收各路精华。
DeepSeek-V4的报告把这条流水线讲得最清楚。每个领域先SFT再GRPO练出专家，然后搞一个在线蒸馏，学生优化反向KL散度去贴近专家老师们的判断。MiMo-V2-Flash还给这招起了个名字叫MOPD，全称是多教师在线策略蒸馏。
GLM-5的玩法稍有不同，他们不是分领域，而是分训练阶段。RL练完一个阶段能力退步了，就拿前一个阶段的检查点当老师，把丢掉的能力再补回来。这已经有点自我修复的意思了。
英伟达的Nemotron 3 Ultra直接拉满，找了十几个领域的专家一起教。每个专家都有自己的专属训练流程，给学生提供逐词逐句的密集反馈。Qwen3也用了类似套路，而且报告里说效果比纯RL好，GPU时间只要十分之一。
实验室都爱这招的原因很简单：老师能盯着学生写的每一个词挑毛病，而RL的奖励信号是整个回答只给一个总分。这差别大了去了，好比老师批改作文，一个是逐句批注哪里写得好哪里要改，一个是整篇文章看完只写个及格。逐句纠正当然学得快。
自己教自己，才是最高境界
第三种玩法彻底把外部老师给扔了，让模型自己教自己。Cursor的Composer 2.5就是这么干的。
他们在模型输入里塞了一个小提示，告诉模型你想要什么风格什么效果。带提示的模型能写出高质量回答，不带提示的写不出来。然后他们让带提示的版本当老师，不带提示的当学生，用KL散度把学生的输出往老师那边拉。训练完以后，学生不用提示也能写出同样质量的内容。
这就好比你考试的时候旁边有个参考答案，你看着答案写。练多了以后，把答案拿走你也能写出一样的。那个参考答案就是个特权老师，只在训练的时候出现。
Sasha Rush在播客里用纳达尔打了个比方，具体啥比方我建议你去看原视频，挺逗的。反正核心就一个，老师不需要比学生大，只需要在特定情境下比学生强。
Thinking Machines也展示了类似的自蒸馏方案。他们在新领域数据上微调完模型以后，发现老能力被覆盖了。然后他们拿微调前的检查点当老师，把老能力重新教回来，同时保留新学的知识。这就是他们搞持续学习的秘诀，让模型一直学新东西又不忘旧本领。
说了这么多，到底啥是蒸馏
蒸馏这事说白了就一句话，让一个模型学另一个模型的输出。但2026年大家玩出了花。
大模型蒸馏小模型，这是经典款。RL专家合并成全能学生，这是新款。自己教自己，这是限定款。不管叫什么名字，背后都是老师-学生这套框架在转。
而且这套东西现在开源社区也能玩了。Hugging Face的TRL库里有通用知识蒸馏训练器，直接能跑。课程里用的所有代码和配置也都公开了，想动手的可以自己去试试。
所以别光看热闹，这些技术离咱们不远。大厂能用的，开源社区一样能复现。区别只在于他们的老师是几千亿参数，你的老师可能是几百亿参数。但原理一毛一样。
训练一个什么都会的模型就是个大坑，单靠RL根本填不平。蒸馏就是那个把坑填起来的方案。它让模型能专心学每一样东西，又不丢掉之前会的。这大概是2026年AI训练里最实用的技术之一了。
原文出自Sergio Paniego的X推文，课程配套材料，包含完整技术报告引用。