DeepSeek黑科技SPCT：算力不变，性能翻番

1. 减少训练成本——动态调整计算量，避免冗余训练；
2. 提升泛化能力——适应多任务，无需反复微调；
3. 开源可商用——本地部署更灵活，降低依赖云端成本。

阅读原文点击标题：
强化学习（RL）有个大难题：除了那些能直接验证的问题或者人为定好的规则外，怎么才能让大语言模型（LLM）在各种任务里得到准确的"奖励信号"（就像告诉它"做对了还是错了"的评分）？

在这项研究中，我们探索了两个关键方向：

1. 让通用奖励模型（GRM）更"聪明"：通过增加对普通问题的推理计算量（比如让它多"想想"），提升奖励建模（RM）的能力——这叫"推理时扩展"。
2. 提升计算效率：用合适的学习方法，确保这种增加计算量的方式真的能提高性能，而不是白费算力。

实验证明，我们的方法 SPCT 大幅提升了 GRM 的质量和扩展性：

• 在各种 RM 测试中打败了现有方法，结果更准且没有明显偏差。
• 和单纯延长训练时间相比，SPCT 用更高效的方式达到了更好的效果。

不过，DeepSeek-GRM 在某些任务上仍有不足，但我们相信，未来对通用奖励系统的改进会解决这些问题。这些模型将全部开源发布，供大家使用！

本文介绍了 DeepSeek-GRM，这是一种新颖的奖励建模方法，可以实现有效的“推理时间扩展”：通过并行运行多个评估而不是需要更大的模型来获得更好的结果。

研究人员开发了一种称为自我原则批评调整 (SPCT) 的方法，该方法训练奖励模型以为每个评估任务生成量身定制的原则，然后根据这些原则生成详细的批评。

他们的实验表明，具有并行采样的 DeepSeek-GRM-27B 可以达到或超过更大的奖励模型（最多 671B 个参数）的性能，表明在推理时间而不是训练时间可以更有效地使用计算。

对于在本地运行 LLM 的爱好者来说，这项研究提供了一种无需大量模型即可实现更高质量评估的有希望的途径：

• 通过使用中等规模的奖励模型（27B 个参数）并使用不同的种子多次运行它，然后通过投票或它们的元 RM 方法组合结果，您可以实现与更大模型相当的评估质量：采用并行采样的 DeepSeek-GRM-27B 可以达到或超过更大的奖励模型（最多 671B 个参数）的性能
• 这是与采用贪婪采样的 GPT-4o 以及使用 4+ 个样本的带有 metaRM 的 Gemma32B GRM 调整模型进行比较。

这种生成奖励建模方法避免了标量奖励模型的领域偏差，使其更适用于不同类型的任务。这些模型将是开源的，可能让本地 LLM 用户能够使用高质量的评估工具。

为什么说这个新算法是本地运行大模型的福音？
这个新算法（SPCT）能成为本地大模型的福音，核心原因有4点，用大白话拆解

1. 省算力：
   • 传统方法靠“狂练”（训练时堆计算），它改成“聪明想”（推理时动态调整计算量），让普通显卡也能高效跑大模型，电费都省一半！