GPT4.5代表预训练时代正式结束

OpenAI内部及业界专家(如Ilya Sutskever等)此前就曾预测,预训练的扩展性有限,未来需要新的范式。GPT-4.5的发布似乎验证了这一预测:它可能是OpenAI在传统预训练路线上的最后一次大规模尝试。后续的GPT-5据传将整合更多推理模型(如“o3”系列),转向更复杂的系统架构,这也暗示着预训练主导的时代正在让位给新的发展方向。

Scaling law法则结束
GPT-4.5作为OpenAI最新发布的模型,虽然在某些方面(如自然语言理解、生成能力以及减少“幻觉”问题)比GPT-4有所改进,但其智能水平的提升幅度被认为非常有限。相比从GPT-3.5到GPT-4的显著飞跃,GPT-4.5的进步更多是渐进式的优化,而非革命性的突破。这表明,单纯依赖预训练,通过堆砌更多参数和数据来逼近“更高智能”的方法,已经遇到了收益递减的瓶颈。

GPT-4.5的训练成本据推测远超GPT-4,甚至可能是前者的数倍。然而,这种巨大的资源投入并未带来等比例的性能提升。例如,有观点指出,GPT-4.5在部分基准测试中甚至不如竞争对手(如Claude 3.5或DeepSeek V3),但其价格却高出后者数十倍乃至数百倍(据称比DeepSeek V3贵272倍)。这反映出预训练路线的性价比正在迅速下降,进一步支持“预训练时代结束”的论断。

GPT-4.5仍然是一个以预训练为主的模型,未深度融入强化学习(RL)或复杂的推理机制。而当前AI领域的趋势表明,未来的突破可能更多依赖于强化学习、链式思维(Chain-of-Thought)或其他后训练技术,来提升模型在逻辑推理、问题解决和上下文理解上的能力。预训练虽然奠定了语言模型的基础,但无法独自解决更高阶的智能需求,因此被认为是“走到尽头”。

英伟达或开启调整,英伟达在业绩大幅增加的情况下,大跌8%,再次验证很多人已经不看好scaling law法则了。

奥特曼在GPT-4.5发布后说:我们的芯片已经全部用完,可解读成:我已经把家当全部用来算了,这就是结果。

总之:
预训练扩展正在放缓。这就是推理模型优于 4.5 的原因
扩展进度现在处于训练后和测试时计算中(也就是推理思考模型)