Scaling law法则结束
GPT-4.5作为OpenAI最新发布的模型,虽然在某些方面(如自然语言理解、生成能力以及减少“幻觉”问题)比GPT-4有所改进,但其智能水平的提升幅度被认为非常有限。相比从GPT-3.5到GPT-4的显著飞跃,GPT-4.5的进步更多是渐进式的优化,而非革命性的突破。这表明,单纯依赖预训练,通过堆砌更多参数和数据来逼近“更高智能”的方法,已经遇到了收益递减的瓶颈。
GPT-4.5的训练成本据推测远超GPT-4,甚至可能是前者的数倍。然而,这种巨大的资源投入并未带来等比例的性能提升。例如,有观点指出,GPT-4.5在部分基准测试中甚至不如竞争对手(如Claude 3.5或DeepSeek V3),但其价格却高出后者数十倍乃至数百倍(据称比DeepSeek V3贵272倍)。这反映出预训练路线的性价比正在迅速下降,进一步支持“预训练时代结束”的论断。
GPT-4.5仍然是一个以预训练为主的模型,未深度融入强化学习(RL)或复杂的推理机制。而当前AI领域的趋势表明,未来的突破可能更多依赖于强化学习、链式思维(Chain-of-Thought)或其他后训练技术,来提升模型在逻辑推理、问题解决和上下文理解上的能力。预训练虽然奠定了语言模型的基础,但无法独自解决更高阶的智能需求,因此被认为是“走到尽头”。
英伟达或开启调整,英伟达在业绩大幅增加的情况下,大跌8%,再次验证很多人已经不看好scaling law法则了。
奥特曼在GPT-4.5发布后说:我们的芯片已经全部用完,可解读成:我已经把家当全部用来算了,这就是结果。
总之:
预训练扩展正在放缓。这就是推理模型优于 4.5 的原因
扩展进度现在处于训练后和测试时计算中(也就是推理思考模型)