比尔·盖茨表示GPT技术已经达到了平台期


微软创始人比尔·盖茨在接受德国商业报纸 Handelsblatt 采访时表示,有很多理由相信 GPT 技术已经达到了稳定水平。

在 OpenAI 工作的“许多优秀人士”都相信 GPT-5 将明显优于GPT-4,其中包括 OpenAI 首席执行官 Sam Altman。

但盖茨认为当前的生成式人工智能已经达到了上限!(尽管他承认也可能自己判断是错的)。

早在2023 年 2 月,盖茨曾经告诉《福布斯》,他认为 OpenAI 在没有明确符号逻辑 的情况下开发人工智能模型的方法无法形成规模化。然而,OpenAI 让他相信,规模化可以带来重要的涌现 新兴能力。


达到了上限的部分原因是训练数据达到了上限:

  • openAI 已经能够很好地利用互联网来支持聊天 GPT,但它还不足以满足 10 倍规则:训练数据集需要比每个模型参数多10倍,目前ChatGPT是在在2或3。
  • 现在,很多大数据生产商都尽了最大努力来防止免费的网络抓取(要么停止、限制,要么在付费的情况下允许)
  • 网络现在充满了人工智能生成的内容(或人工智能辅助的内容)。因为它是人工智能生成的,所以它们作为训练数据集的质量较低(或多或少就像你只是复制/粘贴训练数据集一样)

这意味着,由于训练数据不足以用于进一步的模型,并且由于他们尚未设法在全球范围内收集现实生活数据,因此下一次迭代不会带来重大改进。

另外一个原因是:他还相信他们实现了 AGI,目前他的研究重点只是调整 ASI(超级智能),关注超级智能而不是通用人工智能,以强调更高的能力水平。

也有观点认为:盖茨不相信深度学习,符号逻辑意味着使用 if 语句进行正常编程:带有“IF”语句的逻辑是所有逻辑的子集,称为条件逻辑。但即便如此,也有各种各样的情况。近五年来,深度学习已被证明是生产通用智能系统的最有效手段。