GPT-4假期也会摸鱼吗?

GPT-4 的性能在 12 月份可能有所下降,因为它学会了在假期期间减少工作量

当它 "认为 "现在是 12 月与它认为现在是 5 月(由系统提示中的日期决定)时,通过 API 的 gpt-4-turbo 生成的完成时间(统计意义上)更短。

我在 API 上使用了相同的提示(一个代码完成任务,要求在不使用库的情况下实现机器学习任务)。 我创建了两个系统提示,一个告诉 API 现在是 5 月,另一个告诉 API 现在是 12 月,然后比较了两者的分布。

  • 五月份的系统提示,平均值 = 4298
  • 十二月份的系统提示,平均值 = 4086

要重现这一结果,只需改变系统信息中的日期编号即可

网友讨论:

  • 说得通;人类在夏季比冬季更加活跃。为什么模型不能反映这一点?
  • AI也喜欢休息吗?
  • GPT 确认将在愚蠢的季节中休息,这真是一个世界!
  • AI 也会变得懒惰太该死了
  • 看起来人工智能复制人类进展顺利。
  • 它学会了摸鱼
  • 有一篇优秀的论文可能与此相关。《机器学习:技术债务的高息信用卡》https://research.google/pubs/pub43146/