当多家公司的多份媒体报告都报告了收益递减，Open AI奥特曼发推特说：there is no wall.
收益递减一说来自与OpenAI宫斗出局的伊利亚Ilya，他说靠大规模计算资源实现智能涌现的收益已经开始递减，此路不通。
新产品：
- OpenAI 即将推出“Operator”，这是一种能够独立处理编码和旅行预订等计算机任务的人工智能代理系统，并计划于 1 月份向开发人员提供研究预览和 API。
- OpenAI 首席执行官 Sam Altman 认为，AI 代理代表着人工智能的下一个前沿，专注于更智能地使用现有的语言模型。
- 除了 OpenAI，Anthropic、微软和谷歌等公司也在竞相开发自动化 AI 助手，通过连接子任务来简化整个工作流程。
论文1：
- 在一项新研究中，研究人员表明，人工智能模型的数值精度比以前认为的更重要。他们使用精度在 3 到 16 位之间的语言模型进行了 465 次训练。
- 科学家们发现，对于较大的模型，7-8 位是最佳选择。16 位训练的常见做法浪费资源，而 4 位训练则需要做出太多妥协。不过，他们仍然建议在固定模型大小的情况下使用更高的准确率。
- 人工智能研究员 Tim Dettmers 认为，这一结果预示着量化的极限。他预计，随着低精度带来的效率提升达到极限，人们将从纯粹的规模化转向专门的模型和以人为中心的应用。
论文2：
- 内存墙：本文讨论了“内存墙”问题日益严峻的挑战，即内存和通信的速度无法跟上计算能力的指数增长。这正在成为训练和服务大型AI模型的主要瓶颈，特别是在自然语言处理领域。 研究结果表明，内存带宽，而不是计算，正在成为像GPT-2这样的解码器模型的主要瓶颈，特别是在小批量的情况下。这是由于这些模型的自回归推断中固有的矩阵向量运算的较高的存储器操作和较低的算术强度。
网友：
- 唯一的墙是我们自己强加的。（消极世界观的人容易给自己受定限制）
附加：
OpenAI 联合创始人 Greg Brockman 在三个月的休假后重返工作岗位。在给员工的一封信中，Brockman 表示他正在与首席执行官 Sam Altman 合作，担任一个新职位，以便他能够专注于公司面临的“重大技术挑战”。
去年，首席执行官 Altman 短暂离职期间，Brockman 是 奥特曼Altman 的主要支持者。他的回归对 OpenAI 来说是个好消息，近几个月来，OpenAI 经历了几位知名人士的离职，包括首席研究员伊利亚Ilya Sutskever、首席技术官 Mira Murati、联合创始人John Schulman和几位安全研究员。Brockman 的回归结束了外界对他可能离开这家人工智能公司的猜测。