文明转向:注意力转向大模型而非人类

Andrej Karpathy认为:现在大部分内容还是写给人类看的,而不是给LLM(大型语言模型)用的。

他认为:2025年应该开始转变为:99.9%的注意力将会是LLM的注意力,而不是人类的注意力。

举个例子:

  • 现在99%的代码库文档还是做成漂亮的.html静态网页,默认人类会点击浏览。
  • 但在2025年,文档应该变成一个单一的your_project.md文本文件,专门设计成能放进LLM的上下文窗口里。

代码库本身很容易通过程序整理成一个文件。

问题是,大部分信息(悲剧地)被锁在了那些专为人类设计的格式里——网页、PDF文件、图片、视频、音频等等,这些都是前LLM时代的技术。

attention=context

前 OpenAI 的研究员 Andrej Karpathy 最近提出了一个关于未来的想法:大型语言模型(LLM)可能会成为我们获取内容的主要方式。他在 X 上写了一篇文章,解释说虽然大部分内容还是由人类写的,但未来 99.9% 的优化工作会集中在让这些内容更适合 LLM 阅读,而不是人类。这种变化可能会彻底改变我们写文档和其他内容的方式。

Karpathy 举了个例子,现在的文档通常是以 .html 格式的网页形式存在,假设人们会去点击阅读。但他预测,到 2025 年,文档可能会变成专门为 LLM 优化的单个文件,这样 LLM 能更好地理解和处理这些信息。

他还提到,虽然把代码库合并成一个文件技术上不难,但真正的挑战在于那些为人类设计的格式,比如网站、PDF、图片、视频和音频文件。这些格式在 LLM 时代之前就有了,所以对 AI 来说不太友好。Karpathy 认为,我们需要新的标准,让内容既能被人读,也能被机器读。

有个叫“llms.txt”的新标准就是朝着这个方向努力的。这个标准由 Jeremy Howard 提出,它的作用类似于 index.html,但是专门给 AI 系统用的。index.html 会把用户引导到网页的 HTML 版本,而 llms.txt 则会把 AI 引导到机器更容易读的 Markdown 版本。这样,网站就可以同时保留人类可读和 AI 优化的版本。一些公司,比如 Anthropic,已经开始用这个标准了。

这种变化不仅仅是技术上的,它还会影响到整个数字内容经济。现在的内容经济主要靠人类的注意力赚钱,比如通过广告和订阅。但如果内容主要是给 AI 消费的,那么这个行业就需要彻底改变它的赚钱方式。

另外,AI 公司已经开始授权直播新闻,这引发了一些重要的问题。当像 OpenAI 这样的公司能决定他们的 AI 系统看到什么内容时,他们实际上就变成了信息的守门人。这种变化可能会改变我们每个人发现和消费在线内容的方式,也让我们开始思考谁在控制我们获取信息的渠道。考虑到 LLM 在处理和复制信息时还经常出错,这种风险就更大了。

如果大部分注意力都转向了LLM(大型语言模型)而不是人类,那么我们组织和传递内容的方式就需要发生巨大的变化:

1、库和API的文档的变化

  • 现状:文档通常分散在多个页面上,导航是为人类读者优化的。它假设人类会点击、搜索并拼凑信息。
  • 2025年的愿景:文档变成一个单一的、密集的、结构良好的.md或.txt文件,设计成适合LLM的上下文窗口。它包括:
    • 清晰、简洁的解释。
    • 结构化的示例和用例。
    • 最少的视觉杂乱(不需要漂亮的格式)。
    • 供LLM理解上下文的元数据(例如,“这是一个用于数据处理的Python库”)。

2、新闻和媒体的变化

  • 现状:文章是为人类参与而写的,有吸引点击的标题、SEO优化和旨在让读者留在页面上的叙事结构。
  • 2025年的愿景:新闻被提炼成事实性的、密集的摘要,优化为LLM消费。每篇内容包括:
    • 清晰的信息层次结构(标题→关键点→细节)。
    • 结构化数据(例如,“事件:X,地点:Y,日期:Z”)。
    • 最少的观点或叙事废话。

3、教育内容的变化

  • 现状:课程、教程和教科书是为人类的学习节奏设计的,有视觉元素、轶事和逐步的进展。
  • 2025年的愿景:教育内容被压缩成密集的、模块化的块,优化为LLM处理。每个模块包括:
    • 清晰的学习目标。
    • 简洁的解释。
    • 结构化的示例和练习。

网友: 设计了四种最成功语言的Anders Hejlsberg没有摆脱以人类为中心的价值判断,依然用人类舒适的Go语言重写Typescript,如果他能考虑未来转向以大模型为核心,那么他会选择Rust吗?

相关: