对于每一款新iPhone，我们都期望更长的电池续航时间。
上下文窗口长度是LLM的新电池。对于每一个新的GPT，将有更多，直到上下文变得无限。
上下文检索并不新鲜，可以与注意力深度整合，而不是嵌入式搜索。
另一个有趣的事情是，新iPhone通常需要更大的电池来使用更有用的应用程序。这正是LLM正在发生的事情。更长的序列可以支持更多的真实的世界应用。
这是LLM超级智能的第一个迹象，没有人将50页的文本作为上下文内容长度，但GPT-4已经做到了。GPT-5可以很好地使用整本书的文本作为上下文。以这种规模综合信息将改变世界。
我已经等不及不再需要在ChatGPT中搜索以前的对话了。总有一天，我会输入“嘿，还记得我们的谈话（随机主题）我们能重温一下吗？”“然后继续我们的谈话。
上下文长度就像早期计算开发中的内存。我可以想象它达到GB TB的水平，到那时，奇点开始。
banq：上下文为王
人脑有限，记住的上下文窗口很小，无法涌现高智商。