有了长期记忆，语言模型可能会更加具体——或者更加个性化。MemoryGPT 给人的第一印象。
- 语言模型中更大的上下文窗口有助于它们同时处理更多信息。
- 但是，缩放上下文窗口可能存在技术和财务限制。在可预见的未来，可能需要用于长期机器记忆的新记忆系统。
- 借助“MemoryGPT”，一位开发人员现在展示了一个类似于 ChatGPT 的界面，聊天机器人可以在其中记住以前的对话并从中检索或更新信息。
与语言模型的互动是指单个实例，例如在ChatGPT中是指单个聊天。在该聊天中，语言模型可以在某种程度上将输入的上下文纳入新文本和回复的考虑范围。
在目前最强大的GPT-4版本中，这是最多32,000个标记--大约50页的文本。例如，这使得我们可以就一篇长篇论文的内容进行聊天。为了找到新的解决方案，开发人员可以与更大的代码数据库交谈。
上下文语境窗口是实际使用大型语言模型的一个重要构件，这是Transformer网络实现的一项创新。
然而，越来越大的语境窗口在计算上很昂贵。因此，大型语言模型的进一步发展可能需要额外的记忆系统，将尽可能多的当前输入和新知识与语言模型的大量预训练知识相结合。
长期记忆可能是像ChatGPT这样的聊天机器人的下一个步骤
具体来说，语言模型将需要一种海马体，在人类大脑中，海马体将短期记忆转化为长期记忆，并将其储存在长期记忆中，在需要时进行检索。
例如，对于ChatGPT来说，这可以将以前的聊天信息编织到当前的聊天中："还记得我去年在海马体上的研究吗？请将其与当前关于边缘系统的研究联系起来，"这将是一个可能的提示。
在Twitter上，人工智能开发者 "Rik V. "展示了这个方向的第一个实验 "MemoryGPT"。据该开发者说，如果需要，他的系统可以 "永远 "记住以前的聊天记录。
"当你和它交谈时，它将记住关于你的东西。你的喜好，你的工作方式，你告诉它的任何事情，基本上。它将调整自己的行为以更好地适应你，并能帮助你/指导你，"该开发者写道。
如果您有兴趣测试 MemoryGPT，可以报名参加 Beta 测试。Rik V. 目前正在改进界面，测试计划于下周二开始。