• 有了长期记忆,语言模型可能会更加具体——或者更加个性化。MemoryGPT 给人的第一印象。 语言模型中更大的上下文窗口有助于它们同时处理更多信息。 但是,缩放上下文窗口可能存在技术和财务限制。在可预见的未来,可能需要用于长期机器记忆的新记忆系统。 借助“Me
  • 语言本质上是一个由语法规则支配的复杂、错综复杂的人类表达系统。它对开发能够理解和掌握语言的人工智能算法提出了重大挑战。 作为一种主要的方法,语言建模在过去20年里被广泛研究,用于语言理解和生成,从统计语言模型发展到神经语言模型。
  • 对于每一款新iPhone,我们都期望更长的电池续航时间。 上下文窗口长度是LLM的新电池。对于每一个新的GPT,将有更多,直到上下文变得无限。 上下文检索并不新鲜,可以与注意力深度整合,而不是嵌入式搜索。 icon
  • 一个开源聊天机器人,通过微调LLaMA对约70 K用户共享的ChatGPT对话进行训练。 声称达到“OpenAI ChatGPT和Google Bard的90%以上 * 质量,同时在90%以上 * 的情况下优于LLaMA和斯坦福大学Alpaca等其 icon
  • 设计一个该死的解决方案实际上是软件开发过程中最困难的部分。低代码工具通过暗示编写代码是最难的部分来欺骗客户。 任何低代码工具都不能使你免于花时间正确设计你的定制软件,也不能使你免于在围绕半成品设计建立解决方案时所经历的后果。 icon
  • AutoGPT正在以惊人的速度改进,并可能很快改变业务的面貌。 上周刚刚出现的AutoGPT旨在自动执行GPT-4任务,允许创建代理,在没有任何干预的情况下为您完成任务。我们将迎来有多个AI Agent(AutoGPT)相互协作的新人工智能阶段!< icon
  • 与 ChatGTP 衔接的 chrome 扩展,用于在技术面试中作弊(或仅在虚拟会议上生成响应) 目前它仅适用于 google meet,因为它取决于其隐藏式字幕,因此您必须打开隐藏式字幕。然后聊天将开始被记录。然后选择聊天的开始和结束以提示cha icon
  • 发展心理学中的“核心知识(Core knowledge)”:确定了一系列被认为是连贯的心理实体的抽象概念,包括“主体”,“对象”,“数字”,“社会群体”,以及相关的推理过程。 人类的认知部分建立在代表物体、行动、数字和空间的四个系统上。它也可能建立 icon
  • 将 OpenAI API 引入 PostgreSQL 以使用人类语言运行查询的实验性扩展。 该扩展将数据库模式的一个子集发送到 ChatGPT,并要求它根据此和用户输入生成一个查询。 安装 icon
  • 涌现emergent :定义为一种能力“不存在于小模型中,但......存在于大模型中。” 在大型语 icon
  • NLP 在金融技术领域的应用广泛而复杂,应用范围从情感分析和命名实体识别到问答。 大语言模型 (LLM) 已被证明对各种任务有效;但是,文献中没有报道过专门针对金融领域的LLM。在这项工作中,我们展示了 BloombergGPT,这是一个 500 icon
  • 在计算机科学的许多领域(密码学,NP复杂性),验证解决方案比生成解决方案容易得多。这篇博客文章发现大语言模型LLM(主要是GPT-4)可能能够自我验证其解决方案。 与概率推理和最优控制中的大多数算法思想一样,让代理者自己批评其决策以使其变得更好是一 icon
  • 展示了如何迅速工程可以是一个真实的的系统的方法,从语言模型中提取的价值。 “提示工程Prompt Engineering”源于语言模型的发展,描述了应用提示以有效地从语言模型中提取信息的过程,通常用于现实世界的应用程序。 icon
  • 训练/研究微小的GPT很有趣,因为它变得很容易可视化,并对整个动态系统有一个直观的感觉。 这是一个带有两个标记0/1和上下文长度为3的小型GPT,将其视为有限状态马尔可夫链。它在序列“111101111011110”上训练了50次迭代。 < icon
  • 基于 Transformer 的大型语言模型在机器学习研究领域发展迅速,应用范围涵盖自然语言、生物学、化学和计算机编程。从人类反馈中进行极端缩放和强化学习显着提高了生成文本的质量,使这些模型能够执行各种任务并推理他们的选择。 在本文中,我们提出了一 icon
  • 这是上周顶级 ML 论文(3 月 27 日至 4 月 2 日): BloombergGPT 一个新的 50B 参数的金融 LLM。声称拥有 3630 亿个令牌的最大特定领域数据集......进一步增加了来自 icon
  • GPT-4之于皮尔士符号学就像冯·诺依曼计算机之于布尔逻辑。 然而,不同之处在于GPT-4的架构师(与冯·诺依曼不同)并不了解皮尔士符号学。 为何需要符号学(Semiotics)?语义学不行吗?语义学的概念本身掩盖了太多的细节。 我们需要一 icon
  • icon