ChatGPT等OpenAI技术

对于每一款新iPhone，我们都期望更长的电池续航时间。 上下文窗口长度是LLM的新电池。对于每一个新的GPT，将有更多，直到上下文变得无限。 上下文检索并不新鲜，可以与注意力深度整合，而不是嵌入式搜索。

一个开源聊天机器人，通过微调LLaMA对约70 K用户共享的ChatGPT对话进行训练。 声称达到“OpenAI ChatGPT和Google Bard的90%以上 * 质量，同时在90%以上 * 的情况下优于LLaMA和斯坦福大学Alpaca等其

AutoGPT正在以惊人的速度改进，并可能很快改变业务的面貌。 上周刚刚出现的AutoGPT旨在自动执行GPT-4任务，允许创建代理，在没有任何干预的情况下为您完成任务。我们将迎来有多个AI Agent（AutoGPT）相互协作的新人工智能阶段！<

发展心理学中的“核心知识（Core knowledge）”：确定了一系列被认为是连贯的心理实体的抽象概念，包括“主体”，“对象”，“数字”，“社会群体”，以及相关的推理过程。 人类的认知部分建立在代表物体、行动、数字和空间的四个系统上。它也可能建立

将 OpenAI API 引入 PostgreSQL 以使用人类语言运行查询的实验性扩展。 该扩展将数据库模式的一个子集发送到 ChatGPT，并要求它根据此和用户输入生成一个查询。 安装

涌现emergent ：定义为一种能力“不存在于小模型中，但......存在于大模型中。” 在大型语

NLP 在金融技术领域的应用广泛而复杂，应用范围从情感分析和命名实体识别到问答。 大语言模型 (LLM) 已被证明对各种任务有效；但是，文献中没有报道过专门针对金融领域的LLM。在这项工作中，我们展示了 BloombergGPT，这是一个 500

甚至在一周前，人们还不清楚ChatGPT+Wolfram会是什么样子。但这些现在进展如此迅速的东西是建立在几十年前的发展基础上的。在某些方面，ChatGPT+Wolfram的到来最终将历史上采取的两种主要的人工智能方法结合在一起，而这两种方法长期以来一直被认为是不相干和不相容的。 <

微软发布了一篇154页的关于OpenAI GPT-4的论文：通用人工智能的火花：GPT-4 的早期实验，文章说：

在计算机科学的许多领域（密码学，NP复杂性），验证解决方案比生成解决方案容易得多。这篇博客文章发现大语言模型LLM（主要是GPT-4）可能能够自我验证其解决方案。 与概率推理和最优控制中的大多数算法思想一样，让代理者自己批评其决策以使其变得更好是一

随着GPT年龄增长，RLHF正在摧毁创造力，就像我们的社会对每个人所做的那样！ 刚开始生活时我们是最有创造力的，随着时间的推移，我们收到其他人类的反馈，说我们的创造性产出是不正常的，可悲的是我们听信了。

AI不会来抢你的工作...但它是为你的雇主而来! 人工智能将给经济带来进化的压力，这将深刻地改变我们的工作方式。 在我深入探讨这个问题之前，让我们先谈谈什么是公司，以及它们为什么存在。 <

展示了如何迅速工程可以是一个真实的的系统的方法，从语言模型中提取的价值。 “提示工程Prompt Engineering”源于语言模型的发展，描述了应用提示以有效地从语言模型中提取信息的过程，通常用于现实世界的应用程序。

训练/研究微小的GPT很有趣，因为它变得很容易可视化，并对整个动态系统有一个直观的感觉。 这是一个带有两个标记0/1和上下文长度为3的小型GPT，将其视为有限状态马尔可夫链。它在序列“111101111011110”上训练了50次迭代。 <

这是上周顶级 ML 论文（3 月 27 日至 4 月 2 日）： BloombergGPT 一个新的 50B 参数的金融 LLM。声称拥有 3630 亿个令牌的最大特定领域数据集......进一步增加了来自