Dojo
话题
新佳
订阅
极道
元认知
元逻辑
元设计
元编程
元语言
ChatGPT等OpenAI技术
MemoryGPT 是有长期记忆的 ChatGPT
有了长期记忆,语言模型可能会更加具体——或者更加个性化。MemoryGPT 给人的第一印象。 语言模型中更大的上下文窗口有助于它们同时处理更多信息。 但是,缩放上下文窗口可能存在技术和财务限制。在可预见的未来,可能需要用于长期机器记忆的新记忆系统。 借助“Me
大语言模型背后的原理 - arxiv
语言本质上是一个由语法规则支配的复杂、错综复杂的人类表达系统。它对开发能够理解和掌握语言的人工智能算法提出了重大挑战。 作为一种主要的方法,语言建模在过去20年里被广泛研究,用于语言理解和生成,从统计语言模型发展到神经语言模型。
上下文的长窗口是大语言模型的核心秘密
对于每一款新iPhone,我们都期望更长的电池续航时间。 上下文窗口长度是LLM的新电池。对于每一个新的GPT,将有更多,直到上下文变得无限。 上下文检索并不新鲜,可以与注意力深度整合,而不是嵌入式搜索。
Vicuna:一个GPT-4开源聊天机器人
一个开源聊天机器人,通过微调LLaMA对约70 K用户共享的ChatGPT对话进行训练。 声称达到“OpenAI ChatGPT和Google Bard的90%以上 * 质量,同时在90%以上 * 的情况下优于LLaMA和斯坦福大学Alpaca等其
Jay Little:低代码软件开发是一个谎言
设计一个该死的解决方案实际上是软件开发过程中最困难的部分。低代码工具通过暗示编写代码是最难的部分来欺骗客户。 任何低代码工具都不能使你免于花时间正确设计你的定制软件,也不能使你免于在围绕半成品设计建立解决方案时所经历的后果。
AutoGPT才是这条街最靓的仔!
AutoGPT正在以惊人的速度改进,并可能很快改变业务的面貌。 上周刚刚出现的AutoGPT旨在自动执行GPT-4任务,允许创建代理,在没有任何干预的情况下为您完成任务。我们将迎来有多个AI Agent(AutoGPT)相互协作的新人工智能阶段!<
CakeCrusher/tech-int-cheat:帮助你在技术面试中作弊的ChatGTP浏览器扩展
与 ChatGTP 衔接的 chrome 扩展,用于在技术面试中作弊(或仅在虚拟会议上生成响应) 目前它仅适用于 google meet,因为它取决于其隐藏式字幕,因此您必须打开隐藏式字幕。然后聊天将开始被记录。然后选择聊天的开始和结束以提示cha
什么是一个人的核心知识?
发展心理学中的“核心知识(Core knowledge)”:确定了一系列被认为是连贯的心理实体的抽象概念,包括“主体”,“对象”,“数字”,“社会群体”,以及相关的推理过程。 人类的认知部分建立在代表物体、行动、数字和空间的四个系统上。它也可能建立
cloudquery/pg_gpt: 用人类语言运行SQL查询
将 OpenAI API 引入 PostgreSQL 以使用人类语言运行查询的实验性扩展。 该扩展将数据库模式的一个子集发送到 ChatGPT,并要求它根据此和用户输入生成一个查询。 安装
大语言模型137个涌现特征列表 — Jason Wei
涌现emergent :定义为一种能力“不存在于小模型中,但......存在于大模型中。” 在大型语
BloombergGPT:金融领域的大语言模型
NLP 在金融技术领域的应用广泛而复杂,应用范围从情感分析和命名实体识别到问答。 大语言模型 (LLM) 已被证明对各种任务有效;但是,文献中没有报道过专门针对金融领域的LLM。在这项工作中,我们展示了 BloombergGPT,这是一个 500
大语言模型LLM能否对自己的成果进行批判和迭代? | evjang
在计算机科学的许多领域(密码学,NP复杂性),验证解决方案比生成解决方案容易得多。这篇博客文章发现大语言模型LLM(主要是GPT-4)可能能够自我验证其解决方案。 与概率推理和最优控制中的大多数算法思想一样,让代理者自己批评其决策以使其变得更好是一
提示工程与盲目提示 - Mitchell
展示了如何迅速工程可以是一个真实的的系统的方法,从语言模型中提取的价值。 “提示工程Prompt Engineering”源于语言模型的发展,描述了应用提示以有效地从语言模型中提取信息的过程,通常用于现实世界的应用程序。
gpt-finite-state.ipynb :一个带有两个标记0/1和上下文长度为3的小型GPT
训练/研究微小的GPT很有趣,因为它变得很容易可视化,并对整个动态系统有一个直观的感觉。 这是一个带有两个标记0/1和上下文长度为3的小型GPT,将其视为有限状态马尔可夫链。它在序列“111101111011110”上训练了50次迭代。 <
大语言模型涌现的自主科研能力
基于 Transformer 的大型语言模型在机器学习研究领域发展迅速,应用范围涵盖自然语言、生物学、化学和计算机编程。从人类反馈中进行极端缩放和强化学习显着提高了生成文本的质量,使这些模型能够执行各种任务并推理他们的选择。 在本文中,我们提出了一
上周大语言模型顶级ML论文概要
这是上周顶级 ML 论文(3 月 27 日至 4 月 2 日): BloombergGPT 一个新的 50B 参数的金融 LLM。声称拥有 3630 亿个令牌的最大特定领域数据集......进一步增加了来自
生成式 AI 的模式语言
GPT-4之于皮尔士符号学就像冯·诺依曼计算机之于布尔逻辑。 然而,不同之处在于GPT-4的架构师(与冯·诺依曼不同)并不了解皮尔士符号学。 为何需要符号学(Semiotics)?语义学不行吗?语义学的概念本身掩盖了太多的细节。 我们需要一
ChatGPT集成到IPhone等上周产品新闻
上页
下页