• 信用分配问题是学习的核心。反向传播作为一种简单而有效的信用分配理论,自诞生以来就推动了人工智能的显著进步,并且在理解大脑学习方面也占据了主导地位。由于这一成功,最近的许多研究都集中在理解生物神经网络如何以类似于反向传播的方式学习;尽管许多提出的模型并没有完全实现反向传播,但它们仍然试图近似反
  • “注意力就是你所需要的一切”背后Transformer的发展和灵感的(真实)故事。 注意力Attention: 一种出色的(依赖于数据的)加权平均运算。它是一种全居性的汇集,一种reduction汇
  • 以下与chatgpt等大模型提示词,直接粘贴,在每个回复前面加上完整的: < icon
  • 如今LLM 大语言模型遇到天花板,语言远不止表现不同词语之间的统计模式,以及根据提示生成这些模式这么简单。 另外,大多数攻读大模型的人都没有接受过正规的语言学培训,-如果你想让*语言模型*发挥作用,那么掌握一些关于*语言*如何运作的理论知识确实非常 icon
  • 要点: 一种名为“llms.txt”的新网络标准已被提出,以帮助语言模型更有效地从网站访问相关信息。 llms.txt 文件将作为 AI 系统的中心指南,以结构化格式总结网站上最重要的内容,因为 AI 需要比人类更精确、更紧凑的信息。 拟议标准旨在补充现有的网络标准, icon
  • 这是Anthropic 一直在研究的一个开放标准,它解决了 LLM 应用程序的一个核心难题 - 将它们连接到您的数据。MCP 提供了一个协议来连接所有数据源。 如今,每个开发人员都需要编写自定义代码,以便将他们的 LLM 应用程序与数据源连接起来。 icon
  • 来自Google DeepMind London。这篇论文探讨了在封闭系统中通过语言游戏进行的“苏格拉底式学习”(Socratic learning),即一种纯粹的递归自我改进形式,其中代理的输入和输出空间相匹配(即语言),并且输出成为未来的输入。 icon
  • 人们以为中心法则就是DNA → RNA → 蛋白质,这种以DNA为中心向外扩散的误解进一步导致基因决定论,认为身体机能一切都是父母遗传的基因,与自己的生活方式和环境无关,那么为何双胞胎孩子的身体健康不一样呢? 因此,基因决定论误导了很多人,基因决定 icon
  • 7个元人工智能工具组合:ChatGPT/Claude - 被描述为创意机器,用于头脑风暴、编程和写作。Perplexity - 与搜索相关,可以提问并找到各种信息。Nelima - 一个大型动作模型,只需一个提示即可执行各种动作,是最先进和模块化的 icon
  • 这篇文章通过一个程序员在80年代初发现新编程语言的比喻,来讨论LLM框架的复杂性和它们在当前不成熟领域中的作用。 作者将LLM框架比作80年代的ORM(对象关系映射),它们都是抽象层,旨在简化数据库操作。但作者认为LLM框架过于复杂,可能会阻碍用户 icon
  • 从 "Claude能否冥想 "的实验中得到的一个重要启示是:意识似乎发生在 "混沌的边缘"  Claude是Anthropic公司开发的一款新一代大语言模型,主要特点包括强大的自然语言处理能力、优秀的上下文理解、较高的安全性、友好的交互体验以及持续 icon
  • 前 OpenAI 研究员、特斯拉人工智能主管 安德烈-卡尔帕西(Andrej Karpathy) 解释说,当人们“询问人工智能”时,他们实际上是在与人类数据标记者的平均回答进行交互,而不是与神奇的人工智能系统进行交互。 安德烈-卡尔帕西是OpenA icon
  • Peter Norvig 撰写的标题为“乔姆斯基和统计学习的两种文化”。该文章讨论了基于规则(符号)和统计(数据驱动)的语言学习和人工智能方法之间的差异,并通过诺姆·乔姆斯基的作品及其对人工智能的影响对这些方法进行了对比。 乔姆斯基 icon
  • 笨嘴笨舌可能是代谢有问题,米面碳水吃多了,引发胰岛素抵抗,触发新陈代谢功能障碍,而人类与动物的区别在于其创造和使用符号的能力,根本原因在于能量。 很多哲学家和生物学家都写过关于语言和新陈代谢功能障碍之间关系的文章, icon
  • OpenAI 今日公告摘要: - 引入 o1 的强化微调 (RFT) - 调整 o1 以学习在自定义域中以新的方式进行推理 - RFT 比常规微调更好、更有效; 生物化学、安全、法律和医疗保健是 OpenAI 研 icon
  • 自然语言(如英语)具有表达力,但可能不是机器之间沟通的最佳媒介,尤其是考虑到机器本质上操作的是二进制数据。 智能体是硅谷最新的流行词。这些人工智能模型可以自主执行复杂的多步骤任务。但展望未来,一些人认为未来多个人工智能代理将合作解决更具挑战性的问题。 icon
  • 约翰·鲍尔的《如何用我们的大脑解决人工智能》是从认知科学的角度对人工智能进行的开创性探索。约翰·鲍尔是一位认知科学家、计算机工匠,也是当今人工智能领域的领先创新者之一。鲍尔痴迷于解开人类认知的奥秘,他基于他的 Patom 大脑理论开发了世界上第一个人工智能语言系统——该模型解释了人类大脑功能的复杂性 icon
  • 阿里百度AI产品新闻: 1、百度推出 LLM 智能眼镜和新图像生成器 icon