• 大语言模型的诞生催生了两种不同的学习方法:博士学习法:先学知识,再学习特定上下文场景。花费十年时间学习基础知识,然后从博士开始进入特定的专业场景继续研究。黑客学习法:顺序正好倒过来,在特定上下文context中学习,借助推特和ChatGPT,学习上下文中概念知识。这
  • 符号学(Semiotics)研究符号、符号过程以及符号系统。在计算机科学中,数据、算法、程序等都可以看作是符号系统。从符号学的角度,我们可以将递归、压缩和模式匹配理解为对符号系统的不同操作。 1、递归:符号的自我指涉
  • 查尔斯·桑德斯·皮尔斯,可能是第一个认真研究语义学的人,他开始列举所有的“符号-情境(上下文)”,希望当所有可能的“意义”的含义被聚集在一起时,它们会显示出经验上的差异,从而可以区分真假。 但这些顽固的“意义”并没有整齐地分成几类,而是分裂成一个最可怕的分 icon
  • OpenAI的山姆奥特曼在推特上透露:新范式的开始了,o1将是能够进行通用复杂推理的人工智能。o1-preview 和 o1-mini 现在可以在 ChatGPT Plus 和团队用户以及我们为 5 级用户开放的 API 中使用(在几个小时内逐步推出)。 icon
  • 人类在说话言语之间其实隐藏着推理,现在OpenAI大模型已经学会了这个技巧:字里行间的推理。 大语言模型1.0时代:注意力机制,也就是基于上下文的模式匹配; 大语言模型2.0时代:字里行间的推理 OpenAI的草 icon
  • OpenAI 推出了 o1 AI 模型,这是一个新系列,旨在通过在响应前花更多时间思考来增强推理能力。该模型旨在处理复杂的任务,例如通过科学、数学和编码中的复杂问题进行推理。o1 模型及其精简版 o1-mini 在内部被称为“Strawberry”,可供 ChatGPT Plus 和 Team 用户 icon
  • 昨天,OpenAI 的许多人同时发布了一些神秘消息,然后这个X帐户@iruletheworldmo 就启动了自说自话发帖: icon
  • OpenAI o1模型智商跃升 30 点,达到 120 点,高于十分之九的人类智商: icon
  • AnthropicAI可解释性团队今天发表了一份漂亮报告:目前大语言模型的可解释性方法可能只是触及神经网络内部的表面,而具有罕见特征的大量“暗物质”和复杂的叠加现象仍然无法理解。 Chris Olah和Adam Jermyn提出了一个观点:尽管他们训练了一 icon
  • 我们经常听说大语言模型(LLM) 有多么强大,但在战略和规划方面,他们似乎有一个明显的弱点。 一篇文章对此进行了精辟的分析: 规划任务成功率低: 研究表明,当像 GPT- icon
  • 由于一种新颖的计算架构彻底重新定义了人工神经元如何形成智能系统,AGI 可能即将问世。 当今最先进的人工智能模型(主要是大型语言模型 (LLM),如ChatGPT或Claude 3)都使用神经网络。这些是机器学习算法的集合,它们以类似于人脑的方式分层处理数 icon
  • 大语言模型LLM 是一种黑盒人工智能系统,它通过对海量数据集应用深度学习来理解和生成新文本。 注意力机制是一种模仿人类认知注意力的机器学习技术,最早在 2014 年的一篇题为“通过联合学习对齐和翻译的神经机器翻译”的研究论文中提出。这标志着现代 LLM 发 icon
  • 推理包括两种典型类型:演绎推理和归纳推理。 在 LLM大语言模型 的推理中,演绎推理和归纳推理哪个更具挑战性?显然,大型语言模型(LLMs)在归纳推理方面很强,但在演绎推理方面较差。 解决方案是通过 icon
  • 陶哲轩的评分: GPT-4o:完全不称职的研究生 o1-预览:平庸但并非完全不称职的研究生 一个重大改变。 陶哲轩:OpenAI的o1新模型的结果比之前的GPT-4o模型要 icon
  • 人工只能是否也会存在种族歧视、民族歧视,瞧不起外地人,或方言偏见? 《自然》题为“人工智能根 icon
  • 为什么人们对许多(也许是大多数)论文的引言是由ChatGPT撰写感到震惊? 无聊的、仪式化的、无意义的样板文件是由人类还是机器写的,这没有什么区别? 其实,使用AI来撰写这些部分可能并不会显著改变其本质。 icon