复杂系统涌现
伸缩架构原理也适用于大模型
谷歌的Griffin论文完美地展示了缩放定律。由于参数扩展了 7 倍,任务性能提高了大约 10%。全部都使用相同的 3000 亿代币数据进行训练。当您跨参数扩展时,模型会获得更高的样本效率或更好的推断.
什么是AIMS方法?
AIMS 方法可在行为体和相互作用的情况下发生变化,并配备监测器,以检测早期出现的扩大或抑制迹象。"Aims" 是缩写,代表 "Actants, Interactions, Monitors, and.
大语言模型是一个多专家代理系统?
大语言模型GPT-4、Claude 3和Google Gemini 1.5 pro都采用了“专家混合”架构,可能与一种子代理人的想法类似,这是朝着正确方向迈出的一步,人的大脑大概有数百万个代理人。1、.
认知框架Cynefin有哪些限制?
对于复杂性,人们总是想消灭它(有为),而不是去消化接受它(无为),其实,无为胜有为。1、传统教条以下是人们面对复杂性实施的教条方法: 敏捷 听上去很好,但是可能回避复杂性,因为敏捷这个词语有回避障碍的.
AI专家Sean的18条智慧感悟
肖恩·麦克卢尔是NonTrivial 播客的主持人,从事构建人工智能软件,研究复杂性,以下是他的一些智慧洞察:1、现实是非线性的,涉及的维度比任何简单的统计技术都可以正确建模的维度更高。如果你想对现实.
复杂自适应系统的一种算法语言定义
这篇文章介绍了复杂自适应系统(简称CAS)的定义和特征。什么是复杂自适应系统CAS? 复杂自适应系统CAS的定义:包括多个相互连接和相互依赖的交互代理,并具有非线性行为。 复杂自适应系统的关键特征:包.
空间结构性胜过时间性
这篇文章讨论了在项目开发中,人们通常关注时间节点,但作者认为应该更关注项目的结构。文章指出,项目的结构和复杂度对于解决问题至关重要,而人们往往忽视了这一点。作者提出了“自然选择我们的最后期限”的观点,.
为什么最简单的解释并不总是最好的
该文章讨论了降维方法在解释高维数据时的局限性。主成分分析(PCA)是一种常用的降维技术,但它可能会错过数据中存在的结构或产生幻觉的结构。作者通过示例说明了当应用PCA于时间或空间平滑信号时可能出现的振.
三体问题的复杂性
亨利·庞加莱(Henri Poincaré)是一位法国数学家、理论物理学家和科学哲学家,生活于1854年至1912年。他作出了重大贡献的各个领域,包括数学,天体力学,拓扑学和科学哲学。在天体力学方面,.
基础认知框架:强化学习+代理
本文介绍了TAME(Technological Approach to Mind Everywhere)框架和强化学习(RL)的概念,旨在将生物学和人工智能领域进行交叉研究。这种将生物学和强化学习相结.
涌现是当今哲学界争论最激烈的话题
心灵哲学和认知科学似乎是当前最活跃的哲学运动,神经科学的进步不断重新定义我们如何看待哲学中最永恒的问题之一,并引发了一些非常激烈的争论。这一领域的领军人物包括大卫-查莫斯(David Chalmers.
幽默:像物理学家一样做数学
掌握战略领域驱动设计
OpenAI Q* 可通过一种自动化且可扩展的方式自我进化
OpenAI宫斗可能要归功于一项名为 Q* (Q-learning)的重大突破。Q* 是 AGI 的前身。Q*可能在Q-learning和预设启发式之间架起了一座巨大的桥梁: 这可能是革命性的,因为它.
OpenAI最新涌现:Q*+Zero+ELBO+PPO
这四件事似乎是 OpenAI 的最新进展,如果这个猜测是正确的,那么这似乎是一个巨大的飞跃。使用这四种技术的人工智能系统理论上可以做什么,或者它可以做什么当前系统无法做到的事情:Q*搜索:这是人工智能.
麻省理工学院揭露了人工智能形式规范的神话
麻省理工学院林肯实验室的一项研究表明,尽管形式规范具有数学精度,但人类不一定可以解释它。人类很难使用形式规范来验证人工智能行为,这表明理论主张与实际理解之间存在差异。研究结果强调需要对人工智能的可解释.
可操作的辩证法:格塔德-冈特的控制论系统
本文介绍了格塔德-冈特(Gotthard Günther)富有远见的工作,他试图通过二阶控制论来操作黑格尔的辩证法,促使人们探索解决计算系统中复杂性的挑战。古典形而上学假设知识过程中只存在两种位置:知.
“组装理论”统一物理学和生物学解释了进化和复杂性
一个国际研究团队开发了一个新的理论框架,将物理学和生物学联系起来,为理解自然界的复杂性和进化如何出现提供了统一的方法。今天发表在《自然》杂志上的这项关于“组装理论(Assembly Theory)”的.
什么是检察官的谬误?
检察官谬误是贝叶法则的一个非常著名但被忽视的应用。想象一下,你因谋杀罪被捕。你知道自己是无辜的,但犯罪现场的物证与你的描述相符。检察官认为你有罪,因为在你无罪的情况下找到这些证据的几率太小,陪审团应该.
什么是盖尔定律?
适用于软件开发人员的盖尔定律(Gall's Law,也称为加尔定律)盖尔定律是对复杂系统的性质和演变的观察。这一原则在软件开发和系统架构领域引起了深刻共鸣。约翰-盖尔(John Gall)在其著作《系.
组装理论:融合了物理学和生物学的新领域语言
发表在《自然杂志》组装理论的目标是发展对复杂物质演化的新理解,组装理论提供了一个新的框架来理解选择和进化,融合了物理学和生物学。它不是将物体重新定义为粒子,而是通过它们的形成历史(事件溯源)来重新定义.
解释现代世界的十个认知概念
下面是可以解释现代世界的 10 个认知概念:1.帕金森定律:随着时间的推移,公司会变得越来越大,越来越糟糕。随着整体能力的下降,文员们会互相制造工作。当英国海军的船只从 68 艘减少到 20 艘时,官.
AlphaFold是药物发现的下一个重大事件?
人工智能在科学上永远存在的问题是,涌现的现象通常不能被推断出来,而是必须在实验室中想象出来并进行测试。 人工智能可以凭直觉找到最有希望的路径,但它无法预测现实中存在的混乱。预测蛋白质结构的人工智能工具.
机器学习实际上只是旋转形状!
综合信息理论是伪科学吗?
意识的综合信息理论(IIT)具有前所未有的雄心壮志,它从意识体验的基本特性出发,提出了一个通用数学公式,用于描述任何拥有意识的物理系统的意识质量和数量。该理论提出了一个数学公式,通过将现象学的基本原理.
大语言模型注定会产生幻觉?
像 ChatGPT 这样的所有主要人工智能语言模型都会产生幻觉,编造虚假事实。虽然无法解决,但整理训练数据和强化学习等步骤可以缓解这一问题。(来源)产生幻觉的原因是什么 模型仅根据统计模式及其训练数据.
软件Bug训练人变成条件反射
科学必须可复制重现,但很难,以可靠性著称的计算机也有Bug:你是否曾经在使用一个新程序或系统时,发现它有令人厌恶的错误,但过了一段时间后,你就不再注意到这些错误了?如果是这样,那么恭喜你:你已经被电脑.
图技术是数字化转型的核心
多年来,数字化转型一直是首席执行官和董事会的首要任务,但其结果却好坏参半。虽然他们总体上成功实现了某些关键目标,但许多其他成果却远远低于预期。管理顾问经常指出许多根本原因,但他们常常忽视一个明显的共同.
什么是相空间以及在软件测试中应用
相空间(Phase Space) 的概念是由 "动态系统理论 "提出的。"动态系统理论 "是一个数学领域,它描述了复杂系统的存在及其相互猜想和独立的行为。相空间是一个系统存在所有可能状态的空间;而这些.
为什么工程经理更应该有系统思维?
什么是系统思维以及为什么它在软件开发中至关重要?什么是系统思维?系统思维是一个广泛的知识领域,通过理解所有部分如何相互联系和影响来解决问题。这个理论并不新鲜,不同行业已经应用了数十年。一个很好的例子是.