中国新型计算架构“受人脑启发”可实现 AGI

由于一种新颖的计算架构彻底重新定义了人工神经元如何形成智能系统,AGI 可能即将问世。

当今最先进的人工智能模型(主要是大型语言模型 (LLM),如ChatGPT或Claude 3)都使用神经网络。这些是机器学习算法的集合,它们以类似于人脑的方式分层处理数据,并权衡不同的选择以得出结论。 

目前,大语言模型 (LLM) 受到限制,因为它们无法超越训练数据的范围,也无法像人类一样进行良好的推理。然而,AGI 是一个假设的系统,它可以推理、情境化、编辑自己的代码,并理解或学习人类可以完成的任何智力任务。

如今,创建更智能的人工智能系统依赖于构建更大的神经网络。一些科学家认为,如果神经网络规模足够大,就可以实现通用人工智能。但这可能不切实际,因为能源消耗和对计算资源的需求也会随之增加。

其他研究人员认为,实现未来的 AGI 系统需要新的架构或不同计算架构的组合。在这方面,8 月 16 日发表在《自然计算科学》杂志上的一项新研究提出了一种受人脑启发的新型计算架构,有望消除扩大神经网络的实际问题。

在这项研究中,提出另一种方法,称为具有内部复杂性的小模型,它可用于找到将丰富属性融入神经元的合适途径,以构建更大、更高效的人工智能模型。

科学家在声明中表示,人类大脑拥有1000亿个神经元和近1000万亿个突触连接,每个神经元都拥有丰富多样的内部结构。然而,其功耗仅为20瓦左右。

为了模仿这些特性,研究人员采用了一种专注于扩大人工智能架构的“内部复杂性”而不是“外部复杂性”的方法——其理念是,专注于使单个人工神经元变得更加复杂,从而产生更高效、更强大的系统。

在这项研究中,科学家们证明了该模型能够高效可靠地处理复杂任务。他们还表明,基于这种架构的小型模型的性能与大型传统人工神经元模型相当。

尽管 AGI 是一个里程碑,科学界仍未实现,但一些研究人员表示,人类只需几年时间就能建立第一个这样的模型——尽管对于如何实现这一目标存在着相互竞争的看法。例如,SingularityNET 提议建立一个超级计算网络,该网络依赖于不同架构的分布式网络来训练未来的 AGI 模型。

Hodgkin-Huxley (霍奇金-赫胥黎:HH)
他们建立了一个具有丰富内部复杂性的 Hodgkin-Huxley (霍奇金-赫胥黎:HH) 网络,其中每个人工神经元都是一个可以在内部复杂性上扩展的 HH 模型。 

根据 2022 年的一项研究,霍奇金-赫胥黎(HH) 是一种模拟神经活动的计算模型,在捕捉神经元尖峰(神经元用来相互通信的脉冲)方面表现出最高的准确度。 2021 年的一项研究表明,它在表示真实神经元的放电模式方面具有很高的可信度,因此适合用于建模旨在复制人类认知过程的深度神经网络架构。

霍奇金-赫胥黎 (HH) 型神经元是计算神经科学的基础模型,用于描述神经元中动作电位的产生和传播方式。HH 模型由 Alan Hodgkin 和 Andrew Huxley 于 20 世纪 50 年代开发,该模型通过结合电压门控离子通道的动态特性,以准确模拟神经元活动而著称。

要特征

  1. 数学框架:HH 模型基于一组四个常微分方程,这些方程捕捉了离子通道响应膜电位变化的行为。这些方程解释了钠 (Na⁺) 和钾 (K⁺) 离子的流动,这对于产生动作电位至关重要。
  2. 离子通道动力学:该模型包括表示这些离子的电导率的参数,这些参数随膜电压而变化。这使得该模型能够模拟在真实神经元中观察到的各种放电模式,使其具有高度的通用性。
  3. 生理相关性:HH 模型中的参数具有直接的生理意义,有助于更深入地了解不同条件下的神经元行为。该模型可以根据所包含的离子通道类型重现各种放电行为,例如规则放电、快速放电和爆发放电。
  4. 计算复杂性:虽然 HH 模型非常精确,但计算量也非常大,因此很难用于大规模脑网络模拟。研究人员尝试了各种方法来简化计算,例如使用基于库的方法或开发简化模型,以在降低复杂性的同时保留基本特征。
  5. 扩展和替代:HH 模型的现代改编版引入了额外的离子通道,并修改了模型,以解释更复杂的神经元形态和动态,包括随机元素和树突和轴突的几何考虑。

使用简单的人工神经网络预测 Hodgkin-Huxley 型神经元的脉冲特征
霍奇金-赫胥黎(HH)模型是模拟神经活动最精确的计算模型,但其计算成本高昂。 为了解决这个问题,在这篇文章中研究人员提出了尖峰预测模块(SPM),根据 1 毫秒间隔 1 的 3 个电压值预测 1 毫秒后的尖峰。 本研究提出了一种基于简单人工神经网络(ANN)的特征预测模块(FPM),用于预测尖峰特征,包括最大电压、最小电压和下降间隔 1。 FPM 采用 3 层人工神经网络,其中 3 个输入单元为电压值,10 个隐藏单元用于提取特征,3 个输出单元用于预测尖峰特征 1 。

我们从 9 个不同的 HH 型神经元模型中收集了尖峰数据,这些模型涵盖了实验观察到的大多数发射行为1 。 结果表明,即使在斜率、正弦和噪声等未知电流刺激下,FPM 对所有 9 个神经元模型的测试数据都实现了较低的预测误差和较高的准确率 1 。

总之,结合 SPM 和 FPM 可以高效准确地预测不同 HH 型神经元模型的尖峰及其特征,为准确快速地模拟生物神经元提供了一种方法。 简单的 ANN 方法是预测尖峰特征的新方法 。

​​​​​​

网友:
1、即使它不比当前Transformer 架构更好,尝试新方法而不是仅仅扩大 Transformer 模型并寻找或创建更多高质量数据进行训练仍然是很棒的。在这种情况下,它是关于通过增加单个神经元的复杂性而不是扩展网络来创建一个更紧密地模拟大脑的架构。 

2、文章中强调的霍奇金-赫胥黎模型是真实存在的。但不确定它是否会优先于当前的统计模型。