认知的计算模型:归纳模型


这篇综述重点介绍了过去三十年来在驱动归纳推理的过程的计算建模方面取得的进展。

这些模型的形式复杂性和解释范围都取得了重要进展。

需要注意的是,这项工作的大部分重点是证明给定模型可以很好地说明归纳数据,而不是在候选模型与其竞争对手之间进行系统比较(但请参阅 Kemp & Tenenbaum,2009 年的一个明显例外) . 随着归纳模型的激增,将更加需要考虑计算复杂性和灵活性差异的显式模型比较。

然而,决定最佳归纳模型的最重要原则不是它是否解释了已知的现象,而是它是否能够产生和解释新的(最好是反直觉的)归纳推理模式。

归纳推理的模式
归纳推理包括从现有的观察和知识推断出新的观察和事件。

这是一种基本的认知能力,它使人们能够对环境做出预测,从而帮助人们最大限度地获得物质和社会回报,避免伤害。

人们在日常生活中所做的许多推理都可以被描述为一种归纳的形式。
预测下一轮篮球赛的结果,决定最适合的求职者,或者推断你的孩子是否会喜欢一个新品牌的冰淇淋,都涉及到归纳。

对这一过程的理解是对人类推理、单词学习、分类和决策的核心描述。归纳推理在哲学(如Carnap, 1968)以及人工智能和计算机科学(如Collins & Michalski, 1989;Sun, 1995;Sun & Zhang, 2006)中也一直是一个核心话题。

然而,本文的核心焦点将是通过研究属性归纳而产生的模型。
这个范式是由Rips(1975)引入的,通常涉及到对具有某种新属性的证据样本(例如一组人、动物或物体)的学习,然后对该属性是否能泛化到新的实例进行推断。

四十年来使用这种方法的研究已经了解了很多关于属性泛化发生的条件(见Feeney, 2017; Hayes & Heit, 2018的评论)。然而,关于支撑这种泛化的认知过程仍然存在激烈的辩论。

归纳模型旨在解释人们在进行财产推断时的关键规律性。许多基准现象是在Rips(1975)、Osherson、Smith、Wilkie、López和Shafir(1990)以及Nisbett、Krantz、Jepson和Kunda(1983)的开创性工作中发现的,并在一系列刺激领域、任务和人群中得到了复制。这里有四个特别有力的发现。

  1. 前提-结论的相似性。一个新的属性被泛化的可能性随着前提和结论项目之间的相似性而增加。例如,知更鸟和麻雀共有的属性比企鹅更有可能被概括为乌鸦。
  2. 前提的典型性。被视为更典型或更有代表性的前提项目更有可能促进属性归纳到一般结论类别。例如,狼的属性比海豚的属性更有可能被概括为其他哺乳动物。
  3. 前提单调性(样本大小)。一个新的属性被归纳到同一类别的其他项目的可能性随着已知共享该属性的前提项目的数量而增加。例如,黑猩猩、倭黑猩猩、红毛猩猩和大猩猩共有的属性比只有黑猩猩和大猩猩共有的属性更有可能被概括到其他猿类。
  4. 预设多样性。一个上级类别的不同成员共享的属性比相似成员共享的属性更有可能被概括。例如,狮子和牛的属性比狮子和老虎的属性更有可能被泛化到其他动物。

在每一种情况下,我们都假定学习者对前提和结论类别有一定的了解,但对要归纳的属性知之甚少。还要注意的是,每个现象都只涉及正面证据(即具有目标属性的实例)。

1、相似性-覆盖率模型
Osherson等人(1990)提出的相似性-覆盖模型已被证明是该领域中最有影响力的模型之一。

这个模型通过两个核心过程解释了四个基准的归纳现象,以及一系列其他的发现。

  • 相似性 部分反映了前提类别和结论类别之间的相似程度。
  • 覆盖率 部分反映了前提类别与包括前提和结论的最低级别类别成员之间的相似度。

从形式上看,
相似度部分被计算为前提类别CAT(P₁)到CAT(Pₙ)以及结论类别CAT(C)之间的最大相似度。
覆盖率被计算为前提类别与包括前提和结论的最低级别类别成员的平均相似度。

在前面的例子中,知更鸟和麻雀与乌鸦的最大相似度将高于它们与企鹅的最大相似度。
像麻雀这样的典型前提对鸟类的覆盖程度会比企鹅高。

随着前提多样性的增加,或随着前提类别数量的增加,这也将增加前提和包容的上位类别成员之间的平均相似度。在前面的多样性例子中,狮子和老虎只与相对较少的哺乳动物有较高的相似性。

相比之下,多样化的前提狮子和奶牛与许多哺乳动物的实例相似,增加了它们的总体覆盖率。
同样地,覆盖率随着更多前提的加入而增加,从而产生前提单调性效应。

请注意,该模型预测,只有当添加的前提与结论属于同一上位法时,才会观察到前提单调性。发现孔雀与黑猩猩和红毛猩猩一样有一个属性,会导致 "非单调性",对其他猿类的属性概括会减少。额外的孔雀前提意味着需要考虑一个更广泛的类别来包括所有的前提和结论(例如 "动物"),从而导致更低的覆盖率。

相似性-覆盖率模型在解释一系列的归纳现象方面取得了相当大的成功(Osherson等人,1990)。然而,一个值得关注的问题是,该模型的一些核心假设几乎没有提供合理性。这里出现了一些基本问题:

  • 为什么学习者会自发地寻找包括前提和结论在内的最具体的类别来计算覆盖率?
  • 这是一种学习到的策略,还是在认知结构中的硬接线?

在最近的归纳模型中,解决这种假设已经成为一个重要的问题。

第二个问题是,覆盖率计算的某些方面没有被充分说明。假设在计算覆盖率时只考虑像哺乳动物这样的大类成员的样本,似乎是安全的,但这个样本究竟是如何产生的,并没有解释。

也许最严重的是,尽管 "相似性 "的概念是相似性覆盖的核心,但该模型没有对如何计算前提和结论项之间的相似性进行正式的描述。相反,Osherson等人(1990)从经验性的相似性评级中得出了相似性函数的估计。在这方面,该模型将相似性视为来自对象或类别比较的固定属性。正如后面几节所详述的,这已被证明是相似性覆盖模型解释范围的一个主要限制。


2、基于特征的推理
Sloman(1993)的基于特征的归纳(FBI)模型为计算归纳问题的前提和结论之间的相似性提供了一种更有原则的方法。

这个模型被实现为一个连接主义网络,其中前提和结论项目由特征向量表示。
当遇到一组共享某些新属性p的前提时,网络会对输入单元的权重进行编码,这些权重对应于前提所共享的特征。
然后,论证强度或P的概括性取决于前提和结论项目的特征之间的重叠程度。

在确定论证强度时考虑结论的大小是这个模型的一个特别新颖的方面。这抓住了一个直觉,即当面对两个在前提和结论特征之间有相似的重叠程度的论证时,当结论类别有较少的已知的独特或突出的特征时,属性概括会更强。

为了说明这一点,请考虑下面的论证1和2。
根据Sloman(1993)的研究,斗牛犬和马与斗牛犬和波斯猫的特征重叠程度相似,因此,论据在等式2中的分子相似。然而,我们假设大多数人对马的独特特征的了解多于波斯猫,这意味着论据1的结论向量的大小要大于论据2。这导致了斯洛曼(1993)所证实的预测,即论据2被认为是更有力的。

FBI基于特征模型与相似性覆盖模型的一个关键区别是:
FBI不要求学习者获取关于层次性类别关系的知识。

FBI以完全相同的方式处理特定类别和一般类别,将它们分解为特征向量。
然而,基于特征的模型可以解释许多与相似性覆盖相同的归纳现象。

前提-结论相似性的产生是因为FBI的分子和分母成分。例如,前提项知更鸟和麻雀与结论类乌鸦的共同特征多于企鹅。

此外,更有特色的结论企鹅的量级会比乌鸦高。

在FBI,前提多样性和前提单调性效应都是由前提和结论项目的非冗余特征之间的重叠增加来解释。
这种重叠通常会随着前提的增加或不同(多样化)前提的出现而增加。同样,与非典型的前提相比,像狼这样更典型的前提将与哺乳动物这样的上位者有更多的共同特征,从而导致更强的归纳概括。

FBI模型的一个问题是,它预测在论证中增加前提只能对归纳论证强度产生单调的影响(即强度增加或保持不变)。然而,如前所述,Osherson等人(1990年)报告了非单调性的案例,即增加的前提减少了属性的泛化。后面详细讨论的最近的工作(例如,Medin, Coley, Storms, & Hayes, 2003; Ransom, Perfors, & Navarro, 2016),发现了非单调性归纳的进一步证据。Sloman(1993)提出了FBI可以被修改以解释这种发现的方法,但这些修改在很大程度上是临时性的,尚未在一个修订的模型中实施。

3、相关性、财产知识和灵活相似性
尽管相似性覆盖率和FBI对一系列令人印象深刻的现象做出了解释,但这两种模型都依赖于相似性的 "静态 "概念;在一组特定的前提和结论项目之间的比较产生了固定的相似性值。

然而,许多人认为,对相似性的评估是动态的,取决于学习者的目标和在前提和结论之间进行比较的环境(例如,Goodman, 1972; Murphy & Medin, 1985)。大量关于属性归纳任务的证据支持这一观点。

一个可以改变归纳中相似性计算方式的因素是关于被概括的属性的知识。

归纳推断也经常被一些考虑因素所驱动,而这些考虑因素并不容易被任何一种直接的相似性计算所捕获。例如,Bright和Feeney(2014)发现,人们更有可能将一种疾病的属性从青蛙归纳为苍蝇,而不是从苍蝇归纳为蚂蚁,尽管后者在分类学上更为相似。这一点以及其他一些发现(如Hayes & Thompson, 2007; Rehder, 2009; Shafto, Kemp, Bonawitz, Coley, & Tenenbaum, 2008)表明,人们通常更愿意根据前提和结论之间的因果关系而不是整体的相似性进行概括。

4、相关性理论和关键相关性现象
这些发现刺激了超越静态相似性概念的方法的发展。最有影响力的方法之一是相关性理论(Medin等人,2003)。到目前为止,相关性理论还没有作为一个正式的模型被完全实施(尽管可以参考Blok, Medin, & Osherson, 2007所开发的模型,它与相关性理论有一些共同的假设)。然而,它在这里值得考虑,因为(a)它导致了几个新的归纳现象的发现,这些现象后来成为理论检验的基准;(b)它影响了正式的贝叶斯和连接主义模型的发展。

相关性理论认为,当一个属性与一个前提相关时,学习者会考虑为什么这个特定的前提会与结论相关。

当该属性不熟悉时,(在信息论意义上)高度独特的前提和结论项目的属性被视为指导归纳概括的候选者。
例如,鉴于 "臭鼬有属性p "的前提和 "斑马有属性p "的结论,学习者可以推断出该属性是 "有条纹"。

前提之间的比较也可以提示归纳的相关关系:

学习北极熊和企鹅有一个共同的属性,表明它与生活在寒冷气候中有关。

了解到草和马有一个共同的属性,表明它可能是通过食物链传播的东西。

这些例子强调,归纳法并不局限于考虑分类学关系;主题或因果关系往往更有特色,因此更有可能指导推论


5、贝叶斯归纳模型
如果说最近归纳推理领域的理论进展是由贝叶斯模型主导的,这并不过分。

这些模型吸引人的原因之一是,它们在人们如何从一组给定的前提或证据样本中进行属性推理方面提供了相当大的灵活性。本节概述了一些特定的贝叶斯描述,并研究了它们是如何推进对归纳推理的理解的。

Heit(1998,2000)提出了一种贝叶斯方法,在这种方法中,归纳被设想为学习哪些类别拥有或不拥有某种属性的过程。

学习者在处理属性归纳任务时,有一个关于属性p延伸程度的可能假设p(h`)的先验分布(例如,只有麻雀有属性p,所有鸟类有属性p,所有动物有属性p)。

学习者也有一些关于世界的理论,这些理论规定了如果假设h是真的话,观察到一些证据x(例如,具有该属性的前提类别)的可能性。这个可能性被表示为p(h`)。

观察证据样本会导致对关于属性扩展的竞争性假设的概率的先验信念的修正,即p(h`),增加对一些假设的信念,但削弱其他假设。

信念更新的过程遵循贝叶斯法则。

由此产生的后验信念指导对归纳论证强度的主观判断。

6、归纳现象的贝叶斯式解释
从规模原则可以看出,当人们观察到一个类别中更多的共享属性的实例时,对该属性被所有类别成员共享的假设的信念应该增加。

换句话说,贝叶斯模型的这个方面预测了前提单调性的影响。

由此也可以看出,增加观察到的具有某种属性的类别成员的数量,应该减少对该属性泛化到其他更远的类别的信念

这为Medin等人(2003)报告的非单调性效应提供了一个现成的解释。

观察到许多类型的熊都有一个属性,就会增加所有熊都有这个属性的信念,但会减少水牛和其他动物都有这个属性的信念。

在一系列的属性归纳研究中,这种用额外的正面实例来归纳推论的 "收紧 "已经得到了确切的证实(Navarro, Dry, & Lee, 2012; Ransom等人,2016; Xie, Hayes, & Navarro, 2018)。在其他涉及基于证据的推断的任务中也发现了这一点,包括单词学习(Xu & Tenenbaum, 2007)和对物体相似性的判断(Navarro & Perfors, 2010)。

这个贝叶斯模型也预测了前提多样性的基准效应(Hayes, Navarro, Stephens, Ransom, & Dilevski, 2019)。

然而,这种效应的贝叶斯解释与相似性覆盖等模型提供的解释不同。

之前的这些解释强调了观察一组不同的证据对属性概括的影响。然而,贝叶斯的解释强调了非多样性证据在约束关于属性泛化程度的假设方面的作用(Hayes, Navarro, et al.)观察到许多类似的实例(即非多样性的集合)共享一个属性,增加了该属性在这些实例之外不会泛化很远的可能性。

贝叶斯归纳模型也导致了新的经验现象的发现。因为这种方法专注于如何利用观察来评估对手的假设,所以它对负面证据(不具备某个属性的实例)以及正面证据的影响进行预测。


7、抽样假设的作用
贝叶斯理论的一个重要预测是,学习者会根据对信息抽样方式的信念,从同一组观察中做出不同类型的推断。

这一点在一些研究中得到了证实,在这些研究中,学习者得到了一组共同的观察结果,但却得到了意味着强或弱(随机)抽样的故事(例如,Hayes, Navarro, et al., 2019; Navarro et al., 2012; Ransom et al., 2016; Voorspoels et al., 2015)。

这些研究揭示了基准现象,如前提单调性(Ransom等人,2016)和多样性(Hayes, Navarro等人,2019),取决于强采样的假设。当学习者认为前提项目是随机选择的,这种影响就会被削弱或消除。

当然,在实践中,学习者可能对数据生成过程的确切性质不确定。他们可能认为一些观察是通过强抽样选择的,而其他观察似乎是随机产生的。这种情况可以通过混合模型来解决(Navarro等人,2012)。

混合模型可以捕捉到不同的诱导任务或情景中,以及在呈现相同情景的个体之间,对抽样假设的信念的变化。混合模型的应用显示,某种形式的强抽样是大多数实验情境中的默认假设--学习者很少假设呈现给他们的观察结果是通过随机过程产生的(Hayes, Navarro, et al., 2019; Ransom et al., 2016)。但值得注意的是,在一个给定的实验环境中,关于强抽样的假设可以在不同的项目和不同的个体之间有所不同(例如,Navarro等人,2012)。

8、删减样本的推论
贝叶斯归纳模型已被扩展到处理学习者可用的证据样本受到选择性抽样或 "审查 "的情况。

在这些情况下,只有某些类型的证据可以被观察到,而其他证据被系统地排除在外。

这种选择性抽样可能发生在代理人 "挑选 "数据以影响学习者推断的情况下。
例如,那些想要否认气候变化存在的人可能会选择温度记录的子集,以暗示变暖趋势的 "暂停"。选择性的证据样本也可以通过学习者用来搜索信息的策略而产生(Le Mens & Denrell, 2011),或者仅仅是因为环境限制使人无法获得大量的、有代表性的样本(Hogarth, Lejarraga, & Soyer, 2015)。

少数研究考察了学习者是否将关于选择性抽样的信息纳入他们的财产推断(例如,Hayes, Banner, Forrester, & Navarro, 2019; Lawson & Kalish, 2009)。

在这些研究中,学习者看到一个具有某种属性的共同训练样本(例如,十只具有麻风血的小鸟),并被要求推断该属性是否会泛化到与该样本相似度不同的测试项目上。至关重要的是,不同的小组被给予替代的 "抽样框架 "或对训练样本中的实例如何被选择的解释。

例如,在类别框架条件下,学习者被告知由于时间/资源的限制,在样本中只能观察到单一类型的动物(如小鸟)(即没有机会观察其他动物)。
在属性框架条件下,学习者被告知,样本被选中是因为它们是最早被发现拥有目标属性的实例(例如,筛选测试显示它们是 "亚麻素阳性")。
在类别框架条件下,除小鸟外,其他动物的缺失可归因于选择机制,因此其他动物拥有该新属性的假设仍然可行。
在属性框架条件下,小型鸟类这一单一类别之外的实例的缺失更具信息性--表明该属性并没有泛化到该类别之外。

9、结构化贝叶斯模型
在贝叶斯模型中加入抽样假设,大大增加了其解释人类归纳的复杂性和灵活性的能力。

然而,有一些类型的现象不可能仅仅通过抽样假设的变化来解释。当归纳涉及因果关系而不是分类关系时,会出现不同的归纳模式(例如Bright & Feeney, 2014; Hayes & Thompson, 2007; Medin等人, 2003)就是一个例子。

这类现象由贝叶斯模型解决,该模型关注人们如何在不同的学习背景下应用关于与属性归纳最相关的关系的不同先验信念。特别是,Kemp和Tenenbaum(2009)概述了一个基于不同类型结构化统计模型的贝叶斯框架。这类模型采用了贝叶斯信念更新机制,与其他模型有很多共同之处(例如,Tenenbaum & Grifths, 2001)。

一个关键的创新是,学习者根据被概括的属性的类型,应用不同的结构表征S关于对象和对象属性之间的相关关系

当目标属性是一个结构性的生物特征(例如,"有麻风血")时,学习者用分类学或层次树结构来表示对象关系。

当属性与一些物理属性相关时(例如,重量),对象关系是根据低维相似性空间组织的。
当属性是因果关系时,对象关系被组织在一个有向图中。关于将属性从一个物体传递到另一个物体的相关随机过程的信念,T,也因属性类型而不同。

在分类学的情况下,这个过程是 "扩散",预计该属性将在树状结构上平滑分布。

因此,对于任何一对相邻的类别成员来说,很可能两者都会共享该属性,或者两者都没有该属性。

对于定量属性来说,"漂移 "过程反映了这样一种预期,即维度一端的类别更有可能拥有该属性。

因此,发现瞪羚重到足以触发陷阱,意味着这个属性可以推广到在重量维度上高于它的其他动物。

在因果情况下,属性是通过领域特定的因果过程(如捕食)来泛化的。
发现瞪羚有疾病意味着该疾病可能会传给一阶捕食者(如猎豹),进而传给二阶捕食者(如鬣狗)。

在每种情况下,物体属性或特征f的先验分布由p(f |S,T)给出。

Hayes等人(2019年)将这些预测正式纳入贝叶斯框架,其中关于属性扩展的假设h的后验概率是该假设的先验概率、给定观测值的可能性和决定可以观测到哪些类型的观测值的幸存者函数S(x)的联合函数。

增加结构化先验意味着,根据被概括的属性的性质,同一组前提和结论类别可以产生不同的归纳概括模式。
例如,学习瞪羚具有某种生物属性(如麻风血)应该增加分类树中相邻项目(如长颈鹿)共享该属性的概率。
然而,了解到瞪羚通过了 "重到足以触发坑道陷阱 "的门槛,应该会增加这一属性被其他在重量维度上具有更高价值的物品所共享的可能性。
在因果传播的属性(如疾病)的情况下,学习瞪羚拥有该属性应该增加已知捕食者拥有该属性的可能性。

结构化贝叶斯模型的预测结果与Osherson等人(1990)和Smith、López和Osherson(1992)的分类学归纳数据、Blok等人(2007)的阈值归纳数据以及Shafto等人(2008)的因果归纳数据进行了测试。该模型的整体表现令人印象深刻(与数据的平均相关度r=0.91)。完整的结构化贝叶斯模型比相似性覆盖模型和只包括单一类型结构化表征的简化模型对这三组数据提供了更好的匹配。

10、贝叶斯归纳模型:规范性的还是描述性的?
Marr(1982)的组织信息处理理论的重要框架表明,理论化可以发生在三个不同的层次上。

  • 计算层面的分析代表了对信息处理问题的抽象和规范的解决方案。
  • 算法层面规定了执行该解决方案所需的认知过程。
  • 实施层面明确了实施该算法所需的神经 "硬件"。

贝叶斯模型,就像这里回顾的那些模型一样,经常被当作计算解决方案--提供一个规范的或 "理性的 "标准,人类的推理可以对照这个标准进行判断。以这种方式看待贝叶斯模型的一个问题是,它们可能变得过于灵活--通过选择适当的先验和似然,贝叶斯框架可以为几乎任何观察到的行为模式提供解释(Bowers & Davis, 2012; Cassey, Hawkins, Donkin, & Brown, 2016)。

然而,这篇评论表明,贝叶斯模型在属性归纳中的应用有更细微的差别。

诚然,这些模型通常从高层次的 "规范性 "描述开始(例如,抽样框架问题的方程13.7)。然而,当应用于特定的归纳任务时,这些模型往往包含了关于人们如何处理信息的更多 "算法 "假设。例如,这些模型中抽样假设的关键作用意味着学习者对产生观察结果的社会和环境机制进行了努力的解释。这导致一些人认为,本文所回顾的各种贝叶斯模型介于马尔的计算和算法水平之间(Grifths, Lieder, & Goodman, 2015),或者它们应该被视为描述性而非规范性理论(McKenzie, 2003;Tauber, Navarro, Perfors, & Steyvers, 2017)。

这样的论点似乎是合理的。然而,要想弄清贝叶斯归纳模型的算法细节,还有很多工作要做。鉴于即使是最简单的归纳问题也可能考虑大量的特定假设,很明显,学习者依赖于某种形式的贝叶斯概率计算的近似。然而,这些近似的细节仍然存在一些争议(参见Gershman & Beck, 2018; Sanborn & Chater, 2016; Shi, Griffiths, Feldman, & Sanborn, 2010)。一个相关的挑战是将人类在计算、注意力和记忆方面的局限性纳入到检索先验、考虑抽样过程以及随着新观察结果的出现而修正信念的过程中(例如,Frank, Goldwater, Grifths, & Tenenbaum, 2010;Sanborn & Chater, 2016)。

换句话说,虽然贝叶斯模型推进了对人们在归纳时将现有信念与新的观察结果相结合的原则的理解,但这种学习和推理过程的细节还没有被明确。

11、语义认知的连接主义模型
本文已经讨论了一种类型的连接主义归纳模型--斯洛曼(1993)的FBI。

本节讨论的是一个范围大得多的联结主义框架。

Rogers和McClelland(2004年,2014年)描述了一种连接主义的语义认知方法,它可以解释一系列的归纳现象,包括不同学习背景下的概括模式的转变(例如,Heit & Rubenstein, 1994年;Medin等人,2003年)。

这是一个由输入层组成的前馈网络,对应于对象和它们的关系,一个表示层,一个隐藏单元层,和一个输出层。输入层的单元通过加权连接投射到中间层的多个单元,而隐藏层的单元投射到多个输出单元。请注意,关系层包含对各种可能的对象关系作出反应的单元,包括结构关系("HAS"、"IS")、行为关系("CAN")和分类学关系("IS A")。

该网络通过呈现正确的概念输入(如 "橡树HAS")和输出(如 "树皮"、"树根")配对来训练。
在这个训练例子中,输入单元,"橡树 "和 "HAS "被激活,这个活动通过隐藏单元反馈到输出单元。
然后,输出单元的激活与正确的输出进行比较(即 "树皮 "和 "树根 "的激活应该是1,其他单元的激活应该是0)。
通过接触训练范例来调整连接权重,以减少正确的激活和获得的激活之间的误差(见Rogers & McClelland, 2004,关于应用于单元权重的倾斜算法的细节)。
误差通过网络反向传播,因此单元权重的变化将超越给定的输入,影响相关的概念表征。

例如,如果网络错误地预测 "橡树有花瓣",那么由于错误造成的激活权重的变化将影响松树和橡树的表征单元。

因此,结构化表征模型似乎是未来理论和实证工作的主要候选人。

一个限制是,该模型目前假设前提项目的随机抽样,因此不能解释非单调性的影响。通过增加反映强抽样的似然函数(如前面调查的那些),这一点可能比较容易解决。一个更根本的挑战是解释人们如何学习不同的结构化表征,以及他们在面对新的归纳问题时如何识别应用哪种表征。Kemp和Tenenbaum(2009)概述了他们的方法的分级贝叶斯扩展,处理学习和识别结构化表征的问题,但是这个模型还没有被完全实现或测试。

在训练之前,网络中的激活权重很小,而且是随机分布的。Rogers和McClelland(2004)表明,经过大量的训练,他们的网络可以学会区分不同动物的特性,并将具有类似特性的动物归类到接近分类树的地方。至关重要的是,一旦经过训练,该网络可以对新特性的归纳做出推断。

在许多情况下,这些推论模仿了人类推理者的推论。
例如,当被告知 "知更鸟是女王 "时,该模型预测这种新特性很可能被类似的鸟类所共享。

该模型还可以模拟由于对不同类型的属性(如论证IIIa-IIId中的生物与行为属性)的了解而导致的归纳模式的变化。这可能是因为网络对对象、概念域、关系和观察到的属性之间的 "连贯共变 "模式很敏感。例如,该模型了解到分类学上相似的对象具有许多生物特征,而行为特征往往与不同的因素(如捕食或栖息地)发生共变。

Rogers和McClelland(2004)提出了一个类似的解释,即为什么因果特征在属性归纳中具有很高的突出性--这是观察到的表面或结构特征与基本原因之间强烈共变的结果。例如,像翅膀、羽毛和空心骨这样的特征经常共同出现,因为它们都反映了进化后的飞翔能力的一部分。因此,在归纳中优先考虑因果关系只是反映了先前的经验,即这种关系对许多其他特征具有高度的预测性。

连接主义模型是有趣的,因为它们解释了归纳法的许多方面,这些方面似乎依赖于高层次的概念性知识,而不需要对这些知识进行明确的表述。

然而,缺乏这样的表征,意味着网络只能通过广泛的经验和对个别实例的反馈来修改它们关于概念关系的 "知识"。因此,他们很难解释为什么当对一组训练实例的起源给出不同的解释时(例如,随机选择与由一个有帮助的代理人选择),或者当对一组给定的前提和结论引用不同的结构关系时,归纳推理的模式会发生巨大的变化。

与连接主义方法相比,对对象之间关系的明确表示还有其他好处,因为这种表示支持知识转移。
例如,如果你被告知黑豹与猎豹和狮子位于分类树的同一位置,你就可以很容易地推断出这个实例的属性,而不需要进一步学习。