当我在研究生院的时候，在20世纪90年代初，一项流行的运动是 "扑向诺姆-乔姆斯基"。
他每年都会举办一系列关于语言学和思想的讲座。我去了，其他数百人也去了。每周都会有一群人站起来对乔姆斯基进行抨击，相信如果他们能让世界上最聪明的人之一出丑，似乎就能证明他们是世界上最聪明的人。他们中没有人走得很远，但乔姆斯基是不折不扣的，耐心地回应并瓦解所有来者。这项运动从未停止过娱乐。
40年过去了，并没有什么变化。前几天，乔姆斯基与人合写了一篇《纽约时报》的专栏文章，每个人都在那里再次证明他们比他更聪明，用他们能想到的最自以为是的语言。
华盛顿大学的语言学家艾米丽-本德（Emily Bender）带领这支队伍，用她经常使用的一种讥讽的居高临下的态度。
但是，当人们继续阅读她的主题的其余部分时，那里就没有那么多了。她抱怨乔姆斯基在语法上纠缠太多（事实如此，但这是个题外话），并说他太注重先天性，她写道："关于人类是否有先天的通用语法的整个辩论在这里完全是个题外话"，但没有给出任何形式的论据来说明她的观点。
然后是Scott Aaronson，以量子计算工作而闻名的计算机科学家。他也加入了扑向乔姆斯基的行列，在一篇文章中指责乔姆斯基（以及其他批评大型语言模型的人）是 "自我肯定、充满敌意和自鸣得意的"。
除了讥讽之外，又没有什么实质性的内容。
这是一个疯狂的摇摆和失误。
乔姆斯基在他的职业生涯中一直试图了解人类如何获得语言，而不是 "制造机器 "来尝试做同样的事情。
如果阿伦森费心去问，我敢肯定，乔姆斯基会说，大致上，由于人类获得语言的方式仍然是一个谜，所有这些人工智能工程都缺少一个可能是重要的洞察力来源，所以它是不成熟的。
另一个挥之不去的说法是著名的神经科学家/机器学习专家（也是著名的NeurIPS会议的领导人）Terry Sejnowski在给一个领先的机器学习电子邮件列表的电子邮件中说的，"我一直对乔姆斯基的能力印象深刻，他能用合理的论据来说明他的情况，即使这些论据是谬误的"。
乔姆斯基没有对一个关键的现实进行足够的思考。ChatGPT有很大的随机性和不可靠性；所以单个例子证明不了什么。不过，尽管乔姆斯基的论点肯定可以使用更多的细微差别，他的总体观点还是正确的，大型语言模型并不能可靠地理解这个世界。而且他们肯定没有教给我们任何关于世界为什么是这样的，而不是其他方式。同理，人类的思想也是如此。
但等等，还有更多。机器学习教授汤姆-迪特里希也加入进来，试图说服大家，ChatGPT在某种深层意义上具有某种形式的理解力（乔姆斯基和我都严重怀疑）：
ChatGPT的错误表明，它对世界的 "理解 "并不系统，而是由一些有能力的补丁组成，这些补丁被无能和不连贯的区域隔开。如果ChatCPT能够通过求助于一般的因果模型来填补这些斑块之间的空白，那么它就会强大得多。这就提出了两个问题：(a)一个系统如何学习这样的因果模型；(b)我们如何测试一个系统以确定它是否成功。
如果一个坏掉的钟一天内有两次是正确的，我们会把它归功于对时间的理解的补丁吗？如果n-gram模型[一种简单的统计工具，正常人不会把理解力归功于它]产生了一个80%符合语法的序列，我们会把它归功于对语法的基本理解吗？
一个坏掉的时钟在行为上是正确的（偶尔），但它并没有一个有效的内部时间表征。
一个n-gram模型，对于高n来说，可以产生流畅的散文，但对它所说的内容没有任何潜在的理解或表征，它成功的程度是通过捎带上人类产生的语料库，这些语料库谈论的世界基本上是有规律的。
心理学是很难的。几乎任何 "正确 "的行为都可以用多种方式创造出来；这就是为什么对基本表征感兴趣的（认知）心理学家经常关注错误，以及对概括性的测试。
就LLMs大型语言模型而言，很明显，即使它们产生了正确的输出，它们也很少会衍生出与人类相同的抽象概念，或者符号机器在类似情况下可能使用的抽象概念（也许是预编程的）。
详细点击标题