ChatGPT 的内部实际上在计算上可能与大脑非常相似——由数百万个简单元素（“神经元”）形成一个“神经网络”，其中包含数十亿个连接，这些连接已通过渐进的训练过程“调整”直到他们成功地再现了所有这些网页上看到的人类书写文本的模式，等等。即使没有训练，神经网络仍然会产生某种文本。
但关键是它不会是我们人类认为有意义的文本。
为了获得这样的文本，我们需要建立在我们人类编写的网页和其他材料所定义的所有“人类背景”之上。“原始计算系统”只会做“原始计算”；为了让某些东西与我们人类保持一致，需要利用网络上所有这些页面等捕获的详细人类历史。
我们最终得到了什么？好吧，它的文字基本上读起来就像是人类写的一样。在过去，我们可能认为人类语言在某种程度上是一种独特的人类产物。但现在我们有一个人工智能在做这件事。那么留给我们人类的是什么呢？
在过去，如果你看到一篇定制的文章，你可以合理地得出结论，在制作它的过程中花费了某种不可减少的人力。但对于 ChatGPT，这不再是事实。将事情变成论文现在是“免费”和自动化的。“论文化”不再是人类努力的证据。
当然，这并不是第一次出现这样的发展。例如，当我还是个孩子的时候，看到一份文件被排版基本上就是证明有人付出了相当大的努力在印刷机上印刷它。但随后出现了桌面排版，基本上可以免费对任何文档进行精心排版。
而从更长远的角度来看，这种事情基本上是历史不变的趋势：曾经需要人力的事情最终通过技术实现了自动化和“免费做”。在思想领域有一个直接的类比：随着时间的推移，越来越高的抽象层次得到发展，它包含了以前费力的细节。
这会结束吗？我们最终会把一切都自动化吗？发现了一切？发明了一切？在某种程度上，我们现在知道答案是否定的。因为计算不可还原性现象（computational irreducibility）的后果之一是总会有更多的计算要做——最终无法通过任何有限量的自动化、发现或发明来减少。
不过，最终，这将是一个更微妙的故事。因为虽然可能总是有更多的计算要做，但我们作为人类仍然可能不关心它们。不知何故，我们关心的一切都可以成功地自动化——比如通过人工智能——让“我们无事可做”。
解决这个问题将成为我们如何适应 AI 未来的核心问题。在接下来的内容中，我们将一遍又一遍地看到，最初看起来像是技术实际问题的东西很快就会陷入科学和哲学的深刻问题中。
来自计算宇宙的直觉
我已经多次提到计算不可还原性。事实证明，这是一个相当深刻的——起初令人惊讶的——想法的一部分，我认为这些想法对于思考 AI 的未来至关重要。
像 ChatGPT 这样的系统的显着特征之一是它不是以“了解每一步”的传统工程方式构建的。相反，人们基本上只是从一个“原始计算系统”（在 ChatGPT 的情况下是一个神经网络）开始，然后逐步调整它，直到它的行为与一个人拥有的“与人类相关”的例子保持一致。这种一致性使系统对我们人类“在技术上有用”。
然而，在其内部，它仍然是一个计算系统，具有暗示的所有潜在“野性”。摆脱了“与人类相关的对齐”的“技术目标”，该系统可能会做各种复杂的事情。但它们可能不是（至少在历史上的这个时候）我们关心的事情。即使某些假定的外星人（或我们未来的自己）可能会。
好的，但让我们回到事物的“原始计算”方面。计算与我们以前见过的所有其他类型的“机制”有很大不同：我们可能有一辆可以前进的手推车；我们可能有一个订书机，可以把订书钉钉在东西上。但是手推车和订书机做的事情截然不同；它们之间没有等价关系。
但是对于计算系统，所有这些系统在某种意义上在它们可以进行的计算类型上是等效的。
这种等价有很多后果。其中之一是，人们可以期望从各种不同的事物中制造出同样具有计算复杂性的东西——无论是脑组织还是电子产品，或者自然界中的某些系统。这实际上是计算不可还原性的来源。
人们可能会认为，假设某个计算系统基于一个简单的程序，我们总是有可能——凭借我们复杂的大脑、数学、计算机等——“向前跳”并弄清楚系统将在之前做什么它已经完成了所有步骤。但计算等效性原则意味着这通常是不可能的，
因为系统本身在计算上可能与我们的大脑、数学、计算机等一样复杂。所以这意味着系统在计算上将是不可还原的：找出它所做的事情的唯一方法就是有效地完成它所做的相同的整个计算过程。
人们普遍认为，科学最终总能做得比这更好：它将能够做出“预测”，让我们无需追溯每一步就可以计算出将要发生的事情。
事实上，在过去的三个世纪里，在这方面取得了很多成功，主要是通过使用数学方程式。但现实情况是，许多系统都显示出计算不可还原性。在计算不可还原性现象中，科学实际上是在“推导出其自身的局限性”。科学最终只能集中在它的方法起作用的特定系统上。
与传统的直觉相反，尽我们所能尝试，在许多系统中，我们永远无法找到描述系统中将要发生的事情的“公式”（或其他“捷径”）——因为这些系统在计算上是不可还原的。而且，是的，这代表了对科学和一般知识的限制。
虽然乍一看这似乎是一件坏事，但也有一些从根本上令人满意的地方：因为如果一切都在计算上是可还原的，那么我们总是可以“向前跳”并找出最终会发生什么，比如在我们的生活中时空穿越。但计算不可还原性意味着我们通常无法做到这一点——因此在某种意义上，随着时间的流逝“正在实现一些不可还原化的东西”。
计算不可还原性是思考人工智能未来的核心，也可以用来理解许多关于人工智能和人类未来潜在角色的最重要问题。 .
例如，根据我们在工程方面的传统经验，我们习惯于这样一种想法，即要找出某事以特定方式发生的原因，我们只需“深入了解”一台机器或程序，然后就能“看看它做了什么”。
但是当存在计算不可还原性时，那将行不通。
是的，我们可以“向内看”，比如看几步。但是计算不可还原性意味着要找出发生了什么，我们必须追踪所有步骤。
但是，说到这里，计算的不可还原性的一个特点是，在任何计算上不可还原的系统中，总是会有(最终是无限多的) "计算的可还原性口袋 "被发现。因此，举例来说，即使我们不能笼统地说会发生什么，但我们总是能够确定我们可以预测的具体特征。("最左边的细胞总是黑色的"，等等。)正如我们稍后要讨论的，我们可以认为技术(以及科学)的进步与这些 "可还原性口袋 "的发现密切相关。而实际上，无限多的这种口袋的存在就是 "永远有发明和发现 "的原因。
计算的不可还原性的另一个后果，与试图确保系统行为的事情有关。比方说，我们想设置一个人工智能，使它 "永远不做坏事"。人们可能会想，我们可以想出一些特定的规则来确保这一点。但是，一旦系统（或其环境）的行为在计算上是不可还原的，人们将永远无法保证系统中会发生什么。是的，可能有一些特定的计算上可还原的特征是我们可以确定的。但总的来说，计算上的不可还原性意味着总会有 "意外的可能性 "或 "意外的后果 "的可能。而系统地避免这种情况的唯一方法是使系统不具有计算上的不可还原性--这意味着它不能利用计算的全部力量。
人工智能永远无法做到这一点
我们人类喜欢觉得自己很特别，觉得自己好像有什么 "根本性的独特之处"。五个世纪前，我们认为我们生活在宇宙的中心。现在，我们只是倾向于认为我们的智力能力从根本上说是独一无二的，是超越其他事物的。但人工智能的发展以及像ChatGPT这样的东西，不断给我们提供越来越多的证据，证明情况并非如此。
事实上，我的计算等价原则说的是更极端的事情：在基本的计算层面上，我们根本就没有什么特别之处--事实上，我们在计算上与自然界中的许多系统，甚至与简单的程序是等价的。
这种广泛的等价性对于能够做出非常一般的科学陈述(比如计算上的不可还原性的存在)是很重要的。但它也突出了我们的具体情况--我们特定的历史、生物学等等--是多么重要。
这很像ChatGPT的情况。我们可以有一个通用的(未经训练的)神经网络，其结构与ChatGPT相同，可以做某些 "原始计算"。但是让ChatGPT有趣的是--至少对我们来说--它是用数十亿网页上描述的 "人类的具体情况 "训练出来的，等等。
换句话说，对于我们和ChatGPT来说，没有什么计算上的 "普遍特别"。如果存在有一些 "特别的 "东西--那就是我们所拥有的特殊历史，我们的文明所积累的特殊知识，等等。
这里有一个奇怪的类比，即我们在宇宙中的物理位置。
宇宙有某种统一性，这意味着我们的物理位置没有什么 "一般的特别"。但至少对我们来说，仍然有一些 "特别的 "东西，因为只有在这里，我们才有我们特定的星球，等等。在更深的层次上，基于我们的物理学项目的想法导致了Raviad的概念：独特的物体是所有可能的计算过程的纠缠极限。然后我们可以把我们作为 "宇宙的观察者 "的整个经验看作是在一个特定的地方对Raviad的采样。
这有点抽象（而且故事很长，我不会在这里详细讨论），但我们可以认为不同的可能观察者既在物理空间的不同地方，也在统治空间的不同地方，这使他们对宇宙中发生的事情有不同的 "观点"。
人类的思想实际上集中在物理空间的一个特定区域（主要在这个星球上）和统治空间的一个特定区域。而在统治空间中，不同的人类思维--他们有不同的经验，因此对宇宙有不同的思考方式--都在稍微不同的地方。动物的头脑在统治空间中可能相当接近。但是其他计算系统(比如说天气，它有时被说成是 "有自己的思想")就比较远了--就像假定的外星人也可能是这样。
那么人工智能呢？这取决于我们对 "人工智能 "的理解。如果我们谈论的是被设定为做 "类似人类的事情 "的计算系统，那么这意味着它们将在标尺空间内接近我们。但是就 "人工智能 "是一个任意的计算系统而言，它可以在标尺空间的任何地方，而且它可以做任何在计算上可能的事情--这远比我们人类能做的，甚至能想的更广泛。(正如我们稍后要谈的，随着我们的智力范式和观察事物的方式的扩大，我们人类所处的统治空间的区域也会相应地扩大）。
多年来人们一直在说：“计算机可以做 A 和 B 很好，但只有人类可以做 X”。多年来，X 应该是什么已经发生了变化和缩小。ChatGPT 为我们提供了一个重要的意想不到的新例子，说明计算机可以做更多的事情。
人们可能会说：“计算机永远无法表现出创造力或独创性”。但是——也许令人失望——这出人意料地容易获得，而且实际上只是一点随机性“播种”计算通常可以做得很好。我们今天看到的那样ChatGPT 的写作。
人们可能还会说：“计算机永远无法表达情感”。但在我们找到生成人类语言的好方法之前，我们真的无法分辨。现在要求 ChatGPT 写下“快乐”、“悲伤”等已经很有效了。
（人类和其他动物的原始情绪可能与神经递质浓度等相当简单的“全局变量”有关。）
还有什么是人类可以做而 AI 不能做的呢？
定义我们会考虑做什么的目标。
任何计算系统一旦“启动”，就会遵循它的规则并做它做的事。但是“它应该指向什么方向”呢？那是必须来自“体制外”的东西。
那么它对我们人类有何作用呢？好吧，我们的目标实际上是由我们所嵌入的整个历史网络定义的——包括生物进化和我们的文化发展。但归根结底，真正参与历史网络的唯一途径就是成为其中的一部分。
有一天（正如我们将要讨论的那样）毫无疑问会出现某种“人工智能文明”——它将形成自己的历史网络。但在这一点上，没有理由认为我们仍然能够根据我们认可的目标来描述正在发生的事情。实际上，人工智能将在那时离开我们的统治空间领域。它们的运行方式将更像我们在自然界中看到的那种系统，我们可以知道那里正在进行计算，但我们无法描述它，除非拟人化地从人类目标的角度来描述和目的。
人类还有什么可做的吗？
会不会有一天我们人类想要（或至少需要）的一切都自动交付？一切都自动化？
我不这么认为。
而原因最终是由于计算的不可还原性（不可复制、不可重复、不可约性）。我们试图让世界变得 "恰到好处"，比如说设置成让我们 "可预测的舒适"。那么，问题是，在事物发展的过程中，不可避免地存在着计算上的不可重复性--不仅仅是在自然界，而且在像社会动态这样的事物中。这意味着事情不会一直 "如此"。总会有一些不可预知的事情发生；一些自动化没有覆盖的事情。
起初我们人类可能只是说“我们不关心那个”。但随着时间的推移，计算不还原性将影响一切。因此，如果有任何我们关心的事情（包括，例如，不灭绝），我们最终将不得不做一些事情——并且超越任何已经建立的自动化。
当计算机和人都连接在一个无缝的自动化网络中时，就没有什么可做的了。但是计算机安全问题的“意外后果”呢？看起来像是“技术完成了事情”的情况迅速为人们创造了一种新的工作。在某种程度上，计算不可还原性意味着这样的事情一定会发生。必须始终有一个“边界”。
让我们回到此时此地的 AI 情况。ChatGPT 只是自动化了各种与文本相关的任务。过去，编写定制报告、信件等需要花费很多精力和人力。但是（至少在处理不需要 100%“正确性”的情况下）ChatGPT 只是自动化了很多，所以人们不再需要它了。但这意味着什么呢？好吧，这意味着可以生成更多定制报告、信函等。这将带来新的工作类型——管理、分析、验证等所有大规模定制的文本。更不用说需要及时的工程师（几个月前才出现的工作类别），以及 AI 争吵者、AI 心理学家等。
但这里缺少一项技术：还没有很好的技术通用机器人技术（因为有通用计算），而我们人类在灵巧性、机械适应性等方面仍然具有优势。
但我很确定，随着时间的推移——也许是突然之间——必要的技术将会被开发出来，这将意味着今天的大多数“机械操作”工作将被“自动化”——不需要人来做。
这将意味着机械操作将变得更容易、更便宜，而且会做更多的事情。房屋可能会按常规建造和拆除。产品可能会定期从它们最终到达的任何地方被取走，然后重新分配。华丽得多的“食物结构”可能会成为常态。这些事情中的每一个——以及更多——都将开辟新的工作岗位。
人们可能会认为，一旦一切都只是作为“纯粹的计算”而“明显地运作”，它就必然是“没有灵魂的”和“没有意义的”。但计算不可复制性是打破这一点的东西，它允许实现一些不复制和“有意义”的东西。
无论是谈论我们现在在物理宇宙中的生活，还是未来“无实体”的计算存在，都是同样的现象。或者换句话说，即使绝对一切——甚至我们的存在——已经“通过计算自动化”，这并不意味着我们不能拥有完美的有意义存在的“内在体验”。
广义经济学和进步的概念
人们可能仍然想知道，生物进化及其随机基因突变的潜在过程是否会“陷入困境”并且永远无法发现某种“做得更好的方法”。事实上，简单的进化模型可能会给人一种这种会发生的直觉。但实际的进化似乎更像是使用大型神经网络的深度学习——一个人在一个极高维空间中有效地运行，在那里通常总有一种“从这里到达那里的方法”，至少给定足够的时间。
从我们的生物进化史来看，存在某种内在的“稀缺资源竞争”意识。这种竞争意识（到目前为止）也延续到了人类事务中。事实上，它是大多数经济过程的基本驱动力。
但如果资源不再“稀缺”呢？如果进步——以自动化或人工智能的形式——让“得到任何人想要的东西”变得容易呢？我们可能会想象机器人建造一切，人工智能解决一切等等。但仍然有一些东西不可避免地是稀缺的。只有这么多的房地产。只有一件事可以是“第一___”。最后，如果我们的生命是有限的，我们也只有那么多时间。
尽管如此，我们所做（或拥有）的事情越有效率或水平越高，我们就能在现有时间内完成更多的事情。而我们所认为的“经济价值”似乎与“让事情更上一层楼”有着密切的联系。一部成品手机比其原材料“更有价值”。一个组织比其独立的部分“更有价值”。但是，如果我们可以拥有“无限自动化”呢？那么从某种意义上说，“到处都有无限的经济价值”，人们可能会想象“没有竞争”。
但计算不可还原性再次成为阻碍：因为它告诉我们永远不会有“无限自动化”，就像永远不会有最终获胜的生物有机体一样。在计算宇宙中总会有“更多的探索”，以及不同的路径可以遵循。
这在实践中会是什么样子？据推测，它会导致各种多样性。因此，例如，“经济的组成部分是什么”的图表将变得越来越支离破碎；它不会只是“唯一获胜的经济活动是___”。
在这张永无止境的进步图景中有一个潜在的问题。如果没有人关心怎么办？如果创新和发现对我们人类来说无关紧要怎么办？
但正如我们所讨论的，一旦我们“在某种抽象级别上运行”，计算不可还原性就不可避免地使我们最终会接触到“需要超越该级别”的事物。
给定一个人在特定时间点关心的一组特定事情，一个人可能会成功地自动化所有这些事情。但计算不可还原性意味着总会有一个“边界”，必须在其中做出选择。而且没有“正确答案”！没有“理论上可推导的”结论。
我们如何告诉 AI 做什么？
假设我们想要一个人工智能（或任何计算系统）来做一件特定的事情。我们可能认为我们可以设置它的规则（或“编程”）来做那件事。事实上，对于某些类型的任务来说效果很好。但是我们对计算的使用越深入，我们就越会遇到计算不可还原性，我们就越不知道如何设置特定的规则来实现我们想要的。
当然，还有首先定义“我们想要”什么的问题。
对于我们甚至可以合理定义的任何目标，我们最好能够连贯地“形成一个想法”。或者，实际上，我们最好有一些“人类层面的叙述”来描述它。
但是我们如何才能表现出这样的叙述呢？好吧，我们拥有自然语言——这可能是我们物种历史上最重要的一项创新。自然语言的根本作用是让我们能够在“人类层面”谈论事物。
它由我们可以认为代表“人类水平的意义包”的词组成。因此，例如，“椅子”一词代表了椅子的人类概念。它不是指某些特定的原子排列。相反，它指的是我们可以有效地将任何原子排列组合成椅子的单一人类概念，并且我们可以从中推断出我们可以期望坐在上面等事实。
那么，好吧，当我们“与 AI 交谈”时，我们可以期望使用自然语言说出我们想要说的话吗？
ChatGPT 确实帮助我们比以往任何时候都走得更远。但是当我们试图使事情变得更精确时，我们遇到了麻烦，我们需要的语言迅速变得越来越华丽，就像复杂法律文件的“法律术语”一样。
所以，我们能做些什么？如果我们要把事情保持在“人类思想”的水平上，我们就不能“深入”到所有的计算细节。
但是，我们又想要一个精确的定义，即如何根据这些计算细节来实现我们所说的内容。
好吧，有一种方法可以解决这个问题，这是我个人投入了数十年的方法：计算语言的概念：
当我们考虑编程语言时，它们是仅在计算细节级别运行的东西，或多或少以计算机的本机术语定义计算机应该做什么。但是真正的计算语言（是的，在当今世界上，Wolfram 语言是唯一的例子）的意义在于做一些不同的事情：定义一种精确的方式来用计算术语谈论世界上的事物（无论是具体的国家或矿物，或抽象的计算或数学结构）。
为人工智能世界做准备
从某种意义上说，这是充分利用我们人类能力的方法：让我们专注于制定我们想做的事情的“战略”：将如何做的细节委托给可以做到的自动化系统比我们好。
要在这方面取得成功，重要的是知识的广度和思维的清晰度。而说到思维的清晰度：过去，我们用逻辑和数学之类的东西来构建思维。但现在我们有了新东西：计算思维。
这是否意味着每个人都应该使用某种传统编程语言“学习编程”？不是。传统的编程语言是告诉计算机用它们的术语做什么。而且，是的，今天很多人都这样做。但对于直接自动化来说，它从根本上来说已经成熟了（正如 ChatGPT 的例子已经显示的那样）。
从长远来看，重要的是不同的东西。它是将计算范式作为一种结构化的方式来思考，而不是思考计算机的操作，而是思考世界上的事物和抽象事物。
对此至关重要的是拥有一种计算语言：一种使用计算范式表达事物的语言。用简单、非结构化的自然语言表达简单的“日常事物”是完全可能的。但要建造任何一种严肃的“概念塔”，都需要更有条理的东西。这就是计算语言的意义所在。
人们可以在数学和数学思维的发展中看到一个粗略的历史类比。直到大约半个世纪以前，数学基本上都必须用自然语言来表达。但后来出现了数学符号——从中产生了一种更简化的数学思维方法，最终使所有不同的数学科学成为可能。现在，计算语言和计算范式也是如此。
像 ChatGPT 这样的东西通过拼凑现有的人类材料（比如数十亿字的人类书写文本）实际上提供了“类人人工智能” 。但是计算语言可以让人们直接进入计算——并提供从根本上做新事物的能力，这些新事物可以立即利用我们的人类能力来定义智能策略。
虽然传统编程很可能在很大程度上被人工智能淘汰，但计算语言是一种在人类思维和计算宇宙之间提供永久桥梁的东西：一个在设计（和实施）中已经完成自动化的渠道语言——在某种意义上留下一个直接适合人类学习的界面，并以此为基础来扩展他们的思维。