许多神经网络系统都是随机的，这意味着提供相同的输入并不总是会产生相同的输出。此类人工智能系统的行为是“涌现突发性的”，这意味着尽管每个神经元的行为都是由精确的数学公式给出的，但这种行为和节点的连接方式都无法解释网络的整体行为。
我最初 20 年的研究方向是形式化方法，其中使用数学和逻辑来确保系统按照精确的形式化规范运行，或者至少支持对已实施系统的验证。
形式化软件工程的一个核心属性是组合性：
- 即可以根据复合系统各部件和组合两个方向含义来理解复杂性系统，
- 而不是只查看部件本身含义。
这一理念是分段开发的核心：
- 各个部件可以单独设计（和验证），因此可以并行进行，并以模块、库等形式以“黑盒”方式重复使用：重用、复用，
- 重用可以依赖组件的任何验证结果，只需在抽象层面了解它们的接口和行为。
- 组件的重复使用不仅可以通过多次和多样化的使用提高信心，还可以节省成本。
不过也有认为：
因涌现突发事件而非组合事件而引发的问题
该文作者将“涌现”和“组合”看成是相反对立的观点：
- 当前的人工智能系统没有与其功能有意义关联的内部结构。它们无法作为组件进行开发或重用。无法分离关注点或分段开发。一个相关的问题是，大多数当前的人工智能系统都没有创建明确的知识模型——事实上，许多这样的系统都是从图像分析技术发展而来的，而人类显然无法为计算机创建知识模型，所有的学习都是通过例子（“我看到它就知道它”）。这对开发和验证有多重影响。（这个观点是把AI系统看成纯粹软件系统，而不是类人系统，是一种自我膨胀的体现，没有注意到自我的渺小。）
- 没有不同抽象层次的中间模型来描述系统。无法使用非形式或形式方法进行逐步开发。（这个观点还是基于陈旧的死的软件系统判断）
- 系统是无法解释的，因为它们没有知识模型，也没有任何“推理”的表示。（也许AI的知识模型是你现在人类无法解释的，所以，你以为它没有，其实它有，你不知道而已。）
- 即使是“圈内人”也几乎无法提供AI可解释性说明，因为AI是通过从头开始对输入数据进行自己的推理来解释系统结果（并从中学习）。
这里引发一个关于形式化思考是否只属于人类的偏见讨论，也许人类通过剥离内容的形式抽象，去除了大量细节，节省了能量消耗，但是能保持高度效率，但是AI不必去除大量细节，因为人类的抽象会发送泄漏，产生逻辑悖论，然后不断去修补（理发师悖论）
确认
验证伴随着上述一系列问题。唯一可能的验证是整个系统的验证；如果在系统开发过程中没有办法建立对系统的信心，我们就必须把所有精力放在事后验证上。不幸的是，由于上述问题，这受到了严重阻碍：
- 当前的人工智能系统的输入和状态空间太大，无法进行详尽的测试。
- 随机系统测试中的正确输出仅证明该系统有能力对该输入做出正确响应，但并不表明它会始终或足够频繁地做出响应。
- 由于缺少组件，当前的人工智能系统无法通过部件进行验证（单元测试、集成测试等）。
- 由于整个系统都参与到每个计算中，因此不存在有意义的覆盖概念来从非详尽的整个系统测试中获得信心。
因此，整个系统测试是唯一可用的验证工具，但它永远只能代表沧海一粟。
这个确认验证过程可能不是形式化验证，而是结合内容的最终用户确认，例如AI智能体实现订票过程，最终用户收到了机票，这是确认的，这种概率是否确定性100%完成？计算机也无法100%完成，网络复杂性，CAP定理都是制约条件，形式化带来确定性可能是人类的幻觉。
故障
故障和修复方面还存在一些严重的其他问题。故障可能来自不可靠的输入数据，这当然适用于许多生成式 AI 系统，也可能来自输入域部分训练数据稀疏。
- 当前的人工智能系统存在缺陷，但其错误行为也可能出现，而且很难预测或消除。
- 考虑到无监督训练与人工纠错和反馈学习之间的相对努力，仅从规模上来说，永远无法保证正确性。
- 通过再训练修复的错误并不局部，而且无法进行回归测试，因此可能会出现新引入的错误，但不容易发现。
结论
在我看来，这一切甚至让最先进的人工智能系统陷入了这样的境地：专业责任要求在任何严肃的应用中都避免使用它们。当所有技术都基于测试时，人工智能安全就是一种不诚实的事业。
那么，还有希望吗？我相信——尽管我很高兴有人证明我错了——当前的生成式人工智能系统代表着一条死胡同。
然而，符号人工智能和直觉人工智能之间的混合应该是可能的——系统确实会生成一些显性知识模型或置信度，或者与更传统的数据检索或定理证明相结合。
banq注：
符号形式化和AI模式匹配直觉看似是两种不同方法，而且人类固执认为符号形式化一定高于基于内容或上下文的模式匹配，其实两种方法可能都能到达罗马，但是你如果试图用人类的土路去改造AI的高速公路，那是范了刻舟求剑的僵化教条主义，至少两条道路可以相互验证，可能人类不太信任AI的道路，但是有一条不同的道路总比没有强。
当然，也可以存在一些用人类形式化改造的AI，属于两条路线之间的中间，探索观察试错。