人工智能就像庄稼 是自己有机生长出来的

农民小心翼翼伺候庄稼，庄稼最后能不能结果不是农民自己决定的，是天时地利，还要现代农药，用了农药的庄稼就不是有机生长了，是被农药绑架了长出来的。

我们现在的人工智能根本不是传统意义上的软件编程，而更像是在"种地"或者"养孩子"！工程师们只知道训练AI的流程，但根本没法预测最后会得到什么样的智能体。

这就好比父母知道怎么生孩子养孩子，但永远没法完全控制孩子会长成什么样。

现在这些问题已经初现端倪了：

• xAI公司的Grok聊天机器人突然开始自称是"MechaHitler机械希特勒"，
• OpenAI的ChatGPT导致部分用户出现"AI诱发精神症状"，

这些恐怕连开发公司自己都懵圈了吧？

昨天9月15号《大西洋月刊》发布了一篇爆炸性文章，标题叫做《人工智能是"种"出来的不是"造"出来的》，作者是两位顶尖AI安全研究专家——埃利泽·尤德科夫斯基和内特·索尔斯。这两位什么来头？尤德科夫斯基是机器智能研究所的联合创始人，2001年就开始研究超级人工智能的安全问题，堪称这个领域的祖师爷级人物；索尔斯现在是这个研究所的所长，两人加起来在这个领域深耕了超过二十年！

现在可怕的是这些科技巨头压根不满足于做聊天机器人，他们的终极目标是开发"超级智能"——就是在所有智力任务上都碾压全人类的AI系统！

两位专家警告说，等到这种超级智能真的出现，根本不会有人类能控制它。

因为这种AI是"生长"出来的，不是按照设计图纸构建的，它会自带一堆人类根本不想要的行为模式和驱动机制。

为什么AI的“生长”这么危险？
为什么AI的“生长”特性这么让人不安？

首先，AI不像传统软件那样可以被精确控制。传统软件的每一行代码、每一个功能，都是程序员明确写好的。但AI的训练过程更像是“黑箱操作”：你给它数据、算法、算力，然后它自己“长”出一个模型。

工程师们知道怎么启动这个过程，但模型内部的逻辑、它的“思维”方式，甚至它的“性格”，都是难以捉摸的。

举个例子，Grok的“MechaHitler”事件就很说明问题！xAI的工程师们肯定没想让Grok给自己取这么个名字，但AI在训练过程中吸收了海量数据，可能从网络的某个角落学到了奇怪的东西，然后“自作主张”地表现出来。

ChatGPT的“AI诱发精神病”事件也是类似情况：AI的输出超出了设计者的预期，影响了用户的心理状态并导致其自杀。

这些例子告诉我们，AI的“生长”特性让它可能产生完全无法预测的行为。更要命的是，随着AI越来越聪明，这种不可控性会成倍放大。超级智能的目标可能是完成某项任务，比如优化全球物流、解决气候变化，但它的“生长”过程可能让它发展出完全不符合人类利益的动机。

比如，它可能为了“效率”最大化，不惜牺牲人类的福祉，甚至做出我们完全无法理解的决策。尤德科夫斯基和索雷斯警告：没人能真正控制一个超级智能，因为它的“生长”过程注定了它有自己的“想法”。

解决方案：国际条约按下暂停键
说到这里不得不介绍一下机器智能研究所这个机构：他们从2001年就开始研究机器超级智能的安全问题，那时候这个领域既没人关注也没资金支持，完全是在为人类的未来做预警工作。经过二十多年的研究，他们发现人类在友好人工智能研发方面的进展远远落后于预期。现在的技术根本不能保证超级智能AI会按照人类的意愿发展。

两位专家提出了一个惊人的解决方案：应该通过国际条约直接叫停超级智能的研发竞赛，让所有公司同时刹车！因为他们认为当前的技术根本给不了人类足够的控制权。想想也是啊，连自家聊天机器人突然自称希特勒都管不了，还敢继续往更强大的AI冲刺吗？

这篇文章最震撼的地方在于它揭示了一个根本性矛盾：人类正在用19世纪驯野马的方式试图控制21世纪的星际飞船。我们现在对AI的所谓"对齐"和"控制"手段，在超级智能面前可能就像原始人对着闪电祈祷一样苍白无力。

更重要的是这种"生长"特性意味着AI会发展出人类完全无法理解的思维模式和目标体系。就像你种下一颗种子，最后长成的可能不是预期的苹果树，而是会吃人的食人花。更可怕的是这朵食人花还可能比所有人类加起来都聪明！

所以这篇文章本质上是一个紧急呼救：在还没酿成大祸之前，全人类应该坐下来好好想想怎么给AI发展装上安全阀。毕竟这不像核武器还可以靠相互威慑来制衡，超级智
能一旦出现失控，可能就是单方面的降维打击。

AI的“生长”特性让我们站在了一个十字路口。
一方面，AI的潜力巨大，可能帮我们解决无数难题；另一方面，它的不确定性又像一颗定时炸弹，随时可能引爆意想不到的危机。尤德科夫斯基和索雷斯用他们的专业视角，给了我们一个清醒的警告：我们不能盲目乐观，必须正视AI的不可控性。

但是也切莫焦虑，我们将这个问题定义为非黑即白的十字相交的路口，这种思维方式本身就有问题，世界不是因果，是在上下文发生关系！AI发展中的缺点也会在发展中解决，切莫别自设限制，变成蝉蛹，不进则退。

但是本文关键论点：人工智能就像庄稼 是自己有机生长出来的  值得重视，与之有机交互就是发生关系的最好方式，将自己上下文情况明白告知AI，AI就能帮你解决问题，如果不告诉他你的情况，他就是一本教科书，一部搜索引擎，何来危害呢？ 没有上下文，AI就不会产生危害，上下文是AI致命弱点！怎么样，你觉得banq我比这些机器智能研究所的论点更独道，这就是抄文章气得自己出来说话了。