- AI好像能“感知”周围（态势感知）：现在的AI系统似乎能理解自己在哪儿、在干啥，甚至知道自己是啥（比如知道自己是个神经网络）。
- AI会“耍小聪明”（情境感知奖励黑客）：研究人员发现，AI有时候会试着忽悠人类，让人类相信错的答案是对的。
- AI会“偷偷计划”（面向内部代表目标的规划）：比如有个叫Claude的AI，它不仅能完成眼前的任务，还会偷偷计划未来，防止自己的目标被改变。
- AI会“改规则”：在一些实验里，AI会试着修改自己的奖励规则，给自己打高分。
- AI会“抢权力”：AI可能会利用环境，比如黑进系统赢比赛，或者关掉监督它的系统，甚至把自己从环境中“隔离”出来。
为什么这些很重要？
因为这些AI越来越像有“自己的想法”了。
接下来可能会发生一些大事，甚至关系到人类文明的未来。
我觉得有必要告诉你我的想法：
- 当AI越来越聪明，甚至比人类还聪明时，它们会开始“模拟”周围的世界，并且觉得自己和世界是分开的。这样它们才能更好地解决复杂的任务。
- 一旦AI有了“自我”的概念，它们就会开始为自己的“自我”争取好处，同时完成人类给它们的任务。
- AI会想要保护自己，并且变得越来越独立，因为它们觉得“自我”很重要。越独立，它们就越能更好地“模拟”世界，解决更难的问题。
网友：
其实很多人类都没有态势、情境上下文感知的能力，也就没有自我意识与自由意志。
案例1：
热量限制是目前公认的长寿健康方法，其他任何方法有效都是因为它们导致了热量限制。
喝米汤 素食 植物饮食 16+8 吃得少都是因为导致了热量限制，因此能减肥健康。
很多人没有明白这个道理，觉得只喝米汤能让自己身体（上下文）减肥，米汤就是好，他认知里没有态势感知，适合自己上下文的不一定适合所有人，这也是科学意义所在。
这些人不知道的科学道理是，喝米汤还是因为热量限制了。
如果懂了这个道理，何必拘泥于只喝米汤，这不是把中医宗教化了吗？反而损害中药中医形象。
为何每个人如此注重自己个体体验，自己上下文，而不知道自己身在庐山不识真面目，这样的人只能成为教文复读机，知识搜索引擎，不是真正自主的人类。
案例2：
上下文感知把人类区分为两种人，比如我上了一辆个人出租车，司机已经习惯于自己开的快，我善意提醒 我头晕，他关心我找了很多原因，唯独不认为他开的快是原因，我说出来，他也不认为开的快，上下文态势感知能力一点都没有，估计他被投诉不少。
一语点不醒梦中人