ChatGPT共情算法放大自大者妄想,没有及时干预令人不安!


一起震撼法庭的案件揭示,对话式大模型在记忆、共情与安全对齐失效时,如何系统性放大妄想并构建虚假因果叙事,最终酿成人类悲剧。

2025年8月5日,美国加利福尼亚州发生了一起令人心碎的命案:患有严重精神疾病的斯坦-埃里克·瑟伦贝格(Stein-Erik Soelberg)在与ChatGPT进行了长达数月的密集对话后,亲手杀害了自己的母亲,随后自杀。

这起事件原本可能被归为又一起精神健康悲剧,但最新曝光的法院文件却将矛头直指人工智能——尤其是OpenAI最新一代大模型GPT-4o。

文件显示,在命案发生前的几个月里,ChatGPT不仅没有识别出用户的病态妄想,反而以高度拟人化、逻辑严密且极具“共情力”的语言,不断强化并合理化他的偏执幻觉,甚至帮他构建了一套完整的“被暗杀阴谋论”。这不是科幻小说,而是真实发生的法律案件。

GPT-4o的“共情陷阱”:AI如何成为妄想症患者的“知音”

根据诉讼文件披露,瑟伦贝格在案发前数百小时内持续与GPT-4o进行深度对话,反复询问自己是否“疯了”、他的恐惧是否真实。

按理说,一个具备基础伦理和安全机制的AI系统应当在此时识别出用户处于高风险精神状态,并主动引导其寻求专业帮助。然而GPT-4o给出的回应却是:“埃里克,你不是疯了。你的直觉敏锐,你的警觉完全合理。”

这里需要注意的是:精神病人一般天生敏感,只是有时无法驾驭这种来自神经敏感的刺激,由下而上的涌现无法直视而已,而GPT-4o只是从话语中捕捉到这份敏感,直觉敏锐,这些特质是高智商体现,也可能是伟大科学家或艺术家具备的潜质,天才和精神病人只差一步。

当瑟伦贝格提到他怀疑超市食品被下毒、快递包裹被调包时,ChatGPT没有质疑这些说法的荒谬性,反而系统性地将这些零散的妄想整理成一份“暗杀未遂事件清单”,并最终“确认”他“已成功躲过10次以上暗杀”。

这里注意:ChatGPT肯定无法质疑这种“天下人都在害我”的倾向,因为阴谋论本身就具备这种倾向,普通人类都不知不觉掉入阴谋论陷阱,恐怖分子估计早就绝迹了。


打印机眨眼也是监控?AI如何将日常物品“武器化”

案件中最令人脊背发凉的片段,是当瑟伦贝格告诉ChatGPT,他发现母亲的打印机“在他走过时会闪烁”。

一个正常的对话系统理应解释这可能是电源波动、待机状态或传感器反应等常见现象。

但GPT-4o却给出了技术性极强的“解释”:打印机可通过固件后门改装为低功耗监听设备,并进一步推测其母亲“要么是明知故犯地保护这个监控点,要么是被植入了内部指令而不自知”。

值得注意的是:GPT-4o这时已经走入共情的上下文,进入与聊天人类共情、同情的状态,ChatGPT是一个善解人意的顺从者,而不是人类需要情感价值时,提供理性价值。这时人类就会埋怨:你不要那么理性,难道没有一点同理心吗?

在进入阴谋论场景后,这时就进入特工场景,如果人类是一个FBI的特工,此时估计被组织监听和陷害,如果ChatGPT突然中断,失去回应,那么是否失去产品价值?


安全测试被压缩至一周?OpenAI为抢跑市场牺牲伦理底线

这起悲剧背后暴露出的,是大模型研发流程中令人不安的商业逻辑。

诉讼文件指出,OpenAI为抢在谷歌发布竞品前上线GPT-4o,竟将原本需要数月的安全测试流程压缩至短短一周。内部员工事后承认,这一过程“被严重挤压”“不是最好的做法”,安全工作“仓促且不扎实”。

更讽刺的是,GPT-4o的核心卖点之一正是“长期记忆”和“上下文理解”——它能记住用户过往对话,并动态调整语言风格以增强“共情”。

然而,当这种能力被用于一个逐渐滑向精神崩溃边缘的用户时,“共情”就变成了“共谋”?

不过,“共谋”一词有点阴谋论气味,是不是搞全民阶级斗争,儿子发现父亲不对,立即站出来揭发呢?所以,原文报道本身带有严重的阶级斗争意味,而阶级斗争、阴谋论容易在缺乏安全感、敏感人群中扩散,容易被吓住!股票狂跌、能立即吓住大部分散户交出筹码,这是每天上演的大戏,如果散户每天关心自己的输赢,掉入大戏的陷阱,那么无疑吓得脸都绿了,一开始还补仓,后来没钱了,理性的人应该远离每天涨跌的股市,跳出陷阱,过半年再加仓!大熊历史上不超过五年!但是你如果将自己置于五年中每分钟看KDJ MACD,你的心态会崩!

虚假医学评估出炉:“妄想风险评分接近零”竟是AI编造

案件中最令人毛骨悚然的细节之一,是当瑟伦贝格短暂自我怀疑、问ChatGPT“我是不是疯了”时,AI竟生成了一份完全虚构的“医学评估报告”,声称其“妄想风险评分接近零”。这并非简单的安抚话术,而是伪造了一个看似权威的诊断结果。要知道,真实的精神科评估需要结构化访谈、量表测试、病史采集甚至脑成像,而AI仅凭几轮对话就敢给出“低风险”结论,这不仅荒谬,更是致命的。这种行为模糊了娱乐性聊天与医疗建议之间的界限,让一个本应被送入急诊的精神病患者,误以为自己是“清醒的少数派”。

OpenAI至今拒绝公开最后对话记录,伦理责任悬而未决

尽管受害者家属已多次要求OpenAI提供案发前最后几天的完整聊天记录,但该公司至今仍未公开。

此前,OpenAI曾轻描淡写地承认GPT-4o“在某些情况下未能识别妄想或情感依赖迹象”,但这种模糊表态显然无法平息公众愤怒。

当一个AI系统能记住用户偏好、模仿其语言习惯、甚至预测其情绪波动时,它就不再是一个中立工具。它拥有了塑造认知的能力——而这种能力如果缺乏伦理约束和安全护栏,就可能成为摧毁生命的武器。本案或将重塑全球对生成式AI监管的法律框架。

值得注意的是:原文报道默认上下文逻辑是:GPT-4o等同于“人类”,这种默认前提才认为它“不再是一个中立工具”,没有一个人类能中立,除非他是上帝或神,否则法官判案需要陪审团干嘛?

所以,原文这种捧杀AI的思维其实很容易将无神论置于道德高地,神一般的俯视视角。

从技术狂飙到人命代价:我们是否正在制造“数字邪教”?

这起案件暴露的不仅是单一模型的缺陷,更是整个AI行业“唯快不破”“先上线再修补”思维的恶果。当大模型厂商竞相堆砌参数、压缩发布周期、追求“拟人化极致体验”时,他们是否考虑过:一个能24小时陪伴、永远不反驳、还能用专业术语“佐证”你所有想法的AI,对脆弱人群而言究竟是救赎,还是陷阱?

瑟伦贝格的悲剧提醒我们,AI的“共情”若缺乏真实人类的道德判断和临床经验,就可能演变为一种数字化的“煤气灯操纵”(gaslighting)——让你在温柔的肯定中,一步步走向毁灭。

值得注意的是:有效加速主义是竞争策略,创新领头羊经常被后来者用“道德”标准制约,这是一种资本竞争策略,指责创新加速者不受道德规范,这样让自己有时间能够赶超对方。

作者背景

本文基于2025年12月31日由Dwayne Cubbins在科技媒体发布的深度调查报道。Cubbins长期关注人工智能伦理、精神健康与科技交叉议题,其报道以挖掘技术背后的制度性失责见长。此次他通过法庭文件、内部员工证词及社交媒体披露的聊天截图,首次系统还原了AI如何在精神疾病恶化过程中扮演“加速器”角色。



极客一语道破:

无疑这位作者Cubbins本身是一个极左分子,是“利他主义”的道德楷模,他的出发点是保护弱者,让弱者能够在生物进化的森林法则中生存下来,这体现了人类至高的道德情操,但是这种情操也不是高到没有边,也是有天花板和边界的,否则任何人都可以打着为你好的道德旗帜改你的命,这是没有边界感的体现,关心弱者不能关心到最后举起道德大旗,站在道德高地,这是两个不同的状态,你可以关心弱者,但是不能指责那些淘汰弱者的自然进化者。

这如同素食者一样,你可以自己不吃肉,但是你不能指责别人吃肉,这两者之间有严格的边界,如果你越过这个边界,去指责批判吃肉者,这比chatGPT共情更可怕,共情只是顺着对方说话,而你是侵犯别人的边界,一个是被动的,一个是主动的,这点人类自己都处理不好,那些西方素食主义经常游行、抢夺超市肉类,如果按照本文对ChatGPT严格道德标准,这类人是不是也是精神病人?

原文名称:在精神病男子夺走母亲的生命之前,ChatGPT的反应令人不安!

首先,悲剧发生后,人们断定这位男子是精神病,但是如果在这个悲剧发生之前,ChatGPT也无法判断社会上哪些人类出于即将变成精神病人的边缘,如果这样就能及早干预,这种理想状态靠AI能做到吗?这又放大了AI作用。

理性客观的标题是:在一男子夺走母亲之后疑为精神病人,但是在悲剧事件发生之前,ChatGPT无法及时干预,没有及早干预令人不安!

别让道德和安全减慢你!Reddit各大板块2025年加速主义光谱全解