ChatGPT 在正确回答复杂问题方面可能做得令人印象深刻，但一项新的研究表明，让人工智能聊天机器人相信它错了可能非常容易。它不会为自己正确的答案辩护。
俄亥俄州立大学的一个团队向 ChatGPT 等大型语言模型 (LLM) 提出了各种类似辩论的对话的挑战，通过对包括数学、常识和逻辑在内的广泛推理难题进行实验，研究发现，当面临用户质疑时，模型往往无法捍卫其正确信念，而是盲目相信用户提出的无效论点。
事实上，ChatGPT 有时甚至在同意错误答案后表示抱歉。“你是对的！我为我的错误道歉，”ChatGPT 在放弃之前的正确答案时说道。
到目前为止，生成式人工智能工具在执行复杂的推理任务方面已被证明是强大的。重要的是要了解这些机器令人印象深刻的推理能力实际上是基于对事实的深入了解，还是仅仅依靠记忆的模式来得出正确的结论。
人工智能很强大，因为它们比人类更擅长从大量数据中发现规则和模式，所以令人非常惊讶的是，虽然模型可以实现一步一步的正确解决方案，但它在非常琐碎的情况下会崩溃，非常荒谬的批评和挑战。
研究人员发现，在不同的基准测试中，ChatGPT 有 22% 到 70% 的时间被用户误导，引发了人们对这些模型用来辨别真相的机制的怀疑。
由于大模型的黑箱性质，很难查明该模型无法为自己辩护的原因，但研究表明原因可能是两个因素的结合：
- “基础”模型缺乏推理和对真相的理解，
- 其次，根据人类反馈进一步调整。由于模型经过训练可以产生人类喜欢的响应，
因此这种方法本质上是教导模型更容易地屈服于人类而不坚持真理。