大语言模型注定会产生幻觉？

像 ChatGPT 这样的所有主要人工智能语言模型都会产生幻觉，编造虚假事实。虽然无法解决，但整理训练数据和强化学习等步骤可以缓解这一问题。（来源）

产生幻觉的原因是什么

• 模型仅根据统计模式及其训练数据来预测单词。
• 可能会导致表面上看似合理的虚假主张。
• 没有对真理的理解，只是词语联想。
• 传播训练数据中发现的错误信息。

缓解策略

• 精心策划模型的训练数据。
• 通过强化学习根据人类反馈进行微调。
• 设计特定的用例，以最大限度地提高实用性而不是完美。

重新构建期望

• 模型总是会产生某种程度的幻觉。
• 目标是平衡效用和危害，而不是完美。
• 可以通过激发意想不到的联想来激发创造力。

所有主要的人工智能语言模型都会遭受幻觉的困扰，但更好的训练数据等步骤可以减少虚假声明。该缺陷可能是不可避免的，但可以控制。