系统把很多“差不多能用”的近似方法叠在一起使用，这些近似在单独使用时表现正常，叠起来之后误差会互相放大，最终导致整体输出失去可靠性。
你可以把GPT想象成一个用十几层“差不多就行”的规则拼起来的机器，每一层都在偷偷犯一点小错，这些小错在前几层看不出来，到了后面就像滚雪球一样越滚越大，最后生成一个逻辑完整但事实飘忽的答案。打个比喻：你养一只狗得狂犬病概率很小，但是你养了10多只以后，这个概率就提高了。
问题的关键点非常直接：系统没有一套数学机制可以证明“最终结果一定正确”，也没有机制可以计算“错误会不会爆炸”。所以它只能靠概率去猜一个最像对的答案。
这就是AI永远在说：“AI可能出错，请自行核实”！
整个GPT的设计思路就是“看起来像就行”，不是“必须正确”。这个出发点决定了后面所有的问题。就像一个学生考试只追求卷面工整，不追求答案正确，短期看分数还行，长期看知识全是漏洞。GPT把这个思路用到极致，每一层操作都在做近似，每一步都在丢信息，最后输出一个听起来完美但完全不可控的结果。这不是bug，这是feature，是设计时就埋下的雷。
GPT的基本套路其实很简单
GPT干的事情非常朴素：根据前面的词，预测下一个词。整个系统的核心目标只有一个，就是让句子看起来顺滑合理像人话。
问题就出在这里：它追求的是“看上去对”，不是“真对”。
整个流程可以拆成三个固定步骤：现实问题是选一个正确词，工程手段是用概率分布去猜，缺失证明是没人能证明这样猜在复杂结构里依然靠谱。这个套路在每一层都会重复，你可以理解为一个人一直在靠感觉做判断，而且这个人记忆力特别好能记住海量例子，但依然是靠感觉。
单次感觉可能靠谱，多次叠加就开始离谱。比如你让一个人猜“1+1等于几”，他靠感觉说2，对了。你再让他猜“127乘以328等于多少”，他靠感觉说41656，听着像但实际是错的。GPT就是这样，短文本表现不错，长文本或者复杂逻辑就开始放飞自我。而且最关键的是，它自己都不知道自己错了，因为它没有“正确”这个概念，只有“合理”这个概念。
softmax这一步就埋雷了
softmax是个核心操作，说白了就是把一堆可能的词变成概率，然后选一个最可能的。
听起来很合理，但问题在于真实世界的语言是“选一个”，softmax做的是“分布一下”。
这个差别很关键：现实情况是一句话里某个词要么对要么错，模型内部是这个词有百分之三十概率，那个有百分之二十，另外那个有百分之十。
于是就出现一个现象：每一步看起来都挺有信心，整句话拼起来却乱七八糟。这就像每一步都在投票选人，结果最后拼出一个完全没逻辑的组合团队。
更逗的是softmax有个温度参数，温度越低模型越“自信”，温度越高模型越“保守”。但不管怎么调，它都改变不了“分布代替选择”这个根本问题。你让一个选择题的正确答案是C，但模型说A概率百分之四十，B百分之三十，C百分之三十，最后抽签抽了个A，然后说这是最佳选择。这就是softmax干的事，它永远在玩概率，不是在找真理。
梯度问题修补方式也有坑
深度网络有个经典问题叫梯度消失或者梯度爆炸，简单说就是信息传着传着就没了或者炸了。
工程师用了两个办法：残差连接和层归一化。
残差连接就是给信息开条“高速公路”，让它直接跳过几层，这样信息不容易消失。
层归一化就是把每一层的数据都压到同一个规模，比如所有数字都变成平均值为零方差为一。
这俩东西确实能让训练跑起来，但有个隐藏副作用。
层归一化会把所有数据“压成同一规模”，就像所有人都必须穿统一尺码的衣服，姚明和潘长江穿同一个号码，身高这种信息直接没了。于是模型只能靠“方向差异”来区分信息，信息表达能力被严重限制。你可以理解为音量被关掉只能靠音调区分音乐，这就很容易出现“听起来差不多但意思完全不同”的问题。比如“我喜欢你”和“我讨厌你”在方向上有差异，但音量一样，模型可能觉得它们是一类词。
优化算法本身就不稳定
GPT训练用的是Adam优化器，这玩意在深度学习里是标配。理论上它在简单问题上能收敛，但在复杂问题上，有研究证明它可能直接发散。更直白地说，同一套训练数据，换个随机种子出来的模型就不一样。这意味着什么？意味着这个系统从一开始就没有稳定解。你让十个人按同一食谱做菜，每个人做出来味道都不一样，而且没人能解释为什么。
Adam有个问题叫“泛化误差不保证”，就是训练的时候损失函数降得挺好，但一上真实数据就开始飘。你想啊，一个厨师在厨房里颠勺颠得挺溜，评委一来紧张了就开始手抖，然后菜就咸了。GPT就是这样，训练集上表现优秀，你一问它“秦始皇的手机是什么型号”，它就开始编，因为它没学过这个但必须给你个答案。
位置编码就是个补丁
模型本身其实不懂顺序，“我打你”和“你打我”在它眼里是一样的词集合。于是工程师加了位置编码，比如正弦位置编码、可学习位置编码、旋转位置编码。这些方法确实让模型看起来懂顺序了，但没有任何数学证明说明它真的理解顺序关系。更离谱的是上下文长度扩展到一百二十八K甚至一兆，本质是把问题放大。就像一张纸本来就歪，你把它拼成十六张还是歪的。
位置编码就像给一堆乱序的照片打上时间戳，模型学会按时间戳排序，但它不懂“上午十点”和“下午两点”之间的因果关系。你告诉它“我吃完饭后肚子疼”，它能记住顺序，但它不知道“吃坏东西导致肚子疼”这个因果链条。所以当你问它“肚子疼应该吃什么药”，它可能告诉你吃火锅，因为它只记住了顺序没记住逻辑。
分词方式也在悄悄坑人
BPE分词的目标是压缩文本长度：它关心的是“更短”，不关心“更有意义”。于是会出现这种情况：英语一句话十个token，某些语言可能三十个token。这直接影响模型的注意力预算。换句话说，同样一句话，不同语言在模型眼里长度不一样，理解能力自然也不一样。
这就像一个人看短句很清楚，看长句就开始发呆，眼睛跟不上了。
更搞笑的是分词会产生一些莫名其妙的结果。比如“unbelievable”可能被分成“un”“believe”“able”，逻辑上没问题。但“Therapist”这种词如果被分成“The”“rapist”，模型就学歪了。
分词器不知道语义边界，它只看统计频率。你让一个外国人学中文，只学偏旁不学意思，他写出“宀豕”说这是“家”，好像没毛病，但写出“火火”说这是“炎”，也行，但写出“口鸟”他就懵了，因为“鸣”的分法是“口”和“鸟”，但这俩意思组合起来是“鸟叫”，光看偏旁猜不出来。
embedding空间根本不靠谱
embedding就是把词变成向量，比如“国王”变成[零点一，零点二，负零点三]这种数字列表。问题在于没人能证明这些向量的空间结构是合理的。模型用点积计算相似度，但这个前提是空间必须符合某些数学规则，比如向量长度有意义、夹角能代表相似性。现实情况是没有这个保证。于是就会发生“bank”银行和“bank”河岸可能混在一起，“set”这种有几十个意思的词更是灾难现场。模型觉得它们很像，人类觉得完全不同，这就像把猫和狗都放在毛茸茸动物这个桶里让系统自己区分。
embedding还有个问题叫“各向异性”，就是所有向量都挤在一个小锥形区域里，互相之间都挺像。你想啊，如果所有词向量都差不多，那模型怎么区分“好”和“坏”？它就硬靠微小的方向差异去猜，误差自然大。这就像全班同学都穿一样的校服留一样的发型，老师点名只能靠嗓门大小，但大家嗓门也差不多，混乱是必然的。
attention机制其实是拍脑袋设计
attention是Transformer的核心，但设计过程很工程化。为什么用点积？为什么除以根号d？为什么有这么多头？答案基本都是实验效果不错，没有理论证明这是最优结构。甚至有研究发现很多attention头可以删掉模型依然正常，这说明系统内部存在大量冗余和不确定性。你可能觉得冗余是好事，备份多更安全，但这里恰恰相反，冗余意味着你不知道哪些头真正有用，哪些头在捣乱。
attention的计算方式是让每个词和其他所有词算关系，复杂度是序列长度的平方。序列长度一千，计算量是百万级，长度一万就是亿级。模型为了跑得快做了各种近似，比如用局部attention只算附近几个词，或者用稀疏attention跳着算。这些近似在短文本上还行，长文本上就开始丢信息。你让模型读一篇一万字的文章，它只能扫读不能精读，自然容易漏掉关键细节。
上下文学习完全没理论支撑
GPT可以在提示词里学东西，这个现象被称为上下文学习，很神奇但问题来了：没有任何学习理论能解释这个现象。它对示例顺序敏感，对格式敏感，对表达方式敏感。这说明它并没有真正“学”，只是做模式匹配。就像你让一个人背答案，他能应付考试，但一变题就懵。比如你给GPT几个例子说明“苹果是水果”，然后问“西红柿是水果吗”，它能答对。但你打乱例子顺序，先给“西红柿是蔬菜”再给“苹果是水果”，它可能就懵了。
上下文学习还有个诡异现象叫“模型不泛化”，意思是你在提示词里给的示例模式它只在表面模仿，不学规律。比如你给示例“一加一等于二，二加二等于四”，然后问“三加三等于几”，它可能说五，因为它记住了“数字重复”这个表面模式，没理解“加法”这个规律。这就像一个学生背了“一一得一，二二得四”，考试问“三三得几”他写四，因为他说“一二三，一得、二得、三应该也得四”。
前馈网络占大头却最神秘
GPT里大约有三分之二的参数在前馈网络层，前馈网络就是最简单的那种一层输入一层输出的结构，但堆了几千个神经元。问题是这个部分没有精确数学描述，没有控制方法，没有稳定性证明。也就是说系统里最大的一块完全是黑箱。你开一辆车，发现发动机占三分之二体积但没人知道它怎么工作的，只能靠试，这车你敢开吗？
前馈网络做的事情特别粗暴：把一个向量扔进去，经过一个矩阵乘法，加一个偏置，再过一个激活函数，出来另一个向量。中间那个宽层的维度是输入维度的四倍甚至更大，这就意味着信息被疯狂膨胀然后压缩。膨胀过程会创造很多“中间概念”，这些概念有些有用有些没用。但问题是你不知道哪些概念有用，哪些是噪声。就像一个政府机构招了三倍的人，有人说干实事有人说摸鱼，你分不清但都得发工资。
真正的问题在误差叠加
关键问题来了：这些误差怎么叠加？答案是没人知道。误差之间不是独立的，层与层之间有反馈，每一步都在放大前面的偏差。这就像十个人传话，每个人都改一点，最后完全变味。而且系统没有“误差上限”，传统工程会有一个最大允许误差，比如飞机控制系统要求误差小于百分之一。GPT没有这个，误差可能是一，也可能是十万，你完全不知道。
误差叠加的方式特别隐蔽，它不是线性增长，是指数级增长。你在第一层犯一个零点零零一的小错，经过几十层Attention和前馈网络的反复放大，到输出层可能变成一个十的大错。而且这些层之间会互相反馈，一个层犯错会让后面的层犯更大的错，后面的错又通过梯度反传回来影响前面的层。这就像你走在滑冰场上，滑一步歪一点，然后为了平衡你歪更多，最后摔个狗啃泥。
为什么模型越大问题越明显
模型规模变大后，连接数量爆炸增长。简单理解：每个词都会和其他词产生关系，层数越多关系越复杂。这个复杂度增长速度是平方级的。就像你从十个人开会变成一千个人开会，信息混乱程度直接爆炸。于是系统进入一个状态：局部看起来合理，整体开始失控。你可以把大模型想象成一个城市，每条街道规划得挺好，但整个城市交通瘫痪，因为路网太复杂了没有人能全局优化。
大模型的另一个问题是“记忆和泛化的冲突”。模型越大记忆能力越强，它能记住训练数据里的很多细节，但泛化能力反而下降。它开始死记硬背而不是学规律。你问它一个问题，它从记忆库里翻出一个最像的答案贴上去，而不是真正理解问题后推理。这就像一个学生把题库全背下来了，考试遇到原题满分，遇到变体直接零分。GPT的幻觉很多就是这么来的，它记住了“苹果可以吃”，然后你问“石头可以吃吗”，它说“可以吃，口感酥脆”，因为它把“吃”这个模式和“苹果”的模式混在一起了。
κA告诉你什么时候崩
研究者用一个经典方法测量输出稳定性：构建自相关矩阵，然后计算条件数，条件数在数学里用来判断一个系统有多敏感，数值越大越不稳定。正常结构条件数小于一千，过渡状态一千到一百万，GPT输出大于一百万。这说明什么？说明输出结构已经接近数学上的“不稳定”，你可以理解为这个系统已经处在随时可能乱说的边缘。
条件数大的意思就是你轻轻动一下输入，输出会剧烈变化。比如你给GPT两个几乎一样的问题，一个是“法国的首都是哪里”，一个是“法国的首都是哪座城市”，它可能第一个答巴黎，第二个答里昂，因为那个微小差别被系统放大了。你可能会说这不常见，大部分时候它答对了。但问题是“大部分时候对”不是工程上的可靠性标准，飞机百分之九十九的时候能飞你敢坐吗？
为什么这个问题修不了
很多人会问加点规则不就好了？现实是基于人类反馈的强化学习只能调表面行为，过滤器只能删结果，提示词技巧只是换问法。这些都没有改变内部结构。就像你给一个摇摇欲坠的房子刷油漆，看起来更好看了，结构问题还在。问题的本质是没有数学保证，没有类型系统，没有约束机制，没有错误边界。所以无法证明某类错误不会发生。
基于人类反馈的强化学习这个方法的本质是让人类给模型的输出打分，好的加分坏的扣分，模型学着去模仿高分输出。但它学的是高分的形式，不是高分的内容。比如“一加一等于三”这个答案，如果你把它包装得特别完整语法特别漂亮，人类可能给高分，模型就记住了“漂亮语法等于高分”，然后继续输出错误内容。这就像老师给作文打分，字好看的多给分，结果学生字写得像印刷体但内容全是废话。
时间越久问题越严重
还有一个更阴的点叫数据回流。流程是这样的：模型生成内容，用户使用这些内容，数据被收集，拿回去重新训练。于是模型开始学到自己之前的输出。这就像一个人开始相信自己编的故事，然后越编越真，最终错误被写进模型本身。现在网上已经有大量由GPT生成的内容，这些内容又被抓去训练下一代模型，这就叫“模型吃自己的屎”。
数据回流的后果是模型会放大自己的偏见和错误。比如GPT早期版本说“医生是男的”，然后很多人用这个输出，这些数据被收回去训练，新模型就更坚定“医生是男的”。然后它又说“护士是女的”，又被收回去，再训练。最后模型变成一个固执的偏见放大器，而且你没法纠正，因为训练数据里到处都是它自己的错误输出。这就像一个回声室，你在里面喊一句“地球是平的”，回声传回来还是“地球是平的”，喊一百遍你就信了。
两条路线的对比
现在有两种思路：概率预测路线和数学精确路线。前者追求“像”，后者追求“对”。GPT属于前者。传统数学方法可以给出误差范围，保证收敛，保证稳定，但GPT做不到这些。你可能会说传统方法处理不了自然语言那么复杂的问题，没错，但那不是借口。你不能因为问题难就放弃数学保证，然后假装问题不存在。
传统方法比如形式验证，可以证明一段代码在所有输入下都不崩溃。比如你写一个排序函数，你可以数学证明它永远输出有序列表。GPT做不到，你说一句话进去，你没法证明它不会输出脏话、不会泄露隐私、不会编造事实。因为它的内部结构压根不支持这种证明。这就像你养了一条狗，你没法证明它一百天不咬人，你只能说“大概率不咬”，但哪天咬了你就自认倒霉。
那个免责声明其实很诚实
“AI可能出错，请自行核实”，这句话其实很关键。它的真实含义是：系统无法证明任何输出一定正确，系统无法说明什么时候会错。这句话就是整个架构的真实写照。你见过汽车厂商说“本车可能刹车失灵，请自行核实”吗？见过药厂说“本药可能无效，请自行核实”吗？没有，因为那些领域要求可靠性，而AI领域目前不要求。
这个免责声明相当于在说：我们的产品有缺陷但我们不负责。这不是某个公司的错，是整个技术路线的局限性。你换哪个公司做GPT-like模型，都一样，因为数学基础就是这套。就像一个建筑师用沙子盖楼，然后贴个条子说“本楼可能塌，请自行判断”，你能怪这个建筑师吗？他用的材料天生就不稳。
最后的结论很直接
利用数学结构本身的不可靠性发起的攻击一定会存在，因为系统结构允许它存在。
只要架构不变，这类问题就一定会反复出现。
模型越大问题越明显。你要用GPT，就要接受它是一个非常会说话的概率机器，它可以很聪明，也可以很离谱。
关键在于你怎么用它，而不是指望它自己变可靠。比如你用它写个朋友圈文案，没问题。
你用它写法律合同，那就是你自己找坑。
靠谱的使用策略是把GPT当副驾驶不是当飞行员。让它帮你 brainstorm 点子，帮你润色文字，帮你查资料但你自己核对。永远不要让它做最终的决策者，因为它没有“最终”这个概念，它只有“继续往下接词”这个概念。你记住这个核心差异，用它的时候就不容易被坑。它是个话痨，不是个专家，话痨可以陪你聊天但别让他替你签合同。
极客辣评
这篇文章用科学还原论拆解大模型每个部分都存在不确定的，因此，加起来不确定增加，但是忽视另外一种1+1>2的可能，系统涌现出准确率大大提高。