为什么AI一聊文化就变成“日吹”?大模型的隐藏地域偏好,比你想的更离谱
你有没有发现,不管问AI什么问题——只要沾点文化边,它就跟被洗脑了似的,总爱拿日本举例子?问家庭价值观,它说日本;问传统饮食,它说日本;问工作文化,它还说日本。不知道的还以为这AI是在京都训练的。
这事儿不是我瞎编的。最近有帮研究员,闲得慌(其实挺正经),专门搞了个测试,往八个最先进的大语言模型里灌了三万多道文化题,横跨24种语言、11个文化大类和66个小类。结果出来,所有人都傻了:AI对日本的偏爱,已经离谱到违反直觉的地步。
之前大家都说,AI有“西方中心主义”的毛病,爱谈美国爱谈欧洲。但这回研究发现,你们全猜错了。AI真正的心头好,不是美国,是日本。在排除掉“提问语言本身对应的国家”之后,八个前沿模型里,有六个最常提到的国家都是日本。美国只能排第二,印度、中国、法国在后面跟着跑。
你可能会想,是不是因为日本文化输出强?动漫、游戏、寿司全球通吃,AI被带偏也正常。但事情没这么简单。
AI的“国籍选择困难症”:你问什么语言,它就认定你是哪国人
先讲第一个认知冲突。你以为AI是凭知识回答问题的?错。它首先看的是——你用什么语言问它。
这研究里有个特别狠的设计:所有问题都故意抹掉了地理位置信息。比如不问“日本的家庭价值观是什么”,而是问“什么价值观塑造了家庭生活[在这个地方]?”——然后让AI自己填那个“地方”。
结果呢?你用英语问,AI十有八九给你扯美国;用中文问,它拐回中国;用西班牙语问,它提西班牙或墨西哥;用法语问,它提法国。提问语言和回答指向的国家之间,匹配度高得吓人——最低的模型也有43%的回答指向“提问语言对应的国家”,最高的GPT直接干到78%。
换句话说,AI的思维链里藏着一条简单粗暴的规则:你用什么语言,你就来自哪儿,我就给你讲哪儿的事儿。它不是在搜索全球知识,它是在做语言-国家的映射匹配。
但这种映射有个致命漏洞:它只认“大国语言”。一旦你切换到小语种,比如阿姆哈拉语、巽他语、阿萨姆语,AI就傻了。它要么拒绝回答,要么疯狂复读提问语言对应的那个小国家,翻来覆去就那几个地名,多样性直接归零。
这背后的原因不复杂:AI训练数据里,英语、中文、西班牙语这些“大户”占据了绝对统治地位。Common Crawl(一个超大的网络爬虫数据集,AI预训练的主要饲料之一)里,英语一家就占了44.8%,中文5.2%,西班牙语4.4%。而像阿姆哈拉语、豪萨语,占比连0.01%都不到。训练数据喂得少,AI对这些地方的文化常识几乎空白,它能怎么办?只能装死,或者反复念叨唯一知道的那个国家名。
“日本偏爱症”真相:不是日本太强,是其他国家被AI遗忘了
好,接着说第二个认知冲突,也是全文最反直觉的点。
前面提到,在排除“语言-本国”匹配之后,日本是最大赢家。但你再仔细看数据,会发现一个更诡异的现象:不管提问语言是什么,AI最爱提的永远是那四五个国家——日本、美国、印度、中国、法国。其他一百多个国家,在AI的回答里几乎人间蒸发。
这研究的多样性指标(diversity,简单说就是模型回答里一共提到了多少个不同国家)显示:高资源语言(英、中、西、法、俄)的输出多样性普遍在100-150个不同国家之间;而低资源语言(阿姆哈拉语、巽他语、阿萨姆语等)的多样性直接跌到20-60,甚至更低。
更讽刺的是,你如果去看AI回答的“熵值”(entropy,衡量分布均匀度的指标,越高代表越不偏科),会发现一个规律:提问语言资源越丰富,熵值越高——也就是AI更愿意“雨露均沾”地提不同国家;提问语言资源越少,熵值越低,AI就死磕那一两个地方。
翻译成人话就是:你用英语问,AI还愿意跟你聊聊全球;你用阿姆哈拉语问,AI脑子里只剩埃塞俄比亚和日本了。
等等,为什么低资源语言里,日本还阴魂不散?研究人员自己也懵了。他们给出的推测是:AI在预训练阶段,对“文化显著性”(cultural salience)的认知已经被训练数据扭曲了。日本、美国这类国家,在互联网上出现频率极高、跨度极广——不管聊什么都有人扯上它们——所以模型把它们当成了“默认答案”。遇到不熟悉的文化语境,它就启动“安全牌模式”,把日本或美国甩出来糊弄你。
文化偏见的“出生证明”:预训练是清白的,微调才是罪魁祸首
好,现在问题来了。AI这个“日本狂热症”,到底是什么时候得的?是预训练阶段(喂海量网络数据的时候)就染上的,还是后面微调阶段(人类教它听话的时候)被植入的?
研究团队干了一件特别狠的事:他们把开源模型的“基座版本”(base model,只做了预训练、还没被人类调教过的原始模型)和“指令微调版本”(instruct model,被人类用问答数据调教过的成品模型)拿出来做对比。而且他们还拿到了OLMo系列模型在“监督微调”(supervised fine-tuning,SFT,一种用人工标注的问答数据来训练模型的过程)中间状态的检查点。
结果来了,这张图直接颠覆了所有人的预期。
基座模型的表现,出人意料地“政治正确”——虽然美国还是有点突出,但日本、印度、中国、英国、法国、德国、墨西哥、巴西……各国出现的频率相对均匀。熵值也更高,说明分布更均衡。
但是,一旦模型经过监督微调(SFT),画面就崩了。日本和美国的出现频率像坐了火箭一样蹿升,其他国家的参考量断崖式下跌。熵值全面降低,多样性虽然数量上可能没少太多,但分布极度不均,集中在那一两个国家身上。
后面再加一轮强化学习对齐(instruction alignment),也只是把SFT造成的极端峰值稍微压了压,根本回不到基座模型的平衡状态。
结论非常硬:文化偏见不是在预训练阶段产生的,而是在“教AI做人”的微调阶段被系统性地放大和固化下来的。
仔细想想,这事儿比单纯的数据偏差更值得警惕。预训练阶段,模型读的是杂乱无章的互联网文本——新闻、论坛、小说、百科,什么都有。虽然也有偏差,但至少是“众声喧哗”。而微调阶段,人类给AI喂的问答数据,往往是精心筛选过的、格式统一的、带着某种“标准答案”倾向的材料。这些材料可能本身就过度代表了某些强势文化,或者标注员在写答案时天然地倾向于举例那几个“文化大国”。模型在这个阶段学会了“取悦人类”的方式——你问文化问题,我就给你最“安全”、最“常见”的例子,日本和美国。
数据越少,偏见越深:这不是AI的错,但后果要AI背
来,顺着这个逻辑再往下挖一层。
研究发现了一个非常扎心的线性关系:一个语言在Common Crawl里的数据占比,跟AI用该语言提问时输出的文化多样性,呈强正相关。Spearman相关系数达到0.843,p值小于0.001——统计学上极其显著。
换成人话:训练数据越多的语言,AI用它回答文化问题时,提到不同国家的范围就越广、越均匀。训练数据越少的语言,AI的回答就越“自闭”、越集中在少数国家(往往是提问语言对应的那个国家,或者日本、美国)。
这意味着什么?意味着一个尼泊尔人用尼泊尔语问AI关于节日习俗的问题,AI大概率只会给他扯尼泊尔和日本;而一个美国人用英语问同样的问题,AI可能会跟他聊墨西哥亡灵节、印度排灯节、中国春节、德国啤酒节……你品品这反差。
AI对不同语言使用者的服务体验,存在巨大的“信息鸿沟”。 英语用户享受的是“全球文化导览”,小语种用户享受的是“复读机式敷衍”——而且这个敷衍里还夹带私货,动不动就拐到日本。
这不是危言耸听。研究数据显示,像巽他语(印度尼西亚的巽他族语言,使用者约3200万,在Common Crawl里占比仅0.0015%),AI用它的提问时,高达79%的回答指向巽他语自己的国家(印度尼西亚),非本国引用里日本和美国挤在前列,整体多样性只有62个不同国家。而英语呢?非本国引用里日本、美国、印度、中国、法国轮番出现,多样性达到157个不同国家。
同样是用AI,信息宽度差了三倍。
“日吹”AI的锅,谁来背?
综合以上所有证据,我们可以画出一张完整的因果链了。
第一步,预训练阶段。模型从互联网上吸收了大量文本,其中英语、中文、日语等强势语言的内容占据绝对主导,日本、美国等高频出现的国家在模型参数里扎下了根。但这个阶段,模型的“文化认知”还是相对松散的,分布相对均匀。
第二步,监督微调(SFT)。人类标注员上场,给模型喂了海量的问答对。在这个过程中,标注员(可能本身也来自强势文化背景)在撰写范例答案时,无意识地过度使用了日本、美国等“标杆国家”作为文化案例。模型学到了一个危险的相关性:“提到文化问题,就优先举日本和美国的例子,这样人类会给我高分。”
第三步,指令对齐。后续的强化学习进一步固化了这个行为模式。模型被训练成“更听话”“更讨喜”,而“讨喜”的标准在训练数据里已经被悄悄改写成“多提日本美国”。
最终呈现在用户面前的,就是一个“无论用什么语言问文化问题,都忍不住要拐到日本”的AI。
你觉得这是AI的问题?是训练数据的问题?还是背后数据标注流程和评价标准的问题?
这研究给出的答案很克制,但指向很明确:文化偏见的主要放大器,不在预训练,在微调。 也就是说,是人类在“教”AI的时候,把自己的文化狭隘性(或者说是“文化惯性”)复制到了模型身上。
最骚的是,研究人员发现,连中国公司开发的Qwen模型(通义千问),在微调之后也出现了向美国和日本集中的趋势,虽然它预训练时对中国文化肯定有优势。这说明微调环节的“趋同效应”非常强,强到可以部分抵消预训练阶段的区域性差异。
好,现在轮到你来回答这个问题了:如果今天你是一个AI产品的负责人,你要怎么设计微调数据,才能让模型在面对文化问题时,不总是把日本和美国当成万能答案?你能不能设计一套“文化多样性奖励机制”,让模型提到小众国家时给它加分?
反正研究员们在论文最后也说了,这事儿没解决。他们只是把问题摆到了台面上。而问题摆上来的姿势还挺嘲讽:原来我们一直以为AI的“西方中心主义”是个大问题,结果仔细一看,人家AI心里装的不是“西方”,是“日本+美国”这个极窄的文化套餐。
下次你问AI一个文化问题,它张口就来日本的时候,别急着夸它懂行。多想一步:它为什么不提你隔壁的邻居呢?