当我们在人类生产的媒体语料库上训练一个机器学习模型，在特定的例子上对其进行微调，并就其对这些事物的解释给予反馈，我们就在做类似于生产文化的事情。
历史上的人类文化是由交流、创新和分歧的混合物形成的。他们产生了不同的语言、哲学、艺术风格、经济体系和社会组织形式。每一代人都从个人经验和他们成长的文化给他们的故事和解释中了解这个世界。
文明前的文化在代际间交流思想的带宽非常狭窄，他们用神话和故事来编码他们最看重的信息。这些故事是事实历史、概念世界观和道德指导的密集交织的混合物，由诗人、祭司和先知维护和发展。其他一切都必须通过实践和观察来学习和传承。
随着识字率的提高，只需写下一些知识，就有可能将其传递下去。即使在这里，我们也要依靠叙述、艺术性的构图和良好的措辞，以使信息看起来与必须阅读它的人有关。与神话一样，我们将普通的事实与我们赋予这些事物的规范性意义混合在一起。文学不只是告诉我们历史或科学的事实，还告诉我们像我们这样的人对事物的感受，彼此之间的互动，以及决定如何生活和行动。现在的情况仍然是，文学留下了巨大的空白，在这些地方，真正的理解需要隐性知识。
从某种意义上说，大型语言模型LLM是超文盲：它们知道的唯一事情是从书面资料（或者，在图像或多模式模型的情况下，从视觉图像）中学到的东西。与人类相比，它们缺乏关于做某件事的 "感觉 "的直接知识，这种隐性知识只能来自亲自参与。
但与普通的软件应用程序相比，LLM对人类的概念有极大的通用知识。一个典型的软件应用程序在概念上是狭窄和抽象的--它只知道像文件、窗口、字体之类的东西。也许像Photoshop这样复杂的应用程序知道画笔、填充物和图层，但这些知识是由程序员煞费苦心地编码的，而且严格限制在Photoshop所用于的狭窄任务中。
ML模型是不同的东西。训练的过程产生了一个系统，它可以以合理准确的方式操作代表广泛概念的符号。准确度有时是指得到正确的答案，比如对 "25乘以82是什么 "的回答，但更多时候是指对提示作出适当的反应。适当性往往并不客观，而是取决于我们的文化。如果我向ChatGPT请教如何给我的新同事留下好印象，如果我在法国，这个建议可能是好的，但如果我在日本，或巴拉圭，或坦桑尼亚，这个建议就不好。
软件开发者并不习惯这样思考问题--我们喜欢把我们的软件看成是问题领域的通用模型，在上面加一层薄薄的本地化，以使用适当的语言、日期格式或货币符号。事实上，几乎所有的软件都是用伪英语编写的，即使个别程序员使用伪斯瓦希里语或伪日语来命名他们的变量，他们仍然在使用库、API和操作系统，这些系统的核心概念是用英语命名和描述的。这一点很少有人评论，但这是一个奇怪的历史怪癖，很容易就会出现其他情况。
ChatGPT能流利地使用多种语言。这是否意味着它也能流利地使用多种文化？
吉尔-沃克-雷特伯格研究了这个问题，并得出结论：虽然该模型是多语言的--它能理解各种语言的问题并给出答案，但它是单一文化的，而且这种文化是英美的。这一方面是因为训练数据主要是美国的，另一方面是因为数据集的 "清洗 "和整理更有可能过滤掉非主流的美国材料，而且 "价值调整 "过程是由美国的承包商进行的，他们灌输了美国的价值判断。
吉尔-沃克-雷特伯格：
我对ChatGPT在回答挪威语问题时的表现感到惊讶。它的多语言能力可能具有很大的误导性，因为它是以英语文本为基础进行训练的，其中蕴含着文化偏见和价值观，然后再与相当小的美国承包商群体的价值观保持一致。
这意味着：
- ChatGPT对挪威文化了解不多。或者说，不管它对挪威文化了解多少，大概都是从英语资源中学到的。它在飞行中把这些内容翻译成挪威语。
- ChatGPT明确地与美国的价值观和法律保持一致。在许多情况下，这些价值观与挪威和欧洲的价值观很接近，但据推测这并不总是如此。
- ChapGPT经常使用美国的体裁和模板来回答问题，如三段论或标准自助策略。
通过对不同文化的训练数据进行加权，就有可能改变文化偏见。由于训练数据稀缺，这不太可能通过创建比英语数据集大的非英语数据集来实现。然而，高质量的非英语来源可以被赋予更高的权重，而这可以通过特定文化的价值调整来加强。基础模型可能仍将依赖英语和盎格鲁文化数据集的规模，但微调和强化学习可以教他们使用不同的文化概念。
将生成模式与国家或地区文化结合起来，似乎是一个自然的国家建设项目。就像20世纪初的民族国家希望拥有自己的国家广播公司，以促进和丰富他们的民族文化一样，他们可能出于大致相似的原因希望拥有自己的LLM。
但是Web网络大多不是这样的：网络的许多内容只有英文，许多互动的网络应用也只有英文。即使在有翻译的地方，概念方案也是英美式的，甚至在很多情况下是更具体的加州式。
但是，LLMs的多态性要强得多：它们可以改变形状以符合文化规范，这比僵化的传统软件更容易做到。
这起初可能听起来很玄乎，但这个比喻很好地把握了英国政府的努力方向：
政府承认最近在大型语言模型方面取得的突破，这是聊天机器人背后的技术，如OpenAI的chatGPT--自去年推出以来一直很轰动--以及谷歌的Bard，它尚未向公众发布。它说，它将建立一个工作队，"以推进英国在基础模型方面的主权能力，包括大型语言模型"。
没有自己的文化模式的民族国家会发现，他们的公民正依赖于其他国家的模式，就像没有强大的本土文化机构的国家发现他们的公民越来越受到其他文化的影响一样。当然，这通常不是坏事--文化混合是文化发展的一部分。但是，停止生产自己的作品的文化会逐渐滑向过时，这种威胁似乎需要一种回应。