在今年早些时候的 WWDC 上，苹果宣布即将推出的 iOS 和 macOS 版本将配备一项由“ Transformer 语言模型”提供支持的新功能，该功能将为用户“在打字时提供内嵌的预测文本建议”。
这可能是苹果将在其操作系统中发布的首批基于 Transformer 的型号之一，或者至少是他们公开承认的首批型号之一。
- 该功能会在用户输入时提出文本推荐，主要自动提示完成单个单词的拼写。有时会一次建议多个单词，但这通常仅限于即将出现的单词非常明显的情况，类似于 Gmail 中的自动完成功能。
- 文本输入支持，尤其是移动设备的文本输入支持，可以受益于无聊但可靠的预测文本模型。
- 底层模型位于 AppleSpell 应用程序中，模型文件位于 /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle。
- 该模型基于 GPT-2 架构，具有 6 个解码器块和大约 3400 万个参数。虽然该模型比 GPT-2 小，但它运行速度很快并提供即时文本建议。
- 功能范围目前有限，但将来可能会扩大。
GPT-2 有四个主要部分：令牌嵌入、位置编码、一系列 12-48 解码器块和输出层。除了只有 6 个解码器块之外，所描述的网络unilm_joint_cpu似乎是相同的。每个解码器块内的大多数层都有类似的名称gpt2_transformer_layer_3d，这似乎也表明它基于 GPT-2 架构。
Apple 的预测文本模型似乎有大约 3400 万个参数，并且它的隐藏大小为 512 个单位。这使得它比 GPT-2 的最小版本还要小得多。
苹果想要一种能够非常快速、非常频繁地运行的模型，而不会耗尽设备的大量电池。
虽然模型的大小有限意味着它不能很好地编写完整的句子或段落，但当它对下一个或两个单词表现出非常高的置信度时，它们可能足以向用户提供建议。
如果您有兴趣亲自尝试其中任何一个，查看测试这个功能所有代码都位于GitHub上。