GPT-4 发布的日子越来越近了。GPT-3 于大约两年前的 2020 年 5 月宣布。它是在 GPT-2 发布一年后发布的——这也是在原始 GPT 论文发表一年后发布的。
鉴于我们从 OpenAI 和 Sam Altman 获得的信息，以及当前趋势和语言 AI 的最新技术，这是我对 GPT-4 的预测：
模型尺寸： GPT-4 会比 GPT-3 大，但与目前最大的模型（MT-NLG 530B 和 PaLM 540B）相比不会很大。模型大小不会是一个显着特征。
最优性： GPT-4 将比 GPT-3 使用更多的计算。它将在参数化（最佳超参数）和缩放定律（训练令牌的数量与模型大小一样重要）方面实现新颖的最优性见解。
多模态： GPT-4 将是纯文本模型（不是多模态）。OpenAI 正在寻求将语言模型发挥到极致，然后完全跳到像 DALL·E 这样的多模态模型——他们预测未来将超越单模态系统。
稀疏性： GPT-4 遵循 GPT-2 和 GPT-3 的趋势，将是一个密集模型（所有参数都将用于处理任何给定的输入）。稀疏性将在未来变得更加占主导地位。
对齐： GPT-4 将比 GPT-3 更符合我们的要求。它将实施来自 InstructGPT 的学习，后者是通过人工反馈进行训练的。尽管如此，与人工智能保持一致还有很长的路要走，应该仔细评估努力，不应该大肆宣传。