虽然像ChatGPT这样的LLM的成功很大程度上是由于RLHF的使用，但现代LLM所基于的预先训练的基础模型近年来也通过以下三个简单的更改而变得更好..
1.放大模型（深度和宽度）
当我们从GPT发展到GPT-3和更高版本时，我们发现较大的LLM实现了越来越好的少次学习性能。最终，这导致了像PaLM（5400亿参数密集LLM）这样的模型的提出。
2.在预训练期间增加令牌的数量
扩大LLM规模固然很好，但还不够。我们还需要更多的预训练数据！正如Chinchilla所展示的那样，一个大模型结合一个更大的预训练数据集可以产生令人敬畏的结果。
3.使用干净/多样的预培训数据
来自龙猫的结果表明，训练前数据的大小和质量/多样性都很重要。这一点在卡拉狄加和BioMedLM等领域特定的（科学）LLM中得到了进一步的证明。
除了上面提到的三点，研究人员还研究了稀疏激活（专家混合）的LLM，它在不增加计算成本的情况下增加了模型容量。一个值得注意的例子是GLaM模型（1.2万亿个参数）。
LHF是LLM成功的重要组成部分，但我们也需要改进预培训过程，以便RLHF有一个良好的起点。高质量的预训练是通过更大的模型和更多/更好的数据的组合来创建的。