近几周大模型涌现的新算法


在过去的几周里,大型语言模型(LLM)领域出现了大量的想法,这使得人们对如何创建更强大的LLM有了更高的理解。

这些想法如AdvertBreeder、STOP、Symbol Tuning、Analogical Restricting、Step Back prompts、MemWalker、XVAL、LATS、SEED、InstructScore、StreamingLLM、Thought Cloning、FireAct、Suspicion Agent、Self-Specialization、RA-DIT、SocraticAI、DoLa、DSPy、知识冲突、自我纠正和检索与长上下文。

让我们尝试以一种有凝聚力的方式将所有这些串在一起,是否可以发现一个新的框架?

与此同时,人们在调试新的 LLM 和创建新的训练集方面也取得了巨大进步。令人惊讶的是,更小更能干的 LLM 正在各地出现。这些模型可以安装在单个 GPU 设备中,而且响应速度非常快。 我们看到了 LLM 的民主化。 我们将很快拥有自己的个性化 LLM。

在图像生成领域,我们已经看到了大量不同的自定义模型。希望在基于文本的生成器中也能看到同样的情况。