大模型对AI研究有害？

在 GPT4 之后，大模型LLM 的性能和设计改进进展相对较少：使其变得更好的主要方法仍然只是将其做大，而且所有替代transformer的架构都被证明是不合格的、低劣的，它们将人们的注意力（和投资）从其他可能更具影响力的技术上转移开来。

再加上大量对基本机器学习工作原理一无所知的人涌入，他们声称自己是 "人工智能研究员"，因为他们使用 GPT 为每个人本地托管一个模型，试图说服你 "语言模型完全可以推理"。

我们只需要另一个 RAG 解决方案！他们加入这个社区的唯一目的不是开发新技术，而是利用现有技术拼命拼凑出一个有利可图的服务。甚至论文本身也开始主要由大模型撰写。

我不禁想到，整个领域可能会陷入停滞，原因很简单，不断壮大的社区满足于平庸的修正，这些修正充其量只能让模型在他们任意编造的 "分数 "上稍微好一点，却忽略了一些明显的问题，如幻觉、上下文长度、基本逻辑能力以及运行如此规模模型的纯粹代价。

我赞扬那些不顾市场炒作，致力于开发具有真正逻辑思维能力的代理的人，并希望能尽快引起更多的关注。

网友讨论：
1、以象牙塔院校研究机构主导的机器学习工作原理可能不是真正人工智能，是一种人工算法的智能。而大模型是以算力弥补算法不足，依靠扩展性和大数据实现了人工智能，这也是chatGPT诞生于企业公司，而不是哈佛MIT等学校的原因。

2、每当学术界或研发部门有人抱怨“X正在扼杀/损害Y的研究！”时，你通常可以在心里将其改写为“X正在扼杀/损害我的研究！”，这样会更真实。

3、图灵奖获得者 Hinton 正在世界巡演中发表演讲，他认为“语言模型完全可以推理”。虽然存在争议，但这并不是一个荒谬的观点。

4、我不是计算机科学家出身，我的工作介于数据分析师和数据科学家之间。我围绕 SERT 嵌入、聚类和 LLM 生成摘要的组合构建了一个工具，事实证明该工具在文本挖掘用例中非常有用。这样做的下游效果是，很多人开始认识到数据驱动方法在其领域中的价值，这让我们的团队有资源在涉及预测的其他更经典的领域中进行改进。