新算法可将AI能源降低高达 95%

加法是节能语言模型所需要的全部功能：使用整数加法器而不是浮点乘法器可将能源成本降低 95％。

研究人员开发出一种算法，可以大幅降低人工智能系统的能耗。

BitEnergy AI 的科学家创建了一种称为“线性复杂度乘法”（L-Mul）的方法，用更简单的整数加法取代 AI 模型中复杂的浮点乘法。

根据研究“加法是节能语言模型所需的全部”，L-Mul 可以将元素级浮点张量乘法的能耗降低高达 95%，将点积的能耗降低 80%。该团队在各种语言、视觉和推理任务上测试了他们的方法，包括语言理解、结构推理、数学和回答常识性问题。

研究人员表示，L-Mul 可以直接应用于 Transformer 模型中的注意力机制，且性能损失最小。注意力机制是GPT-4o等现代语言模型的核心组成部分。

可直接用于注意力机制
BitEnergy AI 认为 L-Mul 有潜力增强学术和经济竞争力以及 AI 主权。他们相信，L-Mul 可以让大型组织更快、更经济高效地开发定制 AI 模型。

该团队计划在硬件层面实现 L-Mul 算法，并开发用于高级模型设计的编程 API。他们的目标是训练针对 L-Mul 硬件优化的文本、符号和多模态 AI 模型。

总之：

BitEnergy AI 的研究人员开发了一种名为“线性复杂度乘法”（L-Mul）的算法，该算法在 AI 模型中用更高效的整数加法取代浮点乘法，从而可以将能源需求降低高达 95%。
该方法已在语言理解、推理、数学和问答等各种任务上进行了测试。据该团队称，结果表明，将 L-Mul 直接应用于注意力机制（现代语言模型的核心组成部分）几乎是无损的。
该团队计划在硬件层面实现 L-Mul 和 L-Matmul 核算法，并开发用于高级模型设计的 API，以训练针对 L-Mul 原生硬件优化的文本、符号和多模态生成 AI 模型。

网友观点：
1、目前的问题是，没有人（目前）有兴趣大规模尝试这些新方法。唯一具有替代架构的实际 LLM 是 Jamba-1.5，它似乎在非常长的上下文大小方面击败了竞争对手，但奇怪的是人们似乎不感兴趣。

所有其他有趣的东西——纯 mamba、bitnet 等——仍然没有真正的概念证明，即 >30B 参数模型。我们仍然依赖大公司来获得基础模型，而这些模型都没有在传统 transformer 的界限之外发展。

2、这篇论文原理：将小数位乘法的一部分近似为位移位。毫不奇怪，当您有 2 到 3 个小数位和 4 到 5 个指数位时，这种方法效果很好，因为此时小数的范围本来就不大。

3、我想这是我读到的第一篇语法这么差的论文。他们应该花 100 美元雇个人来校对。
两位作者都有中文名字，我觉得问题不在于校对，而是你不熟悉的中国逻辑。人们认为每种语言的逻辑思维都是一样的，但事实并非如此