AI分布式数据中心：DeepMind训练效率飙升100倍！

banq
DeepMind 找到了一种方法，可以让多个地方的电脑一起训练 AI 模型，而且用的网络流量比以前少了 100 倍。这意味着我们不再需要把所有数据都放在一个地方训练 AI，而是可以把任务分散到很多不同的地方。这种方法让 AI 训练变得更灵活，也打破了以前大家觉得必须靠监控大型数据中心来控制 AI 发展的想法。

DeepMind 的新方法叫 Streaming DiLoCo，是基于他们之前发布的 DiLoCo 改进的。这个方法可以训练有几十亿个参数的 AI 模型，而且效果和以前一样好，但用的网络流量却少了很多。测试表明，这个新技术比原来的 DiLoCo 更好用。

DiLoCo 的三个改进：

  1. 分批更新参数：以前是一次性更新所有参数，现在是一部分一部分地更新。这样可以减少网络流量的高峰，因为不需要一次性传那么多数据。
  2. 边训练边同步：电脑在同步数据的同时还能继续训练，不用停下来等，节省了时间。
  3. 压缩数据：在电脑之间传输数据时，用低精度的格式（比如 4 位）来减少流量，但训练时还是用高精度计算。即使这样压缩，模型的效果也没变差。

效果如何？

  • 模拟测试：在训练 10 亿、100 亿甚至 1000 亿参数的模型时，Streaming DiLoCo 都比原来的方法更高效，而且模型越大，优势越明显。
  • 实际测试：训练了一些小模型（3500 万到 40 亿参数），结果发现用 Streaming DiLoCo 训练的模型效果和以前差不多，但用的网络流量少了很多。

为什么这很重要？
这种方法让我们可以更灵活地训练 AI，甚至可以用分布在全球的电脑来训练模型，而不需要依赖大型数据中心。未来，可能会有很多小型的、分散的电脑网络在悄悄训练 AI，这可能会让那些想通过监控数据中心来控制 AI 发展的策略变得不那么有效。