composer:2-4倍加速神经网络训练的算法库


Composer 是一个用 PyTorch 编写的库,使您能够以更低的成本和更高的准确度更快地训练神经网络
已经实现了两倍以上的加速方法,只需几行代码即可应用于您的训练循环,或与内置 Trainer 一起使用。
特点:

  • 20 多种加速计算机视觉和语言建模训练网络的方法。当 Composer 为您完成工作时,不要浪费时间尝试复制研究论文。
  • 一个易于使用的培训师,其编写的目的是尽可能提高性能,并集成了有效培训的最佳实践。
  • 我们所有加速方法的功能形式,允许您将它们集成到您现有的训练循环中。
  • 强大、可重复的基线,让您尽快开始。

Composer 可让您训练:
  • ResNet-101 在 ImageNet 上的准确率在 1 小时 30 分钟内达到 78.1%(AWS 上 49 美元),比基线快 3.5 倍,便宜 71%。
  • ResNet-50 在 ImageNet 上的准确率在 1 小时 14 分钟内达到 76.51%(AWS 上 40 美元),比基线快 2.9 倍,便宜 65%。
  • 在 4 小时 27 分钟内将 GPT-2 在 OpenWebText 上的困惑度提高到 24.11(AWS 上 145 美元),比基线快 1.7 倍,便宜 43%。

Composer 具有一个函数接口(类似于torch.nn.functional),您可以将其集成到您自己的训练循环中,以及一个训练器,它可以为您将高效的训练算法无缝集成到训练循环中。
  
作者Jonathan Frankle的话:
Composer是我对彩票假说的研究的直接延续。

深度学习背后的数学并没有什么神圣的东西。从根本上改变数学是完全可以的(比如删除很多权重)。你会得到一个与之不同的网络,但这并不意味着原来的网络是 "正确 "的。如果改变数学就能得到一个同样好的网络(例如,同样的准确性),但速度更快,这就是胜利。

彩票假说是一个例子,说明如果你愿意打破深度学习背后的数学,就有可能实现。Composer有几十种这样做的技术,并有相应的速度提升。

编辑:我是Jonathan Frankle,我写了《彩票假说》的论文,我是Mosaic(Composer背后的人)的首席科学家。显然是即兴的AMA--我将在这里呆上一整天,帮助人们了解我们在Composer方面的工作!