谷歌最新AI芯片训练大模型速度快2.8倍

谷歌最新推出的TPU v5p人工智能加速器，以及它与英伟达的GPU的比较。TPU v5p是谷歌最强大的定制人工智能加速器，比之前的版本快了很多倍，甚至能与英伟达的H100 GPU相媲美。

要点：

• TPU v5p是谷歌公司最强大的自定义AI加速器，比TPU v4快2.8倍。
• TPU v5p超级计算架构专为运行AI应用而设计，提供4,800Gbps的吞吐量和95GB的高带宽内存。
• TPU v5p可能与Nvidia的H100 GPU媲美，但需要更详细的基准测试来做出最终结论。

Nvidia H100与Google TPU v5p：哪个更快？
与英伟达（Nvidia）将其 GPU 提供给其他公司购买不同，谷歌定制的 TPU 仍在公司内部用于自己的产品和服务。长期以来，谷歌的 TPU 一直用于为 Gmail、YouTube 和 Android 等服务提供动力，最新版本还被用于训练双子座大模型。

谷歌的 v5p TPU 在训练大型语言模型方面比 TPU v4 快 2.8 倍，性价比高出 2.1 倍。
虽然今年早些时候发布的中间版本 TPU v5e 在所有三个版本中性价比最高，但其速度仅为 TPU v4 的 1.9 倍，因此 TPU v5p 是功能最强大的。

它甚至足以与英伟达（Nvidia）广受追捧的 H100 GPU 相媲美，后者是目前最适合人工智能工作负载的显卡之一。
根据 Nvidia 自己的数据， H100 GPU在训练工作负载方面比 Nvidia 的 A100 GPU 快四倍。

谷歌TPU v5p 的速度大约是 A100 的 3.4 至 4.8 倍，这使它与 H100 不相上下或更胜一筹，不过在得出结论之前还需要更详细的基准测试。

谷歌 TPU
多年来，谷歌一直在开发和使用 TPU，用于内部使用，训练自己的算法。就在最近，也就是在 LLM 开始流行之前，谷歌开始在谷歌云上提供 TPU。因为，与某些人想象的不同，谷歌多年来一直在开发、使用 ML 和 AI 算法，并将其产品化，远在 OpenAI 出现之前。

TPU 专为 AI/ML 而设计，通常比 GPU 更省电、更省钱。你可以创建大规模的 TPU 集群，让它们协同工作来执行任务。

此外，谷歌和 Nvidia 是非常亲密的合作伙伴，因此公开比较它们的硬件产品是非常愚蠢的。谷歌在谷歌云上提供 Nvidia GPU。此外，谷歌并不出售 TPU，它只是将其作为 GCP 上的一项服务，并将其用于满足自身需求。

与 Nvidia 相比，谷歌一个优势是，谷歌可以将所有需求保密并进行小批量定制。英伟达必须猜测每个人想要什么，并且必须投入更多的工作来提供全面的芯片，最终会产生更多无用的垃圾。

谷歌双子座Gemini大模型目前在 LLM 排名中排名第二，仅落后于 GPT-turbo