在当今大模型训练的最前沿，混合专家模型（Mixture of Experts，简称MoE）已经成为突破性能瓶颈的关键技术。而要真正驾驭这种架构，离不开对底层GPU运算逻辑的深刻理解，尤其是像英伟达最新推出的GB200 NVL72这样的超级计算平台。
今天，我们就来深入拆解MoE训练过程中GPU到底在干什么，以及为什么GB200 NVL72被称为“大模型训练的终极武器”。
首先，我们要搞清楚MoE训练中最核心的三个操作：派发（Dispatch）、聚合（Combine）和梯度同步（Gradient Synchronization）。这三个步骤环环相扣，决定了整个训练流程的效率和扩展性。而它们的实现方式，直接依赖于GPU之间的通信模式——尤其是“专家并行”（Expert Parallelism，EP）和“数据并行”（Data Parallelism，DP）的组合策略。
先说派发（Dispatch）。
在MoE模型中，每个输入的token并不会被所有专家处理，而是根据路由机制被动态分配给一个或几个最相关的专家。问题来了：这些专家的参数并不是集中在某一块GPU上，而是被“切片”后分散在多个GPU上——这就是所谓的专家并行（EP）。因此，当某个GPU上的token需要被发送到某个专家时，它必须知道这个专家的参数在哪块GPU上，并把token数据“发过去”。这个过程不是简单的点对点传输，而是一个全对全（All-to-All）的集体通信操作。想象一下，72块GPU同时在互相交换各自负责的token数据，场面极其复杂。如果网络带宽不够，或者延迟太高，整个训练就会卡在这里，寸步难行。
接着是聚合（Combine）。
当各个专家完成对分配给它们的token的前向计算（通常是FFN层）后，这些处理完的token必须“回家”——回到最初发出它们的那块GPU上，以便进行后续的层叠计算（比如注意力机制或下一层MoE）。这个“回家”的过程，本质上是一个反向的All-to-All操作。也就是说，刚才你把token发出去，现在要把结果收回来。这一步同样极度依赖高速互联网络。如果通信慢，GPU就得干等着，计算资源白白浪费。
最后，也是最棘手的，是梯度同步（Gradient Synchronization）。
训练神经网络离不开反向传播，而MoE的梯度同步比普通模型复杂得多。
原因在于：模型参数被分成了两类——专家参数和非专家参数（比如注意力层、路由网络等）。对于非专家参数，所有GPU都持有一份副本，因此梯度需要在全部GPU之间同步，通常用All-Reduce实现。
而对于专家参数，只有负责该专家的那些GPU才持有其权重，因此梯度只需在这些GPU之间同步——这通常发生在数据并行（DP）的副本之间。
举个例子，如果你有4个数据并行组，每组18块GPU做专家并行，那么同一个专家的梯度只需在4个组的对应GPU之间同步。但即便如此，当模型规模极大、专家数量极多时，这种同步依然会成为性能瓶颈。
为此，工程师们不得不采用分层All-Reduce、梯度压缩、通信重叠计算等高级优化手段。
说到这里，就不得不提DeepSeek R1这类前沿模型的设计思路。
它们采用“大规模专家并行”（Large-scale EP），把成百上千个专家的参数分布到几十甚至上百个节点上。但这里有个致命问题：节点之间的通信带宽（比如通过InfiniBand或以太网）远低于节点内部GPU之间的带宽（比如NVLink）。跨节点通信一旦频繁，就会严重拖慢训练速度。
为了解决这个问题，DeepSeek等团队引入了“节点受限路由”（node-limited routing）策略——尽量让token只在本节点内的专家之间路由，减少跨节点通信。这虽然牺牲了一点模型表达能力，却换来了巨大的训练效率提升。
然而，真正的破局者，是硬件层面的革命。
这就是英伟达GB200 NVL72的登场。GB200 NVL72不是一个普通的服务器，而是一个由72块Grace Hopper超级芯片（每块包含一个CPU和一个H100 GPU）通过NVLink Switch System全互联组成的“超级计算单元”。
最关键的是，这72块GPU构成了一个“大规模扩展域”（Large Scale-up Domain）——在这个域内，任意两块GPU之间的通信带宽高达900GB/s，且延迟极低，完全消除了传统多节点集群中“节点内快、节点间慢”的通信瓶颈。
这意味着什么？
意味着在GB200 NVL72上运行MoE模型时，你可以放心大胆地使用超大规模专家并行，而不用担心跨GPU通信成为拖累。
派发和聚合的All-to-All操作可以在72块GPU之间高速完成；
梯度同步也不再需要复杂的分层策略，因为整个系统就像一块“超大GPU”在工作。
换句话说，GB200 NVL72把原本需要在几十个物理节点上协调的复杂分布式训练，压缩到了一个单一的、高带宽、低延迟的硬件单元内，极大简化了软件栈，同时提升了训练效率和稳定性。
这种架构特别适合像DeepSeek、Mixtral、甚至未来更大规模的MoE模型。当模型专家数量达到数千、token路由高度动态时，只有像NVL72这样提供统一高速互联的平台，才能真正释放MoE的潜力。否则，再聪明的路由算法，也敌不过物理带宽的限制。
值得一提的是，这一技术趋势的背后，是AI基础设施从“横向扩展”（scale-out）向“纵向扩展”（scale-up）的战略转移。
意外不？软件架构从数据库的垂直扩展走向分布式集群的横向扩展，而疯狂的英伟达为了自己垄断地位，采取吸功大法，把本可以集群的功能封装到芯片中，这是不是身在庐山中不识庐山真面目？屁股决定了脑袋？ 从国产光刻机传闻看：AI竞赛切莫着了别人道
过去，我们习惯用成百上千台普通服务器堆出算力；现在，行业巨头开始押注“单域超大规模”系统——在一个高带宽域内集成尽可能多的计算单元。GB200 NVL72正是这一理念的巅峰之作。它不仅是一台机器，更是一种新范式：用极致互联，换取极致效率。
综上所述，MoE训练中的GPU操作远不止简单的矩阵乘法，而是高度依赖通信模式的复杂协同过程。而GB200 NVL72通过构建72-GPU的统一高速扩展域，从根本上解决了MoE在大规模训练中的通信瓶颈，为下一代大模型提供了坚实的硬件底座。未来，随着模型参数量和专家数量的持续增长，这种“大域+高带宽”的架构，将成为行业标配。