如何为 GPU 节点设定东西向布线与时延

为高密度 GPU 节点立可靠基准,可以分三步进行。第一,选择低时延布线,如 DAC、AOC 或光纤。第二,设计无阻塞拓扑。第三,建立可测量的时延目标。GPU 之间的东西向流量主导了分布式 AI 训练,因此你的东西向网络布线与基准必须聚焦于 GPU 到 GPU 以及节点到节点的路径。本文将提供可立即落地的选型标准、稳妥的布线实践,以及一套可直接应用的基准测试方法。通过这些步骤,你可以构建一个真正满足实际工作负载需求的 AI 就绪型数据中心网络。
理解 GPU 集群中的东西向流量
为什么东西向流量主导 AI 训练
东西向流量是指分布式 AI 训练期间,GPU 与节点之间进行的大规模数据交换。在高密度 GPU 集群中,这种流量模式主导了整个网络架构。各个工作节点会持续共享梯度、激活值和模型更新。训练任务的每一步,都会在大量节点之间同时触发一轮突发性的东西向通信。
这种模式会重塑你的网络容量规划方式。一个主要面向客户端到服务器流量而构建的集群,在面对这类突发流量时往往表现不佳。你需要按照持续性的多对多交换来规划链路容量,而不是按偶发请求来设计。这也是为什么在高密度 GPU 机架中,东西向带宽如今成为网络设计决策的核心因素。
GPU 到 GPU 与节点到节点路径
你的时延基准应重点关注 GPU 到 GPU 和节点到节点的路径。这些流量直接决定了分布式 AI 训练的性能。两个加速器之间哪怕只有一个慢速跳点,整个训练作业都可能被拖慢,即使其他所有链路看起来都正常。应先直接测量 GPU 到 GPU 通信,再测量承载该通信的节点到节点路径。
AI 工作负载正在重塑数据中心网络架构与布线需求。针对 GPU 东西向通信优化的网络结构,同样也能提升南北向企业级 AI 工作负载的表现,因此一个设计就可以同时服务两个方向。应将东西向 / 南北向网络视为一个统一系统。强大的节点间带宽和高带宽连接能力,能同时保障两种流量模式的健康运行,而经过周密规划的 AI 就绪型数据中心网络,则能在整个集群中提供稳定一致的网络性能。
东西向网络布线的布线选项
比较 DAC、AOC 与光纤
在高密度 GPU 网络中,每种传输介质都有其适用位置。直连铜缆(DAC)适合机架内部的短距离连接。它可以在较短距离内以较低成本提供良好的信号质量,而且无需光模块。有源光缆(AOC)则是在固定组件中集成了收发器。它比无源铜缆传输距离更远、重量更轻,这在拥挤机架中尤其有利。光纤则提供最长的传输距离,也是通向超高通道数扩展能力的最佳路径。
| 选项 | 最适合的场景 | 优势 | 取舍 |
|---|---|---|---|
| DAC | 机架内、短距离 | 成本低、功耗低、部署简单 | 传输距离有限 |
| AOC | 机架到机架、中等距离 | 传输更远、更轻、更灵活 | 两端固定,成本高于 DAC |
| 光纤 | 长距离、Spine 链路 | 传输距离最长,可扩展的通道数量更强 | 需要光模块,并且要仔细清洁维护 |
单靠铜缆无法在高密度 AI 集群中高效支持所需带宽的长距离链路。随着距离增加,信号损耗会不断加剧,因此应把铜缆规划在最短跳点上,而将光学链路保留给其余连接。
根据互连与带宽需求匹配布线方案
面向 AI 集群和 GPU 网络而设计的结构化高密度光纤基础设施,能为未来扩展预留充足空间。预端接主干组件和模块化配线面板,可以让你在无需重建布线路径的情况下增加更多通道。在为任意链路选择介质之前,请先核对厂商给出的传输距离规格。
你的东西向网络布线方案应遵循流量分布图来制定。对于加速器彼此靠近的场景,使用短距离 DAC;对于 Spine 与 Leaf 上行链路,则使用 AOC 或光纤。这种组合方式能够在不过度提高每条链路成本的前提下,保护东西向带宽。结构化高密度光纤基础设施还可以简化后续升级,因为备用纤芯和端口已经预先存在。
网络容量规划应围绕集体通信高峰期,而不是平均负载进行。节点间带宽和高带宽连接能力,决定了一个作业完成的速度,而过窄的上行链路会形成带宽瓶颈,进而拖慢所有工作节点。应按训练最繁忙阶段来规划链路容量。合理的布线选择能让 AI 工作负载保持满速运行,并为更大规模模型预留网络容量余量。
拓扑与低时延交换设计
设计无阻塞拓扑
无阻塞拓扑意味着每个 GPU 节点都能在同一时间,以全带宽路径连接到任意其他节点。实现这一点的常见方式是 Leaf-Spine 架构。每台 Leaf 交换机连接到每台 Spine 交换机,而每台服务器连接到其所属的 Leaf。任意两个端点之间的流量,最多只需要经过一次 Spine 跳转。这个单一跳点使得东西向流量在高负载下依然具备可预测的时延表现。
应谨慎规划交换网络的超额订阅比。1:1 的比例表示上行容量与下行容量相等,因此不会出现某个流等待另一个流让路的情况。更低的比例虽然能节省成本,但在集体通信操作期间会引入争用。应先按峰值突发流量规划上行容量,再确认总网络容量足以覆盖最大训练任务。构建良好的 Leaf-Spine 网络同样也能提升南北向流量的网络性能,从而使这一设计真正服务整个数据中心。
机架规模下的线缆管理
高密度机架对粗糙布线极为敏感。应将光纤和铜缆沿既定路径捆扎铺设,遵守弯曲半径要求,并为每条链路两端都做好标签。还要让电源线与数据线分开,以保护信号完整性。在每个机架顶部进行结构化配线,可以缩短链路长度,并简化后续移动和调整。
高密度 AI 设计正在摆脱传统布线方式,转向专为 GPU 密集型东西向流量而构建的架构。预端接组件和模块化面板正在取代手工拼接式链路。这种转变有助于实现低时延交换,因为整洁而短的路径可以减少损耗并简化故障排查。良好的东西向网络布线规范,也能在规模扩大时持续保护高带宽连接能力。
安装完成后,请测试每一条链路并记录结果。哪怕只有一个边缘状态的连接,也可能削弱整个 AI 就绪型数据中心网络的表现。
时延基准测试方法
用于东西向时延测试的工具与指标
如果没有可重复的工具,任何测试数字都不值得信任。首先,在 InfiniBand 网络中使用 ib_write_lat 或 ib_send_bw 这类带宽与时延探测工具;在 Ethernet 网络中,则使用 sockperf 或 qperf。对于 GPU 层面的检查,可运行 NCCL 测试,如 all_reduce_perf 和 all_gather_perf。这些工具会调用与分布式 AI 训练每一步中相同的集体通信路径。
应跟踪一组精简但关键的指标。记录单向与往返时延的第 50 百分位和第 99 百分位,而不只是平均值。同时采集消息速率、每条链路带宽,以及每次集体通信的完成时间。百分位数据能暴露平均值无法反映的尾部行为。应在同一机架内的每一对 GPU 之间执行时延测量,再在跨 Spine 的代表性节点对之间进行测试。这样你获得的是整个网络的时延地图,而不是单一样本。
测试流程与阈值设定
首先固定测试条件。每次测试都要使用相同的消息大小、相同的进程数和相同的预热轮次。空闲网络测试可以提供干净的基线;而在训练任务将链路打满时进行的负载测试,则能揭示东西向流量下的真实行为。应对比这两类结果。
阈值应根据工作负载需求设定,而不是依据厂商宣传参数。紧耦合训练任务对抖动的容忍度,远低于推理服务。你应将每个阈值写成明确的通过或失败规则,例如某一消息大小下第 99 百分位时延的上限。还要把集体通信操作纳入计划。像 SHARP 这样的技术能够减少穿越次数、降低时延,并使吞吐量翻倍,因此启用 SHARP 的网络会优于基于未启用 SHARP 的基线所设定的阈值。应对两种配置都进行基准测试,并记录你的阈值是基于哪一种配置建立的。
高强度的东西向流量还会带来静态阈值无法反映的时延和拥塞。基于遥测的拥塞控制,例如集成在 ConnectX-8 适配器中的方案,可以让网络实时响应拥塞情况。应在负载测试中启用它,并观察尾部时延是否仍能保持在限制范围内。良好的布线和充足的网络容量可以减轻压力,而主动控制机制则能在突发流量到来时保持网络性能稳定。
不要只在空闲状态下做基准测试,也要在负载下测试。一个通过空闲测试的网络,仍可能在真实训练任务中失败。
验证 AI 就绪型数据中心网络
按工作负载定义时延目标
应从工作负载特征出发,而不是先看硬件规格参数。一个每一步都执行集体通信的紧耦合训练任务,需要比批量推理服务更严格的时延限制。先写清楚你的任务使用的消息大小、进程数量和集体通信类型。然后为每一项设定通过或失败规则,例如某个消息大小下第 99 百分位时延的上限。
每一个目标都必须通过实测结果来验证。在已部署完成的网络上运行你的基准测试套件,并将每个数值与对应阈值进行比对。无法被测量的目标,就不是真正的目标。如果某条链路未达到限制,应先追踪路径问题,而不是立刻修改阈值。这种方法能把一份愿望清单,转化为 AI 就绪型数据中心网络中真正可执行的基准体系。
记录并重复测试基准
应将基线统一记录在一个地方。记录测试工具、消息大小、进程数量、固件版本以及每次测试日期。注明哪些链路使用 DAC、AOC 或光纤,并记录每一次布线变更。有了书面基线,下一位工程师就能在不靠猜测的情况下复现实验结果。
每当布线或拓扑发生变化后,都应重新测试。更换一个收发器、增加一台 Leaf,或重新布放一条主干链路,旧数据就不再适用。应在空闲和负载两种条件下重复相同流程,将新结果与基线对比,并标记尾部时延的任何漂移。还应定期安排网络与布线评估,以便在作业失败前及早发现缓慢退化。
应把验证视作一项持续性的习惯。在每个扩容阶段进行网络就绪度评估,能让网络容量始终与 AI 工作负载保持一致。成体系的基线文档与可重复的测试流程,能够保护网络性能,并验证你的 AI 就绪型数据中心网络是否能持续提供可预测、高吞吐、低时延的数据访问能力。
应根据性能与适配性来选择布线方式。构建具备整洁线缆管理的无阻塞拓扑。使用一致的工具与流程进行测量。然后设定时延阈值,并用真实测试结果加以验证。按照这一顺序,你就能把东西向网络布线选择转化为可被证明、可被辩护的数据指标。
从小规模开始。先搭建一个试点机架,记录好基线数据,再逐步迭代,然后再扩展到完整集群。每一轮测试,都会进一步优化你的布线方案和目标设定。
无论是硬件还是基准,都应与实际工作负载需求相匹配。这始终是控制成本并达成性能目标的最可靠方式。
常见问题
在高密度 GPU 集群中,长距离链路应使用哪种布线?
长距离跨度和 Spine 链路应优先使用光纤。随着距离增加,铜缆的信号质量会下降,因此它无法在高密度 AI 集群中高效承载所需带宽的长距离传输。DAC 适合机架内的短距离跳线,AOC 适合机架到机架的中等距离连接。
无阻塞 GPU 网络应以什么超额订阅比为目标?
如果你的训练任务频繁执行高强度集体通信,目标应设为 1:1。在这一比例下,上行容量与下行容量相匹配,因此不会出现某个流量等待另一个流量释放资源的情况。更低的比例可以降低成本,但会在集体通信期间引入争用。应先按峰值突发流量规划上行,再验证总容量是否足以覆盖你的最大训练任务。
哪些工具可以测量 GPU 节点之间的东西向时延?
在 InfiniBand 网络中,可使用 ib_write_lat 和 ib_send_bw;在 Ethernet 中,可使用 sockperf 和 qperf。同时加入 NCCL 测试,如 all_reduce_perf,以覆盖真实的集体通信路径。应记录第 50 百分位和第 99 百分位时延、消息速率以及每链路带宽。百分位数据能够揭示平均值无法显示的尾部行为。
SHARP 会如何改变你的时延阈值?
SHARP 可以减少网络穿越次数、降低时延,并使吞吐量翻倍。启用 SHARP 的网络,会优于基于未启用 SHARP 的基线所设定的阈值。应对两种配置都进行基准测试,然后明确记录你的阈值建立在哪一种配置之上。否则,你的通过或失败规则衡量的就不是同一种网络条件。
应该多久重新运行一次时延基准测试?
每次布线或拓扑变化后都应重新测试。无论是更换一个收发器、增加一台 Leaf,还是改道一条主干链路,旧数据都不再适用。应在空闲和负载条件下重复相同流程,将结果与基线对比,并标记尾部时延的漂移。同时还应安排定期评估,以便尽早发现缓慢退化问题。
