如何為 GPU 節點設定東西向佈線與延遲

為高密度 GPU 節點建立可靠基準,可以分三步進行。第一,選擇低延遲佈線,如 DAC、AOC 或光纖。第二,設計無阻塞拓撲。第三,建立可測量的延遲目標。GPU 之間的東西向流量主導了分散式 AI 訓練,因此你的東西向網路佈線與基準必須聚焦於 GPU 到 GPU 以及節點到節點的路徑。本文將提供可立即落地的選型標準、穩妥的佈線實務,以及一套可直接應用的基準測試方法。透過這些步驟,你可以建構一個真正滿足實際工作負載需求的 AI 就緒型資料中心網路。
理解 GPU 叢集中的東西向流量
為什麼東西向流量主導 AI 訓練
東西向流量是指分散式 AI 訓練期間,GPU 與節點之間進行的大規模資料交換。在高密度 GPU 叢集中,這種流量模式主導了整個網路架構。各個工作節點會持續共享梯度、啟動值和模型更新。訓練任務的每一步,都會在大量節點之間同時觸發一輪突發性的東西向通訊。
這種模式會重塑你的網路容量規劃方式。一個主要面向用戶端到伺服器流量而建構的叢集,在面對這類突發流量時往往表現不佳。你需要按照持續性的多對多交換來規劃鏈路容量,而不是按偶發請求來設計。這也是為什麼在高密度 GPU 機架中,東西向頻寬如今成為網路設計決策的核心因素。
GPU 到 GPU 與節點到節點路徑
你的延遲基準應重點關注 GPU 到 GPU 和節點到節點的路徑。這些流量直接決定了分散式 AI 訓練的效能。兩個加速器之間哪怕只有一個慢速跳點,整個訓練作業都可能被拖慢,即使其他所有鏈路看起來都正常。應先直接測量 GPU 到 GPU 通訊,再測量承載該通訊的節點到節點路徑。
AI 工作負載正在重塑資料中心網路架構與佈線需求。針對 GPU 東西向通訊最佳化的網路結構,同樣也能提升南北向企業級 AI 工作負載的表現,因此一個設計就可以同時服務兩個方向。應將東西向 / 南北向網路視為一個統一系統。強大的節點間頻寬和高頻寬連線能力,能同時保障兩種流量模式的健康運行,而經過周密規劃的 AI 就緒型資料中心網路,則能在整個叢集中提供穩定一致的網路效能。
東西向網路佈線的佈線選項
比較 DAC、AOC 與光纖
在高密度 GPU 網路中,每種傳輸媒介都有其適用位置。直連銅纜(DAC)適合機架內部的短距離連接。它可以在較短距離內以較低成本提供良好的訊號品質,而且無需光模組。有源光纜(AOC)則是在固定組件中整合了收發器。它比無源銅纜傳輸距離更遠、重量更輕,這在擁擠機架中尤其有利。光纖則提供最長的傳輸距離,也是通往超高通道數擴充能力的最佳路徑。
| 選項 | 最適合的場景 | 優勢 | 取捨 |
|---|---|---|---|
| DAC | 機架內、短距離 | 成本低、功耗低、部署簡單 | 傳輸距離有限 |
| AOC | 機架到機架、中等距離 | 傳輸更遠、更輕、更靈活 | 兩端固定,成本高於 DAC |
| 光纖 | 長距離、Spine 鏈路 | 傳輸距離最長,可擴充的通道數量更強 | 需要光模組,並且要仔細清潔維護 |
單靠銅纜無法在高密度 AI 叢集中高效支援所需頻寬的長距離鏈路。隨著距離增加,訊號損耗會不斷加劇,因此應把銅纜規劃在最短跳點上,而將光學鏈路保留給其餘連接。
根據互連與頻寬需求匹配佈線方案
面向 AI 叢集和 GPU 網路而設計的結構化高密度光纖基礎設施,能為未來擴充預留充足空間。預端接主幹組件和模組化配線面板,可以讓你在無需重建佈線路徑的情況下增加更多通道。在為任意鏈路選擇媒介之前,請先核對廠商給出的傳輸距離規格。
你的東西向網路佈線方案應遵循流量分布圖來制定。對於加速器彼此靠近的場景,使用短距離 DAC;對於 Spine 與 Leaf 上行鏈路,則使用 AOC 或光纖。這種組合方式能夠在不過度提高每條鏈路成本的前提下,保護東西向頻寬。結構化高密度光纖基礎設施還可以簡化後續升級,因為備用纖芯和連接埠已經預先存在。
網路容量規劃應圍繞集體通訊高峰期,而不是平均負載進行。節點間頻寬和高頻寬連線能力,決定了一個作業完成的速度,而過窄的上行鏈路會形成頻寬瓶頸,進而拖慢所有工作節點。應按訓練最繁忙階段來規劃鏈路容量。合理的佈線選擇能讓 AI 工作負載保持滿速運行,並為更大規模模型預留網路容量餘量。
拓撲與低延遲交換設計
設計無阻塞拓撲
無阻塞拓撲意味著每個 GPU 節點都能在同一時間,以全頻寬路徑連接到任意其他節點。實現這一點的常見方式是 Leaf-Spine 架構。每台 Leaf 交換器連接到每台 Spine 交換器,而每台伺服器連接到其所屬的 Leaf。任意兩個端點之間的流量,最多只需要經過一次 Spine 跳轉。這個單一跳點使得東西向流量在高負載下依然具備可預測的延遲表現。
應謹慎規劃交換網路的超額訂閱比。1:1 的比例表示上行容量與下行容量相等,因此不會出現某個流等待另一個流讓路的情況。更低的比例雖然能節省成本,但在集體通訊操作期間會引入爭用。應先按峰值突發流量規劃上行容量,再確認總網路容量足以覆蓋最大訓練任務。建構良好的 Leaf-Spine 網路同樣也能提升南北向流量的網路效能,從而使這一設計真正服務整個資料中心。
機架規模下的線纜管理
高密度機架對粗糙佈線極為敏感。應將光纖和銅纜沿既定路徑捆紮鋪設,遵守彎曲半徑要求,並為每條鏈路兩端都做好標籤。還要讓電源線與資料線分開,以保護訊號完整性。在每個機架頂部進行結構化配線,可以縮短鏈路長度,並簡化後續移動和調整。
高密度 AI 設計正在擺脫傳統佈線方式,轉向專為 GPU 密集型東西向流量而建構的架構。預端接組件和模組化面板正在取代手工拼接式鏈路。這種轉變有助於實現低延遲交換,因為整潔而短的路徑可以減少損耗並簡化故障排查。良好的東西向網路佈線規範,也能在規模擴大時持續保護高頻寬連線能力。
安裝完成後,請測試每一條鏈路並記錄結果。哪怕只有一個邊緣狀態的連接,也可能削弱整個 AI 就緒型資料中心網路的表現。
延遲基準測試方法
用於東西向延遲測試的工具與指標
如果沒有可重複的工具,任何測試數字都不值得信任。首先,在 InfiniBand 網路中使用 ib_write_lat 或 ib_send_bw 這類頻寬與延遲探測工具;在 Ethernet 網路中,則使用 sockperf 或 qperf。對於 GPU 層面的檢查,可執行 NCCL 測試,如 all_reduce_perf 和 all_gather_perf。這些工具會呼叫與分散式 AI 訓練每一步中相同的集體通訊路徑。
應追蹤一組精簡但關鍵的指標。記錄單向與往返延遲的第 50 百分位和第 99 百分位,而不只是平均值。同時採集訊息速率、每條鏈路頻寬,以及每次集體通訊的完成時間。百分位資料能暴露平均值無法反映的尾部行為。應在同一機架內的每一對 GPU 之間執行延遲測量,再在跨 Spine 的代表性節點對之間進行測試。這樣你獲得的是整個網路的延遲地圖,而不是單一樣本。
測試流程與閾值設定
首先固定測試條件。每次測試都要使用相同的訊息大小、相同的程序數和相同的預熱輪次。空閒網路測試可以提供乾淨的基線;而在訓練任務將鏈路打滿時進行的負載測試,則能揭示東西向流量下的真實行為。應對比這兩類結果。
閾值應根據工作負載需求設定,而不是依據廠商宣傳參數。緊耦合訓練任務對抖動的容忍度,遠低於推理服務。你應將每個閾值寫成明確的通過或失敗規則,例如某一訊息大小下第 99 百分位延遲的上限。還要把集體通訊操作納入計畫。像 SHARP 這樣的技術能夠減少穿越次數、降低延遲,並使吞吐量翻倍,因此啟用 SHARP 的網路會優於基於未啟用 SHARP 的基線所設定的閾值。應對兩種配置都進行基準測試,並記錄你的閾值是基於哪一種配置建立的。
高強度的東西向流量還會帶來靜態閾值無法反映的延遲和壅塞。基於遙測的壅塞控制,例如整合在 ConnectX-8 介面卡中的方案,可以讓網路即時回應壅塞情況。應在負載測試中啟用它,並觀察尾部延遲是否仍能保持在限制範圍內。良好的佈線和充足的網路容量可以減輕壓力,而主動控制機制則能在突發流量到來時保持網路效能穩定。
不要只在空閒狀態下做基準測試,也要在負載下測試。一個通過空閒測試的網路,仍可能在真實訓練任務中失敗。
驗證 AI 就緒型資料中心網路
按工作負載定義延遲目標
應從工作負載特徵出發,而不是先看硬體規格參數。一個每一步都執行集體通訊的緊耦合訓練任務,需要比批次推理服務更嚴格的延遲限制。先寫清楚你的任務使用的訊息大小、程序數量和集體通訊類型。然後為每一項設定通過或失敗規則,例如某個訊息大小下第 99 百分位延遲的上限。
每一個目標都必須透過實測結果來驗證。在已部署完成的網路上執行你的基準測試套件,並將每個數值與對應閾值進行比對。無法被測量的目標,就不是真正的目標。如果某條鏈路未達到限制,應先追蹤路徑問題,而不是立刻修改閾值。這種方法能把一份願望清單,轉化為 AI 就緒型資料中心網路中真正可執行的基準體系。
記錄並重複測試基準
應將基線統一記錄在一個地方。記錄測試工具、訊息大小、程序數量、韌體版本以及每次測試日期。註明哪些鏈路使用 DAC、AOC 或光纖,並記錄每一次佈線變更。有了書面基線,下一位工程師就能在不靠猜測的情況下重現實驗結果。
每當佈線或拓撲發生變化後,都應重新測試。更換一個收發器、增加一台 Leaf,或重新鋪放一條主幹鏈路,舊資料就不再適用。應在空閒和負載兩種條件下重複相同流程,將新結果與基線對比,並標記尾部延遲的任何漂移。還應定期安排網路與佈線評估,以便在作業失敗前及早發現緩慢退化。
應把驗證視作一項持續性的習慣。在每個擴容階段進行網路就緒度評估,能讓網路容量始終與 AI 工作負載保持一致。成體系的基線文件與可重複的測試流程,能夠保護網路效能,並驗證你的 AI 就緒型資料中心網路是否能持續提供可預測、高吞吐、低延遲的資料存取能力。
應根據效能與適配性來選擇佈線方式。建構具備整潔線纜管理的無阻塞拓撲。使用一致的工具與流程進行測量。然後設定延遲閾值,並用真實測試結果加以驗證。按照這一順序,你就能把東西向網路佈線選擇轉化為可被證明、可被辯護的資料指標。
從小規模開始。先搭建一個試點機架,記錄好基線資料,再逐步迭代,然後再擴展到完整叢集。每一輪測試,都會進一步最佳化你的佈線方案和目標設定。
無論是硬體還是基準,都應與實際工作負載需求相匹配。這始終是控制成本並達成效能目標的最可靠方式。
常見問題
在高密度 GPU 叢集中,長距離鏈路應使用哪種佈線?
長距離跨度和 Spine 鏈路應優先使用光纖。隨著距離增加,銅纜的訊號品質會下降,因此它無法在高密度 AI 叢集中高效承載所需頻寬的長距離傳輸。DAC 適合機架內的短距離跳線,AOC 適合機架到機架的中等距離連接。
無阻塞 GPU 網路應以什麼超額訂閱比為目標?
如果你的訓練任務頻繁執行高強度集體通訊,目標應設為 1:1。在這一比例下,上行容量與下行容量相匹配,因此不會出現某個流量等待另一個流量釋放資源的情況。更低的比例可以降低成本,但會在集體通訊期間引入爭用。應先按峰值突發流量規劃上行,再驗證總容量是否足以覆蓋你的最大訓練任務。
哪些工具可以測量 GPU 節點之間的東西向延遲?
在 InfiniBand 網路中,可使用 ib_write_lat 和 ib_send_bw;在 Ethernet 中,可使用 sockperf 和 qperf。同時加入 NCCL 測試,如 all_reduce_perf,以覆蓋真實的集體通訊路徑。應記錄第 50 百分位和第 99 百分位延遲、訊息速率以及每鏈路頻寬。百分位資料能夠揭示平均值無法顯示的尾部行為。
SHARP 會如何改變你的延遲閾值?
SHARP 可以減少網路穿越次數、降低延遲,並使吞吐量翻倍。啟用 SHARP 的網路,會優於基於未啟用 SHARP 的基線所設定的閾值。應對兩種配置都進行基準測試,然後明確記錄你的閾值建立在哪一種配置之上。否則,你的通過或失敗規則衡量的就不是同一種網路條件。
應該多久重新執行一次延遲基準測試?
每次佈線或拓撲變化後都應重新測試。無論是更換一個收發器、增加一台 Leaf,還是改道一條主幹鏈路,舊資料都不再適用。應在空閒和負載條件下重複相同流程,將結果與基線對比,並標記尾部延遲的漂移。同時還應安排定期評估,以便及早發現緩慢退化問題。
