GPU再快也怕網路塞車！輝達Spectrum-6串聯逾10萬顆GPU，網路效率最高達95%

當 AI 工廠從數千顆 GPU 擴大至數十萬顆 GPU 時，一條速度過慢或發生壅塞的連線，就可能讓大量加速器陷入等待，再高的 GPU 峰值效能也難以完全發揮。輝達（NVIDIA）今（22）日發表新一代 Spectrum-6 以太網路交換器系統，每秒傳輸速率達 102.4 Tb，容量為前代兩倍；輝達宣稱，Spectrum-X 平台可在超過 10 萬顆 GPU 的部署環境中維持最高 95% 的網路效率，CoreWeave、微軟、Nebius、SpaceXAI 與 Tesla 將成為首批導入業者。Spectrum-6 專為 Vera Rubin 平台及百萬瓩級、相當於 1GW 規模的 AI 工廠設計。隨著前沿模型、代理型 AI 與物理 AI 需要愈來愈多 GPU 協同運算，網路已從資料傳輸工具，轉變為決定 GPU 利用率、模型訓練時間與每詞元成本的核心基礎設施。AI 工廠邁向百萬瓩級　GPU 峰值效能不等於整體算力傳統企業資料中心的以太網路，主要處理使用者、伺服器及儲存系統間的南北向流量，但大型 AI 模型訓練及推論，需要數千乃至數十萬顆 GPU 持續交換資料，形成龐大的東西向流量。尤其在集體通訊工作中，各個 GPU 必須同步交換運算結果。只要部分節點出現延遲、封包遺失或網路壅塞，就可能迫使其他 GPU 等待，導致昂貴的加速器無法維持滿載。因此，單看 GPU 的理論峰值效能，已不足以衡量 AI 工廠的實際產出。交換器頻寬、網路路由、壅塞控制、故障復原及光學傳輸，均會影響整套系統能否有效擴展。Spectrum-6 速度達 102.4 Tb／s　容量較前代增加一倍Spectrum-6 是新一代 Spectrum-X 以太網路平台的核心，單一交換器系統每秒傳輸速率達 102.4 Tb，容量較前代提高一倍，並與 ConnectX-9 SuperNIC、網路軟體及 Vera Rubin 平台共同設計。不同於通用型以太網路，Spectrum-X 導入自適應路由、進階壅塞控制及即時遙測，能根據網路狀況在多條可用路徑間平衡流量。當部分連線發生故障時，系統也可重新安排傳輸路徑，並針對未能抵達目的地的資料進行復原。輝達表示，Spectrum-X 的 AI 網路效能最高可達通用型以太網路的 1.6 倍，即使部署環境超過 10 萬顆 GPU，網路效率仍最高可維持 95%。透過硬體加速的多平面網路拓樸，資料中心所需的交換器數量則可減少 1.7 倍。不過，上述數字均為輝達依特定測試或設計條件提供的結果，實際表現仍取決於模型架構、叢集規模、網路拓樸、軟體設定及工作負載。CoreWeave、微軟率先部署　Tesla 也將導入CoreWeave（NASDAQ：CRWV）、微軟（NASDAQ：MSFT）、Nebius（NASDAQ：NBIS）、SpaceXAI 與 Tesla（NASDAQ：TSLA）將成為首批導入 Spectrum-6 的企業。其中，CoreWeave、微軟與 Nebius 將部署搭載 Spectrum-6 的 Vera Rubin 基礎設施，提供開發者、新創公司及企業使用。CoreWeave 網路產品總監 Min Jun 表示，網路是 AI 工作負載能否在大規模環境下維持效能的關鍵，導入 Spectrum-6 及液冷式 Spectrum-X 基礎設施，將有助於提供前沿模型訓練與推論所需的頻寬、韌性與效率。CoreWeave 也已採用搭載 Spectrum-6 晶片的 SN6600-LD，建置 Vera Rubin NVL72 交換網路。這套液冷高密度交換器機架，每機架可提供 1.64 Pb／s 容量，較前代氣冷交換器提高 100%，並透過無阻塞、多平面及多軌網路架構連接 Vera Rubin GPU。Nebius 全球合作夥伴關係副總裁 Laurelle Roseman 則指出，在百萬瓩規模下，效能取決於每顆 GPU 能否保持同步，「避免單一緩慢連線拖慢整項工作」。她表示，Spectrum-6 正是針對這項問題設計，即使客戶的工作負載持續擴大，仍須維持高速與韌性。共同封裝光學、液冷同步導入　交換器也加入節能戰Spectrum-6 同時支援可插拔式光學元件及共同封裝光學元件，產品也能採用液冷，與 Vera Rubin 運算機架形成端到端的冷卻架構。傳統可插拔式光收發器需要將電訊號從交換器晶片傳送至面板上的光模組，隨著傳輸速度與交換器頻寬提高，訊號傳輸距離所帶來的功耗及散熱問題也愈來愈明顯。共同封裝光學則將光學元件移近交換器晶片，可縮短高速電訊號傳輸距離。依輝達提供的資料，Spectrum-X 光子技術相較可插拔式架構，可提高 5 倍能源效率，平均故障間隔時間改善 10 倍。CoreWeave、Lambda 與 Oracle（NYSE：ORCL）旗下 OCI 均為首批採用業者。對規模達數十萬顆 GPU 的 AI 工廠而言，交換器與光模組本身的耗電、散熱及故障率都會被放大。這也使 CPO、矽光子及液冷技術，從個別零組件升級為影響資料中心總體持有成本的關鍵。輝達從 GPU 延伸至交換器　擴張 AI 基礎設施版圖Spectrum-6 也反映輝達正在將競爭範圍從 GPU，延伸至網卡、交換器、DPU、光學元件、網路軟體與冷卻系統。輝達將這項策略稱為「垂直整合、水平開放」：一方面共同設計晶片、系統及軟體，另一方面仍支援標準以太網路、開放式網路作業系統及不同 RDMA 傳輸模式，降低客戶採用完整平台時的整合難度。當 AI 工廠規模進入百萬瓩級，運算效能已不再取決於單一晶片，而是由 GPU、CPU、網路、光學傳輸、電力及冷卻系統共同決定。Spectrum-6 的戰略意義，也不只是賣出更多交換器，而是讓輝達進一步掌握從 GPU 到整座 AI 工廠的技術堆疊。