超節點概念、優勢、發展模式與驅動因素有哪些？

超節點作為當前 Scale Up 架構的較優解決方案，憑借其內部高速總線互連的特性，能夠有效支撐并行 計算任務，加速 GPU 之間的參數交換與數據同步。

1、超節點概念

超節點，英文名為 SuperPod，是英偉達公司最先提出的概念。 GPU 作為關鍵的算力硬件，在 AIGC 大模型的訓練與推理過程中發揮著至關重要的支撐作用。隨著大模 型參數規模的持續擴張，其對 GPU 集群規模的需求也在與日俱增，從千卡級別逐步邁向萬卡級別，甚 至未來有望達到十萬卡級別乃至更高規模。

在構建規模日益龐大的 GPU 集群時，主要可采用兩種策略：Scale Up（縱向擴展）與 Scale Out （橫向擴展）。 以貨輪為比喻，當總運力需求擴張時，Scale-up 是建造更大的貨輪，而 Scale-out 則是增加貨輪的數量。 Scale-up 追求硬件的緊密耦合；Scale-out 追求實現彈性擴展，支撐松散任務（如數據并行）。二者在 協議棧、硬件、容錯機制上存在本質差異，通信效率不同。 以 A100 和 H100 分別組成的 DGX 256 Pod 為例，兩者均由 32 臺 8 卡服務器跨機柜組成。DGX A100 實際為服務器通過 Infiniband 交換網絡 Scale-out 組成；而 DGX H100 通過第二層 NVSwitch 組網，實 現 256 個 H100 全互聯，為 Scale-up，形成 1 個超大節點，在通信性能方面具備優勢。

Scale Up 較多表示 GPU 在節點內部的性能擴充。例如：增加 Compute die 或 HBM 的數量、性能； 增加服務器等節點內的 GPU 數量，通過 PCB、銅線等進行小范圍互聯；有時會增加一層交換芯片，例 如 PCIe Switch、NVSwitch 都是算力 Scale Up 的一部分。（傳統的 AI4 卡、8 卡、16 卡服務器都是典 型的 Scale Up 形式。） Scale-up 系統往往對基于算力優化的網絡協議與標準有更高技術要求。代表性的 Scale-up 網絡包括英 偉達多年迭代的 NVLink、基于 AMD 早期 Infinity Fabric 協議的 UALink、博通發布的 Scale Up Ethernet（SUE）等，擁有更高的帶寬和信令速率，從底層協議到系統硬件一般均獨立與傳統通信網絡。 例如英偉達的 Blackwell 芯片，其 NVLink 帶寬達到 1.8TB/s，由 18 個 Port 構成，每個 Port 100GB/s、 四對差分線構成、包含兩組 224Gbps 的 Serdes。 Scale Up 場景：張量并行、專家并行等，高頻交互、內存讀寫是重點，通常放在超高帶寬、超低時延 的網絡中進行處理。Scale Up 本質上是支持內存語義的網絡。例如 NVLink，在節點范圍內實現內存語 義級通信和總線域網絡內部的內存共享，本質上是一個顯存的 Load-Store 網絡，性能和延遲均優于傳 統網絡協議。一般 Scale Up 網絡是 GPU 芯片直出互連，不采用傳統網絡的傳輸層和網絡層，采用信用 機制流量控制、鏈路層重傳等機制保障可靠性。 上代 Scale-up 規模為 8 卡，英偉達 Clos 結構領先。8 卡服務器時代 Scale-up 主要為兩種拓撲。1） 網狀拓撲：GPU 之間以“手拉手”形式實現全互聯，無交換芯片導致通信壓力集中于 GPU 上，且 GPU 一 對一通信效率下滑。2）Clos 拓撲：英偉達將引入交換芯片引入 Scale-up，使通信壓力集中于 NVSwitch，GPU 間形成無阻塞的全互聯；通信帶寬彈性較大，能更好處理通信峰值，使集群性能提升。

當前 Scale-up 突破傳統單服務器、單機柜限制進入“超節點”時代。Scale-up 可理解為增加單個節點 （過去指單臺服務器）內 GPU 數量（從 2 卡到 8 卡）；但其核心在于實現節點內全互聯 GPU，而非物 理地存在于單臺服務器或單個機柜。隨著互聯技術的演進，Scale-up 正在突破單服務器、單機柜的限制， “超節點”可以跨服務器、跨機柜。 Scale Up 已成為全球算力方案商的發力重點。英偉達除了將 NVLink 的性能迭代作為重要定期更新之 外，在 2025 COMPUTEX 會議上還以 NVLink Fusion IP 授權的形式對第三方部分開放了 NVLink 機柜 級的架構互聯；臺媒《電子時報》報道稱，首款支持 UALink 規范高速互聯芯片最早可能今年底實現流 片；博通發布 Scale Up Ethernet 技術框架，在多 XPU 系統中提供 XPU 間的通信。

超節點實際就是算力網絡系統在單個或多個機柜層面的 Scale Up，節點內主流通信方案是銅連接與電 氣信號，跨機柜則考慮引入光通信；其與 Scale Out 的硬件邊界是 NIC 網卡，外部借助光模塊、以太 網交換機等設備。二者的架構設計、硬件設備、協議標準有本質不同。 超節點作為新型算力基礎設施，其大規模組網能力決定了模型訓推效率與規模拓展的邊界。以華為昇騰 超節點產品為例，在 Scale Up 和 Scale Out 組網的技術協同下，超節點構建起高效、靈活的通信網 絡，成為突破算力瓶頸、支撐不同規模大模型訓練及推理的核心技術路徑。

2、超節點的優勢

在探討超節點的必要性時，有人可能會提出，如果 Scale Up 路線存在諸多困難，是否可以通過 Scale Out 路線，即增加節點數量來構建大規模 GPU 集群。然而，事實并非如此。超節點作為一種加強版的 Scale Up 架構，其重要性在于它能夠在性能、成本、組網以及運維等多個方面帶來顯著的優勢。 Scale Out 架構的核心在于節點之間的通信能力。目前，主要采用的通信網絡技術包括 Infiniband（IB） 和 RoCEv2。這兩種技術均基于 RDMA（遠程直接內存訪問）協議，相較于傳統的以太網，它們能夠提 供更高的傳輸速率、更低的時延，并且具備更強的負載均衡能力。其中，Infiniband 是英偉達的私有技 術，它起步較早，性能出色，但價格相對較高；而 RoCEv2 則是開放標準，它是傳統以太網與 RDMA 融合的產物，成本較低。近年來，兩者之間的性能差距正在逐步縮小。 然而，從帶寬角度來看，IB 和 RoCEv2 目前僅能提供 Tbps 級別的帶寬，而 Scale Up 架構則能夠實現數 百個 GPU 之間 10Tbps 帶寬級別的互聯。在時延方面，IB 和 RoCEv2 的時延通常在 10 微秒左右，而 Scale Up 架構對網絡時延的要求極為嚴格，需要達到百納秒（100 納秒=0.1 微秒）級別。 在 AI 訓練過程中，通常會涉及多種并行計算方式，包括張量并行（TP）、專家并行（EP）、流水線并 行（PP）以及數據并行（DP）。其中，PP 和 DP 的通信量相對較小，通常可以通過 Scale Out 架構來 實現；而 TP 和 EP 的通信量較大，需要借助 Scale Up 架構（即超節點內部）來完成。

超節點作為當前 Scale Up 架構的較優解決方案，憑借其內部高速總線互連的特性，能夠有效支撐并行 計算任務，加速 GPU 之間的參數交換與數據同步。此外，超節點通常具備內存語義能力，允許 GPU 之間直接讀取彼此的內存，這一特性是 Scale Out 架構所不具備的。 從組網與運維的角度來看，超節點同樣展現出顯著優勢。超節點的超帶寬域（HBD）規模越大，其內部 集成的 Scale Up 架構中的 GPU 數量越多，相應地，Scale Out 架構的組網復雜度將大幅降低。超節點本 質上是一個高度集成的小型集群，其內部總線連接已預先完成，這不僅降低了網絡部署的難度，還有效 縮短了部署周期。在后期運維過程中，超節點的管理也更為便捷。 然而，超節點的規模并非可以無限制擴大，仍需綜合考慮其成本因素。其具體規模應根據實際應用場景 的需求進行科學測算。總體而言，超節點的核心優勢在于通過增加局部帶寬，有效降低增加全局帶寬的 成本，進而實現更高的性能收益。

3、超節點可選的方案

超節點的核心在于“互聯”，需要一套完整的硬件和軟件協議。包括 Scale-up 節點內和 Scale-out 節 點間的互聯。而互聯生態，存在兩種發展模式：

第一種是“垂直整合”模式，例如英偉達，構建了從 NVLink-NVLink SwitchInfiniBand-CUDA 完 整技術棧。用戶通過 CUDA 便可直接控制整個 AI 算力，性能和效率都非常高。但互聯協議本身是閉源 的，用戶成本較高，并且存在廠商鎖定風險。

第二種是由其他芯片巨頭、云服務商和大型科技公司組成的“協議開放”模式。目前來看，超節點的開放 標準還不止一個，但基本上都是以以太網技術（ETH）為基礎。因為以太網技術最成熟、最開放，也擁 有最多的參與企業。核心參與者包括 AMD、博通、Intel、微軟、Meta 等，是以“兼容性”和“選擇權”來 對抗“封閉性”，構建一個基于開放標準的、更加多元化的生態系統。但生態碎片化程度更高。 開源開放將是未來超節點互聯的行業趨勢。值得注意的是，此前，NVLink 是英偉達專用技術。但 2025 年是一個重要轉折點： 英偉達推出 NVLink Fusion，將原本封閉的 NVLink 開放給第三方伙伴。2025 年，英偉達宣布向 第三方開放 NVLink IP 授權，允許合作伙伴（如富士通、高通等）的 CPU 或定制 ASIC 芯片與英偉達 GPU 進行高速互聯。這意味著未來可能有更多非英偉達芯片能融入其高速計算生態。2025 年 9 月，英 偉達與英特爾宣布合作，其中就包括將 NVLink 技術開放給英特爾，用于連接英特爾至強（Xeon） CPU 和英偉達 GPU。這標志著 NVLink 開始擁抱 x86 生態。 國內采用開源開放方式的以華為、海光兩大超節點生態為代表，體系雛形初具。海光 HSL：面向 GPU、 IO、OS、OEM 等產業全棧，開放 CPU 互聯總線協議（HSL）。華為：開放靈衢統一總線 （UnifiedBus），支持超節點內不同類型、不同距離的組件統一互聯。

4.驅動因素

1、計算需求演進，超節點成為 AI 基建共識

（1）算力需求演進對高帶寬、低時延提出更高要求

模型需求演進：從單純堆砌算力轉向搭建高帶寬、低時延、持續數據供給的均衡系統。規模定律 （ScalingLaw）揭示了模型性能與參數、數據量、計算投入的關系，欽奇拉法則（ChinchillaLaw）進 一步要求參數與數據按比例協同擴展，使得算力需求從單純堆砌算力轉向搭建高帶寬、低時延、持續數 據供給的均衡系統。

產業演進：從硬件聚合到系統構建。超節點內涵逐漸從最初聚焦硬件互聯，深化為軟硬件一體化的全棧 協同設計。在缺少配套軟件的情況下，容易面臨生態系統碎片化和性能優化難度較高等挑戰。

（2）基礎技術特征：超高帶寬互聯與內存統一編址

超高帶寬互聯與內存統一編址是超節點的基礎技術特征。（1）超大帶寬和超低時延互聯：超節點借助 高效的互聯協議打破傳統架構限制，支持更大規模 AI 處理器的高效協同，實現更大范圍、更高流量的 數據傳輸，從而突破系統性能。（2）內存統一編址：超節點內所有互聯設備的內存地址需全局唯一， 基于全局內存可實現任意設備間的靈活訪問。這使得大模型訓練中頻繁的參數同步操作，無需經過傳統 的“序列化-網絡傳輸-反序列化”流程，直接通過內存語義通信完成，提升小包數據傳輸及離散隨機訪存 通信效率。

（3）追求多級存儲池化、資源靈活配比以及高可靠性

多級存儲資源池化突破系統間資源壁壘。超節點通過資源池化技術將分散的計算、存儲、網絡資源抽象 為統一邏輯資源池，以集中化管控的方式消除資源孤島，實現動態彈性調度。以大模型推理核心組件 KV Cache 為例，傳統靜態分配模式因資源隔離導致 KV Cache 重復存儲與訪問阻塞，資源池化技術可將 KV Cache 從單機顯存的物理限制中解放，單卡顯存只需保留熱數據，冷數據動態遷移至內存或存儲層， 從而支持百萬 Token 級長上下文處理并實現批處理規模的倍級提升。

資源靈活配比實現資源精準按需配置。超節點通過資源池化與軟件定義架構的深度融合，將 CPU、 NPU、內存、存儲等物理資源解耦為可獨立調度的資源池，根據任務特征自動調整各類型資源的配比比例，如在計算密集型任務中提升 NPU 與內存占比，在訪存密集型任務中提升帶寬與顯存資源占比，在 存儲密集型場景中增加 CPU 與存儲資源配額。多任務（如同時運行模型訓練、在線推理、數據預處理） 場景下，超節點通常可采用邏輯切分技術，將物理超節點拆分為多個邏輯超節點，各邏輯節點間通過高 速互聯協議實現低時延通信。

高可靠性是決定系統計算效率及成本的重要指標之一。萬級處理器通常會帶來故障常態化。據華為《超 節點發展報告》，以 GPT-3（175B）到 GPT-4（1.9T）的演進為例，當參數增至 10.8 倍，總集合通信 達 34.1 倍，跨節點 RDMA 達 49.3 倍，光電轉換 49.3 倍。任一組件或一次光電轉換失敗都會放大為全 局可用度/利用率問題，進一步抬升運維復雜度，超節點穩定而可靠的運行依賴可靠的硬件、可靠的網 絡以及可靠的系統： （1）可靠硬件是系統穩定運行的核心前提。據《The Llama 3 Herd of Models》研究顯示，Llama3.1 模型在萬卡集群訓練時，平均 3 小時會出現一次故障，其中絕大多數故障源于器件層面的失效。超節點 在考慮硬件可靠性時需覆蓋器件生產、選型和使用階段等全生命周期。 （2）可靠網絡保障數據傳輸無中斷。超節點網絡涵蓋超節點通信域與跨節點通信域，據華為《超節點 發展報告》，相比傳統服務器系統，超節點集群光模塊的數量增長，面臨更高的網絡失效率的挑戰。常 見可靠網絡保障措施有：①通信域內設置冗余節點：由于超節點通信域內帶寬顯著高于跨域帶寬，當域 內計算節點故障時，需設計域內冗余節點配置與整節點遷移機制，避免因帶寬不匹配導致故障無法及時 恢復。②光模塊故障檢測與動態修復機制：當光模塊發生局部故障時自動切換至冗余通道，保障數據傳 輸鏈路的連續性。③多平面通信架構應設計鏈路收斂算法：在某一平面鏈路故障時快速路進行路徑切換 與流量重定向，大幅縮短故障修復時間。 （3）可靠系統實現全域統管與故障排除。故障主動預防與恢復能力是超節點系統運維的關鍵能力。① 故障主動預防：通過對器件運行數據的挖掘與趨勢分析，提前感知器件的亞健康狀態，預判潛在故障風 險。②分級故障恢復：分級恢復策略能確保不同類型業務在故障發生時均能被實時高效地處理，以最小 時間代價保障業務連續性。

2、算力需求持續增長，推理市場與主權 AI 加速推進

（1）算力總需求仍在持續增長

國內外 CSP 在二季度財報電話會紛紛上調資本開支指引。谷歌將 2025 年 CapEx 預期從 750 億美元上 調至 850 億美元，主要用于 AI 基礎設施建設；微軟 Q2 的 CapEx 為 242 億美元，接近一半的支出用于 服務器（包括 CPU 和 GPU），預計 Q3 的 CapEx 將超 300 億美元；Meta 調整 2025 年 CapEx 區間為 660-720 億美元，并表示 2026 年 CapEx 仍將顯著增長，主要用于擴展生成式 AI 所需的服務器、網絡 和數據中心建設；亞馬遜在財報電話會表示 Q2 的 314 億美元（財報值為 322 億美元）CapEx 很大程度 上可以代表公司下半年預計支出，公司強調將繼續在芯片、數據中心和電力方面投入更多資本；甲骨文 FY2026Q1 的 Capex 為 85.02 億美元，同比增速提速至+269.17%（FY2025Q4 增速為+224.52%），公 司預計 2026 財年 CapEx 將達約 350 億美元；阿里巴巴在 2025Q2 財報電話會上重申三年 3800 億元人 民幣 AI 資本開支計劃。英偉達預計未來五年全球 AI 資本支出將達 3-4 萬億美元。

（2）產業重心從訓練到推理，主權 AI 成新增需求方

大模型產業重心從訓練到推理的轉變，已成行業共識。9 月 16 日，騰訊在 2025 騰訊全球數字生態大會 上表示，大模型產業重心從訓練到推理的轉變，已經成為行業共識。甲骨文在 9 月 9 日財報電話會上也 強調，AI 推理市場將“遠大于”AI 訓練市場，為了在 AI 推理市場占據主導地位，甲骨文還新推出了“AI 數據庫”。 主權 AI 正在崛起。英偉達在 8 月 27 日財報電話會上表示，今年有望實現 200 億美元的主權 AI 收入。 英偉達認為，主權 AI 正在崛起，比如，歐盟計劃投資 200 億歐元，在法國、德國、意大利和西班牙建 立 20 個 AI 工廠，包括 5 個超級工廠，將 AI 計算基礎設施提升十倍。鴻海預計未來五年主權 AI 領域投 資有望超 1 萬億美元，主要包括美國的 Stargate（5000 億美元）、歐盟 InvestA（I2000 億歐元）以及 沙特 Humain AI（1000 億美元）。