超節(jié)點架構(gòu)如何通過系統(tǒng)級設(shè)計彌補(bǔ)國產(chǎn)AI芯片的單芯片性能差距？

超節(jié)點架構(gòu)通過三個層面的系統(tǒng)級設(shè)計彌補(bǔ)國產(chǎn)AI芯片單芯片性能差距。

第一，協(xié)議統(tǒng)一消除跨邊界開銷。傳統(tǒng)GPU訓(xùn)練系統(tǒng)采用混合互聯(lián)架構(gòu)：CPU與GPU之間通過PCIe互聯(lián)，服務(wù)器內(nèi)部GPU之間通過NVLink互聯(lián)，服務(wù)器之間則通過InfiniBand/RoCE互聯(lián)，資源跨邊界必須不斷轉(zhuǎn)換協(xié)議。靈衢UB 2.0提供統(tǒng)一互聯(lián)語義，同步支持加載、存儲、原子操作等同步操作，以及讀取、寫入、消息傳遞等異步操作，使CPU、NPU、內(nèi)存、DPU及交換設(shè)備只需設(shè)計并實現(xiàn)一套統(tǒng)一的UB I/O控制器即可全量平等協(xié)同，消除協(xié)議轉(zhuǎn)換開銷。

第二，拓?fù)鋭?chuàng)新匹配流量局部性。基于華為內(nèi)部MoE-2T模型的流量拆解，TP與SP通信合計約占總通信流量的97%，具有強(qiáng)近距離局部性。UB-Mesh采用nD-FullMesh分層拓?fù)洌簷C(jī)架內(nèi)2D-FullMesh實現(xiàn)64 NPU直連，Pod內(nèi)4D-FullMesh覆蓋1024 NPU，SuperPod通過Clos擴(kuò)展至8192 NPU。帶寬分配不再全網(wǎng)對稱，而是隨流量局部性分層遞減——86.7%鏈路為短距無源電纜，7.2%為有源電纜，僅6%為光纜。這種設(shè)計讓高頻TP/SP通信優(yōu)先留在0-2跳的局部高帶寬域完成，大幅降低數(shù)據(jù)移動距離。

第三，路由策略與集合通信優(yōu)化提升有效吞吐。APR多路徑路由不只走最短路徑，將閑置與繞行路徑納入轉(zhuǎn)發(fā)，通過源路由、結(jié)構(gòu)化尋址與拓?fù)涓兄獰o死鎖流控，在擁塞或故障時動態(tài)切換路徑。集合通信層面，AllReduce借用閑置鏈路形成多Ring，All-to-All同時沿多個維度發(fā)送并拆分為分層廣播與歸約，將網(wǎng)絡(luò)多路徑能力轉(zhuǎn)化為訓(xùn)練吞吐。調(diào)度系統(tǒng)同步優(yōu)化，將TP/SP放置于近端高帶寬域，PP/DP放置于遠(yuǎn)端，通過三步搜索生成通信成本最低的并行配置。

三者協(xié)同使UB-Mesh在多個LLM訓(xùn)練任務(wù)中實現(xiàn)95%以上的線性度，成本效益達(dá)到傳統(tǒng)Clos的約2.04倍，可用性提高7.2個百分點，從而將8192顆NPU組織成一臺邏輯計算機(jī)，系統(tǒng)總算力達(dá)到8EFLOPS，推理吞吐達(dá)19.6mn TPS。