智算中心內部網絡互聯協議介紹

節點內外多種互聯協議并存。

智算中心內部網絡互聯可以分為節點內互聯和節點外互聯（此處以服務器為節點），節點內互聯包括處理器之間、處理器與外設及存儲之間互聯，節點外互聯主要指服務器之間互聯。 計算體系多種互聯協議：自1978年intel開創x86體系以來，逐步衍生出各種物理特性、傳輸特性和功能特性不同的互聯協議。 處理器之間：UPI、CXL、PCIe、NVLink等； 處理器與外設及存儲之間：Pcie、CXL、NVLink、SATA、SAS、NVMe等；  節點之間：Ethernet、IB等。

節點內：私有方案以英偉達NVLink為代表。大模型場景，私有和開放技術方案并存。針對傳統傳統的中小模型，PCIe技術方案已經非常成熟；面向大模型場景，基于扣卡模組的卡間高速互聯方案主要分為私有和開放技術兩大類，私有方案以英偉達NVLink為代表，開放技術方案以OAM和UBB為主。 私有方案以英偉達NVLink為代表。2014年英偉達發布第一代NVLink，旨在實現GPU芯片間低延遲、高帶寬的數據互聯，相較于傳統PCIe方案，CPU和GPU之間共享數據的速度大幅提升。

傳統PCIe方案：PCIe由Intel 2001年推出，主要用于連接CPU和各類高速外圍設備，采用點對點的連接方式，平均3年迭代一次；在傳統PCIe方案中，GPU發出的信號要先傳遞到PCIe Switch，PCIe Switch中涉及到數據的處理，CPU會對數據進行分發調度，會引入額外的網絡延遲，限制了系統性能。NVLink方案：以P100方案為例，擁有4條NVLink，單條NVLink是一個雙向接口，包括32個鏈路，每個方向形成8個差分（采用基于差分信號線的高速串行通信技術），單條NVLink提供40GB/s帶寬（通過將多個Sub-Link組成Port，實現GPU之間的快速數據傳輸），合計提供160GB/s帶寬。

NVLink已經發展至第五代產品。NVLink已經發展至第五代：第一代到第二代的演進主要是互 聯拓撲的改變，從cube直連變為Switch交換拓撲；第三代在 通過增加單卡的NVLink通道數提升點到點（P2P）帶寬，第 四代通過完善多種協議內容，進一步實現C2C（Chip to Chip）、AI卡間以及服務器節點的統一連接；第五代帶寬大 幅提升，同時支持576個GPU之間的無縫高速通信。 NVSwitch：節點交換架構。NVSwitch是一種類似交換機的物 理芯片（Asic），通過其接口可以將多個GPU高速互聯在一 起，實現所有GPU在一個具有全帶寬連接集群中協同工作。

開放技術方案以OAM和UBB為主。開放技術方案：2019年OCP組織為降低整機廠家集成多家AI芯片的適配難度，發起開放加速器基礎設施項目（OAI），定義了業內通用的AI扣卡模組形態（OAM）-基板拓撲結構（UBB）設計規范，以8張OAM為一個整體，進一步定義了8*OAM的Baseboard的主機接口、供電方式、散熱方式、管理接口、卡間互聯拓撲、Scale Out方式。

系統架構：OAM模塊承擔起單個GPU節點的AI加速計算能力，通過符合UBB v1.5base規范的基板完成OAM間的7P*8FC（全互聯）、6P*8HCM（混合立方互聯）等高速互聯拓撲實現多OAM數據低延時共享，利用RDMA網絡部署實現對外拓展完成集群互聯，最大程度上發布OAM計算性能并降低通信帶寬限制。 AI扣卡模組形態（OCP Accelerator Module，OAM）：OCP-OAI定義了OAM的結構形態及互聯接口，以此促進跨加速器通信的可拓展性。 基板拓撲結構（Universal Baseboard，UBB）：UBB基板可以承載8個OAM模塊，形成一個AI加速計算子系統，尺寸為16.7*21英寸，可以放在19寸、21寸機柜中。

節點間：主要方案為Infiniband和RoCEv2。RDMA技術是降低卡間通信時間的關鍵技術。在分布式場景中，整體算力并不是隨著智算節點的增長而線性增長，而是存在加速比（通常小于1，由于存在卡間通信時間），RDMA技術可以繞過操作系統內核，直接訪問另一臺主機內存，從而大幅降低卡間通信時間。主要方案為Infiniband和RoCEv2。實現RDMA的方式有Infiniband、RoCEv1、RoCEv2、iWARP，其中RoCEv1已經被v2替代，iWARP使用較少，目前主要方案為Infiniband和RoCEv2。

InfiniBand網絡核心組成。Infiniband網絡主要包括InfiniBand網卡、InfiniBand交換機、Subnet Management（SM）、連接件組成。目前，英偉達是InfiniBand網絡方案和設備最主要供應商，其他供應商還包括intel、Cisco、HPE等。  英偉達：InfiniBand技術的主要供應商，提供各種InfiniBand適配器、交換機和其他相關產品；  Intel：InfiniBand另一重要供應商，提供各種InfiniBand網絡產品和方案；  Cisco：知名網絡設備制造商，也提供InfiniBand交換機和其他相關產品； HPE：大型IT公司，提供各種InfiniBand網絡解決方案和產品，包括適配器、交換機和服務器等。

節點間:InfiniBand網絡特點-無損&萬卡拓展能力。原生無損網絡：InfiniBand網絡采用基于Credit信令機制，從根本上避免緩沖區溢出丟包。 發送端只有在確定接收端有額度能接受對應數量的報文后，才會啟動報文發送； 每一條鏈路都有預置緩沖區，發送端一次發送的數據不會超過接收端可用預置緩沖區的大小；接收端完成轉發后會騰空緩沖區，并持續向發送端返回當前可用的預置緩沖區大小；通過該流控機制，可以確保發送端絕不會發送過量，網絡中不會產生緩沖區溢出丟包。 萬卡拓展能力：InfiniBand的Adaptive Routing基于逐包的動態路由，在超大規模組網的情況下保證網絡最優利用。

節點間:RoCEv2網絡核心組成。RoCEv2網絡是一個純分布式的網絡，由支持RoCEv2的網卡和交換機、連接件、流控機制組成，一般情況下是兩層架構。連接件使用傳統光纖和光模塊即可，流控機制通常使用PFC、ECN和DCQCN。 設備供應商：1）交換機：支持RoCE交換機供應商較多，新華三、華為等占據主要市場份額。2）網卡：目前英偉達ConnextX系列網卡占據主要市場份額。