AI產(chǎn)業(yè)深度報告：華為盤古大模型與昇騰AI計算平臺，共同構(gòu)建軟硬一體的AI技術(shù)體系.pdf

AI產(chǎn)業(yè)深度報告：華為盤古大模型與昇騰AI計算平臺，共同構(gòu)建軟硬一體的AI技術(shù)體系。華為正通過從大模型設(shè)計到基礎(chǔ)設(shè)施的軟硬協(xié)同，探索構(gòu)建其全棧 AI 競 爭力的路徑。華為 AI 發(fā)展策略已逐漸從追趕并對標業(yè)界 SOTA 模型，轉(zhuǎn) 向為更好地發(fā)揮自研昇騰硬件潛力而量身定做模型架構(gòu)。這一雙向協(xié)同進 化路徑，旨在解決 AI 模型規(guī)模化應用中的系統(tǒng)性問題，并構(gòu)建一個由軟 硬件協(xié)同架構(gòu)、算子與軟件棧構(gòu)成的全棧技術(shù)體系。

盤古大模型的演進，其核心是為解決大規(guī)模分布式系統(tǒng)中的效率難題。隨 著大語言模型從稠密架構(gòu)全面轉(zhuǎn)向混合專家（MoE）稀疏架構(gòu)，業(yè)界普遍 面臨專家負載不均衡這一系統(tǒng)性瓶頸，它制約了 MoE 模型在訓練和推理 中的實際性能。華為將此系統(tǒng)性問題作為其軟硬架構(gòu)創(chuàng)新的核心方向，標 志著其關(guān)注點已從單純硬件或單純 AI 算法問題，拓展至在自研硬件上更 高效解決 AI 系統(tǒng)工程問題。

華為在大模型層面并行推出了兩種創(chuàng)新路徑。一方面，Pangu Pro MoE 通 過架構(gòu)破局，提出分組專家混合（MoGE）架構(gòu)，旨在通過結(jié)構(gòu)性設(shè)計解 決負載不均衡問題。另一方面，Pangu Ultra MoE 則通過系統(tǒng)級優(yōu)化，以 仿真先行的設(shè)計方法來優(yōu)化模型架構(gòu)從而更好的適配昇騰硬件，并通過貫 穿訓練和推理的協(xié)同優(yōu)化，以充分發(fā)揮硬件潛力。

這一軟件、硬件協(xié)同創(chuàng)新的物理基礎(chǔ)，是新一代AI基礎(chǔ)設(shè)施CloudMatrix。 其核心技術(shù)之一是統(tǒng)一總線（UB）網(wǎng)絡(luò)，通過構(gòu)建統(tǒng)一尋址的分布式高速 內(nèi)存池，在工程上降低了跨節(jié)點通信的性能差異。這一硬件層面的發(fā)展， 不僅為上層 PDC（Prefill-Decode-Caching）分離架構(gòu)等軟件創(chuàng)新提供了物 理前提，也使其能通過大規(guī)模專家并行（LEP）和 AIV-Direct 等算子級優(yōu) 化，利用硬件有效承載通信開銷，換取軟件層面的高并行與低延遲。