Token工廠模式下，AI系統(tǒng)軟件棧如何提升資源轉(zhuǎn)化效率？

在Token工廠模式下，AI系統(tǒng)軟件棧是決定資源轉(zhuǎn)化效率的核心要素，其作用主要體現(xiàn)在調(diào)度層面優(yōu)化和芯模協(xié)同優(yōu)化兩個(gè)維度。 首先，在調(diào)度層面，AI云調(diào)度系統(tǒng)面臨GPU碎片化、KV Cache碎片化及Gang Scheduling等獨(dú)特挑戰(zhàn)，其重要性遠(yuǎn)超傳統(tǒng)云資源調(diào)度。國(guó)內(nèi)外核心玩家通過(guò)不同層級(jí)的技術(shù)探索來(lái)提升效率： 1. 資源觀測(cè)層：英偉達(dá)推出DCGM系統(tǒng)，通過(guò)實(shí)時(shí)采集GPU利用率、HBM顯存、NVLink帶寬等關(guān)鍵指標(biāo)，解決GPU集群“看不見(jiàn)”的問(wèn)題，為調(diào)度決策提供數(shù)據(jù)基礎(chǔ)。 2. 集群調(diào)度層：CoreWeave等廠商通過(guò)拓?fù)涓兄{(diào)度、自動(dòng)節(jié)點(diǎn)管理和深度可觀測(cè)性，減少通信與調(diào)度開(kāi)銷，顯著提升大規(guī)模訓(xùn)練任務(wù)的MFU（模型浮點(diǎn)運(yùn)算利用率）。 3. Token級(jí)調(diào)度：阿里巴巴提出Aegaeon系統(tǒng)，將調(diào)度粒度從GPU級(jí)別演進(jìn)至Token級(jí)別。通過(guò)Token級(jí)別的自動(dòng)擴(kuò)縮容技術(shù)，實(shí)現(xiàn)多模型間動(dòng)態(tài)共享GPU執(zhí)行，大幅減少模型間等待時(shí)間，提升有效吞吐量。 其次，在芯模協(xié)同層面，通過(guò)芯片架構(gòu)、編譯器、推理框架與模型結(jié)構(gòu)的聯(lián)合優(yōu)化，進(jìn)一步釋放硬件潛力。主要路徑包括： 1. 大廠自研路徑：如阿里云發(fā)布基于自研AI芯片的超節(jié)點(diǎn)服務(wù)器，并升級(jí)百煉推理平臺(tái)，實(shí)現(xiàn)“芯-云-模型-推理”全面升級(jí)，通過(guò)上下文緩存消除重復(fù)計(jì)算，利用吞吐彈性調(diào)度應(yīng)對(duì)負(fù)載波動(dòng)。 2. 生態(tài)綁定路徑：大模型廠商與芯片廠商深度適配，如DeepSeek與多家國(guó)產(chǎn)芯片廠商實(shí)現(xiàn)Day0同步適配，在算子、編譯器、推理框架和模型結(jié)構(gòu)等多層面共同優(yōu)化，提高單位算力的Token產(chǎn)出效率和單位功耗性能。 綜上，AI系統(tǒng)軟件棧通過(guò)精細(xì)化調(diào)度和全鏈路協(xié)同，實(shí)現(xiàn)了從“擁有多少GPU”到“如何讓GPU生產(chǎn)更多Token”的競(jìng)爭(zhēng)邏輯轉(zhuǎn)變。