Agentic AI時代CPU與GPU配比變化及架構演進趨勢

在AI產業演進過程中，CPU與GPU的資源配比發生了顯著變化，反映了系統瓶頸的轉移。在傳統的模型訓練階段，由于任務高度并行化，GPU承擔絕大部分計算工作，CPU僅負責數據搬運和簡單調度，行業普遍采用“4~8個GPU配1個CPU”的架構，CPU:GPU配比約為1:8。隨著AI應用從實驗室走向真實用戶，推理請求快速增長，CPU需要承擔請求接入、Token管理、緩存調度及多用戶并發處理等職責，CPU:GPU配比逐步提升至1:3~1:4。進入Agentic AI階段后，AI系統從“回答問題”轉向“完成任務”，Agent需要執行任務規劃、工具調用、工作流編排、環境感知及異常恢復等復雜邏輯，這些工作負載幾乎全部運行在CPU側。因此，CPU需求出現“質變”，CPU與GPU的配比甚至接近1:2，例如NVIDIA Vera Rubin NVL72系統即體現了這一趨勢。 為適應智能體AI的高并發、強調度及長上下文需求，CPU架構正從單點算力提升轉向系統級協同優化，具體升級方向包括： 1. 核心數量與緩存體系：CPU核心數量持續提升以滿足高并發智能體工作負載，同時大緩存容量的重要性顯著增強，以應對長上下文Memory、KV Cache管理及RAG檢索帶來的緩存訪問壓力。 2. 內存帶寬與互聯技術：更高帶寬的DDR5與LPDDR5內存體系被廣泛應用，以支持Token流調度及高吞吐場景。CXL（Compute Express Link）成為下一代AI基礎設施的重要標準，實現CPU、GPU與內存之間的統一共享與低延遲訪問，緩解內存瓶頸。 3. 新型架構設計：行業開始探索Context Memory Storage等新型內存體系，專門面向長上下文與Agent Memory設計。同時，CPU互聯架構如AMD Infinity Fabric、Intel UPI及ARM服務器互聯體系持續升級，以支持CPU與GPU、DPU/IPU及網絡的深度協同，構建異構系統解決方案。