CXL內存擴展技術如何解決AI推理中的KV Cache瓶頸？

CXL內存擴展通過PCIe/CXL鏈路為CPU系統額外增加可訪問的內存帶寬和容量，在內存帶寬受限的HPC/AI負載中提升整體性能。據相關研究，利用八個CXL E3.S設備在Intel Xeon 6處理器上進行實驗，通過軟件頁面級交錯機制使DDR5與CXL內存節點協同工作，實驗結果顯示只讀帶寬提高24%，混合讀/寫帶寬提高39%，HPC和AI工作負載性能加速的幾何平均值為24%。

在AI推理KV Cache場景中，CXL技術具備多項突破性優勢。Astera Labs提出的Leo CXL內存方案可實現高效的GPU卸載，CXL-CPU互連在數據傳輸方面表現與CPU-GPU相當，KV緩存可以高效地從GPU內存中卸載至CXL內存；同時實現吞吐量提升與穩定性能，顯著降低基礎設施成本，并使系統能夠支持每臺服務器多2倍并發LLM實例。

相較基于RDMA的分散內存池方案，CXL架構展現出明顯優勢。學術研究顯示，當前系統采用RDMA方案面臨高訪問延遲、復雜通信協議和同步開銷等挑戰。Beluga內存架構使GPU和CPU能夠通過CXL交換機訪問共享的大規模內存池，通過支持CXL結構上的原生加載/存儲訪問語義，提供近乎本地的內存延遲，同時降低編程復雜度并最大限度減少同步開銷。與基于RDMA的解決方案相比，該方案在vLLM中實現了首次令牌時間大幅減少，吞吐量提高超過7倍。

CXL 3.0進一步引入內存共享概念，使用硬件一致性使連接CXL的內存能夠在主機之間實現一致共享，允許多個主機同時訪問給定內存區域并確保每個主機看到最新數據，無需軟件管理的協調，為構建通過共享內存結構解決大型問題的機器集群奠定基礎。