視覺Transformer為何未像語言領域那樣徹底替換CNN？

視覺Transformer未像語言領域那樣徹底替換CNN，根本原因在于視覺數據與語言數據在本質屬性上的差異，以及由此導致的歸納偏置需求不同。

首先，數據形態與先驗需求的差異決定了架構選擇的復雜性。語言數據天然是離散的一維序列，與Transformer的輸入形式高度契合，因此Transformer可以較為徹底地替換RNN。相比之下，圖像數據是二維網格結構，具有強烈的空間局部性和平移等變性。CNN的局部連接、權重共享和平移等變三項視覺歸納偏置，正是針對這種數據結構設計的，使其在數據規模有限時具有極高的學習效率。而標準Transformer缺乏這些內置的空間先驗，直接應用于視覺任務時，往往需要依賴位置編碼、大規模數據預訓練或通過窗口注意力、層級結構等改造來補充空間結構先驗，這增加了計算成本和工程復雜度。

其次，計算效率與落地場景的限制阻礙了全面替換。全局自注意力的計算量隨token數量增加呈平方級增長，對于高分辨率圖像而言，直接使用全局注意力成本極高。雖然Swin Transformer等通過窗口注意力機制緩解了這一問題，但在實時性要求高、算力受限的邊緣端或移動端場景中，以YOLO系為代表的卷積檢測器依然是工程主力。此外，ConvNeXt的研究表明，純卷積網絡經過現代化訓練范式的優化，也能達到與視覺Transformer相當的性能水平，證明CNN并未失去競爭力。

最后，視覺任務的多樣性要求架構具備靈活性。視覺任務輸出形態多樣，包括類別、檢測框、分割掩碼等，通常需要在骨干之上疊加專門的任務頭。Transformer在視覺中更多扮演骨干網絡的角色，常與CNN混合使用，以兼顧全局建模能力和局部特征提取效率。這種“組件化”和“混合化”的趨勢，使得視覺架構演進表現為CNN與Transformer的雙向借鑒與融合，而非單一架構的壟斷。未來，隨著物理AI的發展，視覺模型將更注重與物理世界的交互閉環，架構選擇將更加務實，傾向于根據具體場景需求靈活組合不同架構的優勢。