汽車行業深度報告：AI系列深度17期，視覺智能為何引入Transformer？.pdf

隨著AI大模型技術的深入發展，視覺智能作為感知物理世界的核心環節，其底層架構正經歷從卷積神經網絡（CNN）向Transformer的深刻變革。本報告旨在厘清視覺Transformer化的本質、演進路徑及其與語言智能發展的差異，為理解未來物理AI的發展趨勢提供理論支撐。

架構演進的內在邏輯

報告指出，CNN之所以在AI 1.0時代占據主導，源于其局部連接、權重共享和平移等變三項視覺歸納偏置與圖像數據的高度契合。然而，這種強先驗也導致了局部感受野受限、任務專用性強及全局建模不足等結構性局限。Transformer通過確立“圖像patch即token”范式，實現了全局建模與長距離依賴的高效處理，并憑借弱歸納偏置在大規模預訓練下釋放數據價值。但視覺數據并非天然離散序列，且對空間先驗需求強烈，因此視覺演化路徑表現為融合與再平衡，而非徹底替換。

三大演進階段與基礎模型化

視覺Transformer的演進可分為圖像token化、可擴展通用骨干形成、視覺基礎模型興起三大階段。在這一過程中，Swin、PVT等模型重新吸收了CNN的局部性與多尺度先驗，ConvNeXt則證明了ViT經驗可反哺CNN。隨著DINOv2、CLIP、SAM等基礎模型的出現，視覺智能正從封閉感知走向開放、可提示、可遷移的基礎模型階段，實現了自監督預訓練、圖文對齊和可提示分割的技術突破。

物理AI與智能駕駛的前景

對比語言智能，視覺智能已完成架構與規模躍遷，但在推理能力上仍滯后。報告認為，數字AI難以獨立完成物理世界建模閉環，物理AI將成為未來增量更大的方向。智能駕駛作為最先跑通閉環的代表場景，其商業化落地與技術迭代值得重點關注。同時，報告提示了技術迭代不及預期、大模型廠商增速放緩及云服務商資本開支調整等潛在風險。