Transformer在生成式視覺中是如何逐步替代傳統架構的？

Transformer在生成式視覺領域的融入并非一蹴而就，而是經歷了由局部模塊引入到核心架構替換的漸進式演進，主要包含四個關鍵環節。

第一環節是作為自回歸序列生成器。在2021年左右，DALL·E1和VQGAN等模型嘗試將圖像離散化為token序列，利用Transformer進行統一建模。這一階段的核心貢獻在于證明了圖像可以被token化，并且視覺生成可以像語言模型一樣通過序列方式進行建模。此時，Transformer替代了傳統的卷積或循環式生成網絡，主要解決的是圖像序列化的建模問題。但由于自回歸生成存在順序依賴，導致推理效率較低且全局一致性難以保證，因此這一路徑并未成為文生圖的最終主流。

第二環節是作為文本條件編碼與注入機制。隨著CLIP等視覺語言模型的發展，Transformer開始承擔文本語義編碼的功能。在Imagen、Stable Diffusion等模型中，Transformer編碼器將文本轉換為語義向量，并通過交叉注意力機制注入到擴散去噪網絡中。這一環節替代了GAN時代較薄弱的類別標簽條件機制，解決了自然語言與視覺概念的對齊問題，使自然語言成為圖像生成的主要控制接口，直接推動了2022年文生圖應用的爆發。在此階段，擴散模型仍是生成主干，Transformer主要發揮語言理解和條件接入的作用。

第三環節是擴散骨干替換，以2023年提出的DiT模型為代表。DiT使用Transformer替代了傳統擴散模型中的U-Net骨干網絡，在潛空間的圖像塊（patch）上進行建模。這一改變替代了卷積式的去噪骨干，驗證了視覺生成同樣具備規模化擴展的潛力，將視覺生成接入了大語言模型時代的Scaling Law路線。需要注意的是，此時Transformer改變的是網絡的骨干實現，而非擴散去噪這一核心范式本身。

第四環節是多模態統一與時空擴展。在Sora、Veo等最新模型中，Transformer進一步成為視頻與多模態生成系統的統一建模框架。它處理連續時空數據，替代了單一的圖像生成網絡，解決了從單圖創作向視頻生成及多模態交互演進中的時空一致性問題，推動生成式視覺向“世界模擬器”方向發展。

綜上所述，在當前生成式視覺體系中，Diffusion模型憑借其穩定的去噪生成范式占據主角地位，而Transformer則作為工程化骨干升級與語言可控接口的關鍵組件，二者共同構成了當前AI視覺生成的技術底座。