汽車行業AI系列深度19期：多模態如何從模型拼接走向統一？.pdf

多模態智能的本質是將文本、圖像、音頻、視頻等映射進統一表示，并完成理解、推理與交互。本報告依據模態對齊發生的階段，將多模態大模型發展劃分為三個時期：2021—2023年的外掛式/組合式階段，通過視覺編碼器與連接模塊將圖像接入語言模型，雖工程高效但存在信息損耗；2023—2024年的原生多模態階段，以Gemini為代表，將對齊前移至預訓練階段，實現多模態聯合建模；2024年至今的全模態Omni階段，以GPT-4o為標志，實現文本、視覺、音頻的實時統一交互，顯著降低延遲并保留非文本信息。

報告指出，Omni階段后多模態發展面臨理解與生成表征沖突、離散與連續模態生成范式統一、推理過程多模態化不足等瓶頸。為解決理解與生成統一問題，業界探索了純自回歸、自回歸加擴散混合、解耦再統一三條技術路線。其中，解耦視覺編碼以共享語言骨干的路線在平衡理解與生成能力方面表現突出。

在多模態推理方面，當前仍以語言思維鏈為主，未來將向視覺工具增強、視覺—語言交錯推理、多模態潛空間推理及具身閉環推理演進。報告認為，數字AI底座模型發展路徑已清晰，但物理AI因能實現物理世界建模閉環，將成為增量更大的方向，智能駕駛作為最先跑通閉環的場景，值得重點關注。