中小盤策略專題：Sora和世界模型殊途同歸，自動駕駛行業(yè)有望加速.pdf

中小盤策略專題：Sora和世界模型殊途同歸，自動駕駛行業(yè)有望加速。Sora 橫空出世，踐行規(guī)模法則疊加強大工程化能力構筑精品。 2024 年初，Sora 橫空出世，憑借驚艷的視頻生成效果和分鐘級的時長引領市場。 Sora 生成長達 60 秒的視頻，并且可以通過自然語言、視頻、圖片作為提示詞實 現(xiàn)視頻生成，相比此前的其他文生視頻工具性能優(yōu)勢顯著。此外 Sora 生成的視 頻還呈現(xiàn)出時間一致性、空間一致性和因果一致性，被 OpenAI 稱為世界模擬器。 Sora 在數(shù)據、算法、算力上均大膽創(chuàng)新，數(shù)據方面，采用了特殊的視頻編碼模式 將視頻模塊化和壓縮，構建適用于視頻生成模型的時空模塊，通過原本具備的大 語言模型能力構建高質量的視頻文本數(shù)據集合文本生成提示詞等。算法層面，引 入 DiT 算法增強可擴展性，同時加入某些自回歸任務加強模型的幀間信息處理 能力。最后 OpenAI 的強大算力也是 Sora 誕生的必要因素。

世界模型——自動駕駛的下一站 。世界模型是預測未來的夢境，將全面賦能自動駕駛。世界模型即通過對世界基礎 運行規(guī)律的理解來實現(xiàn)對未來的預測。在自動駕駛領域，預測未來可以被用于： 生成逼真、稀缺的駕駛場景助力模型的訓練以及仿真驗證，同時模型也可以直接 生成駕駛策略指導自動駕駛運行。而在端到端算法時代，產業(yè)對合成數(shù)據、閉環(huán) 驗證的需求進一步增強，世界模型的重要性凸顯。目前在自動駕駛領域，特斯拉 開發(fā)了 World Model、Wayve 開發(fā)了 GAIA-1、英偉達亦推出自身的基礎模型， 諸多玩家推出相應產品來實現(xiàn)駕駛場景的視頻生成等任務。而在學術界，多種世 界模型亦層出不窮，以 DriveDreamer 為例，模型不僅可以實現(xiàn)駕駛場景的生成， 更能生成駕駛場景下所應該實現(xiàn)的駕駛行為，為世界模型應用打開想象空間。

世界模型、視頻生成殊途同歸，自動駕駛有望迎加速。面向相似的目標，采用相近的方法，多種任務殊途同歸，自動駕駛未來已來。 視頻生成領域，Sora、Runway 等均表達了希望進軍世界模型的想法，而“預測 未來”對自動駕駛乃至具身智能都存在不可替代的意義，長時間、穩(wěn)定的對未來 的場景進行預測是諸多行業(yè)面臨的難點。而在算法架構方面，我們看到視頻生成 和自動駕駛的世界模型均有諸多相似之處，均將復雜外部世界獲取的數(shù)據進行編 碼和壓縮、抽象成為低維度的向量，并采用 Transformer 或者其他模型在時空維 度學習這些知識進而實現(xiàn)預測，再通過不同類型的解碼器將之前生成的潛在空間 的向量解碼成為我們所需要的信息形式，如視頻、點云、甚至執(zhí)行器的控制信息 等。而我們也看到在 Sora 的啟發(fā)下，OpenSora、Vidu 等視頻生成工具迭出，效 果不俗。大模型開發(fā)和自動駕駛匯集 AI 領域諸多優(yōu)秀人才和資源，相似的開發(fā) 方向有望讓產業(yè)互相借鑒，加速產業(yè)發(fā)展，推動自動駕駛加速實現(xiàn)。