OpenAI Sora亮點在哪？

Sora 文生視頻模型推出超預期，有效驅動 AI 應用發展。

從全球看，OpenAI 推出文生視頻模型 Sora，人工智能賦能短視頻領域。2024 年 2 月美國 OpenAI 繼 2022 年底 ChatGPT 發布后，推出全球首款文生視頻模型 Sora，該款模型可以通過輸入文字及提示詞 （最長 135 個）后，生成細節連貫的相關視頻。Sora 的發布，使得 ChatGPT 從文字、圖片層面正式向 成熟短視頻層面進行演進，可生成最長 60 秒的全動態視頻，通過深入理解物體在現實世界中的存在方 式，具備創建復雜場景和多人物角色的能力。

它能夠描繪道具、生成表現出豐富情感的角色，充分展 示了對物體存在的出色理解，確保了生成視頻過程中人物、環境等一致性，一經推出備受關注。 Sora 具備“世界模擬器”的潛力，視頻長度提升和效果超預期。Sora 發布前，友商 Pika、Runway 等生成模型大多處于生成 4 秒左右的“動圖”范疇，60 秒連貫視頻疊加 Sora 更強的語義理解能力、對 不同寬高比和分辨率的適應能力、優秀的視頻擴展能力等優勢，使得 Sora 發布后便同其它模型產生較 大代差，對 AI 制作視頻領域帶來新一輪突破。

算法原理方面，Sora 本質上基于“Transformer+Diffusion”。Sora 是一個在不同時長、分辨率和寬高 比的視頻及圖像上訓練而成的擴散模型，同時采用了 Transformer 架構，也就是一種“擴散型 Transformer”。 Sora 主要的算法基礎原理在于 Transformer+Diffusion，從文字生成視頻主要經過三步，分別為語義理解、 生成圖像以及圖像排序生成視頻，語義理解主要基于 ChatGPT，生成圖像基于 Diffusion，圖像排序生成 視頻則基于 Diffusion 及 Transformer。 首先，Sora 需要巨量數據進行學習分析。由于 Sora 屬于文生視頻模型，故而需要互聯網規模的海 量視頻數據庫進行分析學習，進而通過數據庫進行聯想，從而對輸入的語義有加深的了解；其次，通 過文字生成圖片。

在文字輸入后，Sora 會將文字先利用 ChatGPT 生成（Transform）圖片，即 Transformer， 給出的文字越多，生成的圖片細節愈發豐富；而 Diffusion 則會根據關鍵詞特征值對應的可能性概率， 在使用視頻庫中數據進行多次擬合后，將碎片化信息粘合進行完整的圖片輸出；生成圖片后，再多次 重復該過程，生成完整視頻。將完整的圖片進行時間序列排序，利用時空補片技術（Spacetime latent patches）生成具有語義代表性的視頻成品。給定一個壓縮的輸入視頻，模型會提取一系列時空補片， 充當 Transformer 的 token。正是這個基于補片的表示，讓 Sora 能夠對不同分辨率、持續時間和長寬比 的視頻和圖像進行訓練，在推理時，模型則通過在適當大小的網格中排列隨機初始化的補片來控制生 成視頻的大小。

Sora 是對已有信息的整合，未來發展仍可持續演進。根據 Sora 算法原理，我們可以發現其核心是 基于互聯網上已有的視頻信息，根據文字輸入要求進行碎片化拼接整理，從而具備基于現有數據庫的 基礎聯想能力，雖然 Sora 目前突破了文生視頻模型的時長限制及連貫性的問題，但尚未完全理解現實 世界中的物理法則和隨機應變，未來 AI 發展潛力仍有較大提升空間。 Sora 是 ChatGPT 的延伸，商用前景大有可為。

鑒于 Sora 的算法及底層核心邏輯機制，我們認為當 前 Sora 更多的意義在于將 AI 潛力具象化，當前處于該具象化進程早期階段，其本質仍然是以 ChatGPT 為底座的文生視頻模型，與其它文生視頻模型相比，擁有時長更久、長期一致性、多樣化視頻格式輸 出等特點，其內核仍以 ChatGPT 及自身視頻訓練量關聯度較大。我們認為 Sora 作為在 ChatGPT 上衍生 的文生視頻模型，未來主要發展方向也正如其所說，或將以“世界模擬器”為前景，逐步提升其創作 能力和推理能力。長期來看，Sora 將遠遠不只是內容生產工具，其構建的基于三維物理世界來創造數 字原生世界的強大引擎，將給一些產業從底層工具層面帶來變化，形成深遠影響。