OpenAI o1能給AI帶來什么？

OpenAI o1 的命名，從某種意義上擺脫了 GPT這一過去命名過分強調預訓練（Pre-trained）的意味，而是讓它更成為 一個更強調推理能力訓練的模型系列。

我認為，o1 至少為困于數據和基建無法快速提升預訓練規模的模型公司們提供 了一個新的角度，從推理側和強化學習的方法入手，加強模型的能力。從某種意義上， OpenAI o1 確實是第一個“推理模型”。 根據騰訊科技，月之暗面創始人楊植麟在一場分享中談到了他對 o1 的看法，他認 為，規模定律之后，大模型發展的下一個范式是強化學習，OpenAI o1 模型的發布，通 過強化學習嘗試突破數據墻，并看到計算更多向推理側增加的趨勢。

從應用的角度來看，o1 在很多領域的并不像現有的 GPT-4o 一樣突出，在某些自 然語言任務中，可能 o1 的表現仍不如 GPT-4o，OpenAI 對 o1-mini 的評價更是“缺乏 廣泛的世界知識”，此外 o1 也沒有瀏覽網頁或處理文件和圖像的能力。 但是，在推理密集型的任務類別中，如數據分析、編程和數學，o1 相較于 GPT-4o 有顯著優勢，例如基于 o1 針對編程能力優化的 o1-ioi 在放寬提交次數限制時，能夠在 2024 年國際信息學奧林匹克競賽得分達到 362.14 分，超過了金牌門檻，且不需要任何 測試時的選擇策略，在某種程度上，我們認為，可以說 o1 在部分細分領域已經接近了 當前人類的天花板，這就使得 o1 在部分細分的應用場景，已經接近“替代大部分人類” 這一目標。 根據 o1 現在的表現，我們認為，o1 處理復雜任務能力更加突出，它的先進推理能 力可以提升科學研究、數學計算和編程領域的效率，我們推測，這可能是因為這些領域 的任務通常具有明確的規則和目標，使得獎勵函數更容易設計和優化，PRM 運作效率更 高，但這也代表未來 o1 在 STEM 領域可能有更多的應用空間，還可能推動人工智能在 生物制藥、IC 制造等行業的創新應用，按照 o1 的發展思路，也許未來，人們能夠讓 AI 思考數小時、數天甚至數周，伴隨著更高的推理成本，人類也會離新的抗癌藥物、突破 性的電池甚至黎曼猜想的證明更近。 當然值得注意的是，o1 目前仍處于 AI 發展的初級階段。 根據深圳市人工智能產業協會官微，OpenAI 給 AI 劃分了五個發展階段。

第一級，「ChatBots」聊天機器人，比如 ChatGPT。 第二級，「Reasoners」推理者，解決博士水平基礎問題的系統。 第三級，「Agents」智能體，代表用戶采取行動的 AI 代理。 第四級，「Innovators」創新者，幫助發明的 AI。 第五級，「Organizations」組織，AI 可以執行整個人類組織的工作，這是實現 AGI 的最后一步。 我們認為，按照這個標準，o1 目前在第二級，人類距離 AGI 的道路仍然道阻且長。 不過，根據 Tracking AI，o1 在最新門薩智商測試中，IQ 水平超過了 120 分，遠超 目前業界其他大模型的水平，而且值得注意的是，這僅僅是 o1-preview 的水平，這也 代表著 o1 這類大模型所蘊含的巨大潛能。

正如我們在上一章節所討論的內容，我們認為，OpenAI o1 并非是顛覆式的技術革 命，但是其帶動了前沿技術的工程化應用。值得關注的是，o1 所采用的自我對弈強化 學習和思維鏈等業界前沿技術，我國大模型科研和產業界也在同步研究和實踐應用中。 根據阿里研究院官微，阿里巴巴通義千問大模型也已經實際采用自我對弈強化學習 和思維鏈技術，在深度思考和復雜推理能力上代表中國大模型最高水平，與國際領先水 平保持同步。并已于 7 月 18 日發布此領域的研究論文。 此外，來自于清華大學、北京大學、騰訊、第四范式等機構的研究人員在 2024 年 8 月剛剛發布了自我對弈強化學習方法的綜述：《A Survey on Self-play Methods in Reinforcement Learning》，論文提供了一個統一的框架，并在該框架下對現有的自博弈 算法進行了分類，論文自述為“理解強化學習中多層次自博弈領域的關鍵指南”。 我們認為，中國的大型模型產業正從單純的產品創新走向應用深化的新階段，伴隨 AI 技術的持續深化，大模型的實用性正在逐漸接近大規模商業化運用的“轉折點”，從 而釋放出眾多新的應用場景，這些進展也促使大型模型的使用頻率迅速增長。

每一次大模型在性能上的進步，都可能將應用的邊界推向更廣闊的領域，o1 應用的技術我國的 AI 業界也早有關注，o1 系列模型的發展也為我國大模型的發展指出了一條新路，有望 助推相關技術在我國 AI 業界更快實踐發展，從而助力我國 AI 行業整體的進步。 Gordon Moore（摩爾定律發明人）在 2005 年接受采訪時，曾說過這樣一段話：“It sure is nice to be at the right place at the right time, I was very fortunate to get into the semiconductor industry in its infancy. And I had an opportunity to grow from the time where we couldn’t make a single silicon transistor to the time where we put 1.7 billion of them on one chip! It’s been a phenomenal ride.” 我們相信，o1 代表的是全新的大模型推理范式，這一范式也許能夠改變人們對于“智 能”這一概念的理解，當然，正如 Ilya 的論文標題所寫，這仍需要“一步步驗證（Let's Verify Step by Step）”，但是也許數十年后，回望如今，我們也能說出，我們很幸運能夠 “at the right place at the right time”，這是屬于 AI 的“Phenomenal Ride”。