如何看待智譜的Agent能力？

智譜的 Agent 能力主要來源于其底層大模型的訓練與迭代：

1.CogAgent：CogVLM 結合高分辨率交叉模塊，實現高效 GUI 推理

CogAgent 是 18B 參數的視覺語言模型（VLM），專門用于 GUI 理解和導航。2023 年 12 月，清華 KEG 實驗室與智譜 AI 聯合推出了 CogAgent，一個通用的視覺理 解大模型，具備視覺問答、視覺定位（Grounding）、GUI Agent 等多種能力，可接 受 1120×1120 的高分辨率圖像輸入，使其能夠識別微小的頁面元素和文本。 CogAgent 是基于預訓練的 VLM（CogVLM-17B，開源大型視覺語言模型），并添 加了一個交叉注意模塊（EVA2-CLIP-L，0.30B 參數的高分辨率圖像編碼器）來處 理高分辨率輸入。添加該模塊主要是因為高分辨率圖像會導致極大的計算時長和 內存開銷：視覺語言模型通常將文本和圖像特征序列連接起來作為輸入提供給解 碼器，因此自注意力模塊的計算成本與視覺補丁的數量成二次方。在低分辨率下， 圖像能夠有效地描繪大多數物體和布局，然而在清晰呈現文字方面有所不足；高 分辨率模塊強調與文本相關的特征，對于理解圖形用戶界面至關重要。因此，該 方法通過合理分配資源，使模型能理解高分辨率的 GUI 圖片，同時有效降低了顯 存與計算開銷。

預訓練數據集與訓練方法與一般多模態訓練有明顯不同：（1）文本識別：識別高 分辨率圖像中各種大小、方向和字體的文本能力，數據包括來自語言預訓練數據 集（8000 萬）的合成渲染圖像中的文本、自然圖像的光學字符識別（OCR）（1800 萬張）、學術文獻（9M）；（2）視覺定位：圖像中文本和對象的定位能力，使用從 LAION-115M 中采樣的包含 4000 萬張圖像及其圖像-標題對的構建的視覺定位數 據集，將標題中的實體與邊界框相關聯以指示它們的位置；（3）GUI 圖像分析： 對 GUI 圖像（如網頁）的專門理解能力，作者設計了兩個開創性的 GUI 定位任 務，一是 GUI 引用表達式生成（REG），即模型根據屏幕截圖中的指定區域為 DOM （文檔對象模型）元素生成 HTML 代碼，二是 GUI 引用表達式理解（REC），即 為給定的 DOM 元素創建邊界框。 為提升模型性能，并確保其在 GUI 環境中與人類指令保持一致，需要進行模型微 調與對齊。作者手動從手機和電腦收集了超過 2,000 張截圖，每張都由人類標注 員以問答的形式標注了屏幕元素、潛在任務和操作方法。同時還利用 Mind2Web 和 AITW 這兩個專注于網絡和安卓行為的數據集，并使用 GPT-4 將其轉換為自然語言的問答格式。此外，作者將多個公開可用的視覺問答（VQA）數據集納入對 齊數據集中，提升模型與人類行為的一致性。 CogAgent 作為一個通用的視覺語言模型，在眾多視覺問答基準測試中實現了最 先進的水平，包括 VQAv2、OK-VQA 等。測試發現，CogAgent 在一般視覺問答 與富含文本的視覺問答基準測試當中都表現優異，尤其相比通用模型有明顯得分 優勢，與微調專業模型相比也屬于領先梯隊。此外，CogAgent 在 PC 和 Android GUI 導航任務 Mind2Web 和 AITW 上也優于基于 LLM 的方法的模型，如 GPT-4、 LLaMA2 等。

2. AutoWebGLM：基于大語言模型的 Web 導航 Agent

通過簡化 HTML 增強網頁閱讀能力，添加人類與 AI 混合方法構建的網絡瀏覽數 據集進行微調，大幅提升大語言模型的 Agent 能力。2024 年 10 月，清華與智譜 團 隊 發 布 基 于 大 語 言 模 型 ChatGLM3-6B 微調的 用 于 網 頁 自 動 導 航 的 AutoWebGLM。該模型由兩個關鍵組件組成：LM 代理和交互框架。LM 代理從各 種來源獲取數據進行學習，利用強化學習和 RFT 來增強網頁瀏覽能力；交互框架 使用各種網頁處理模塊來組織簡潔的 HTML 和其他信息，供 LM 代理做出決策， 然后由自動化瀏覽程序執行這些決策。該模型有幾大創新點解決了傳統 LLM 的 痛點問題：

HTML 簡化算法降低了 HTML 文本數據的復雜性：作者通過 HTML 簡化和 OCR（光學字符識別）模塊處理信息，在獲取 HTML 和網頁截圖后生成簡化 的 HTML 表示形式，并為 Agent 交互標記了可操作元素。OCR 模塊用于在圖 像解析期間標注文本元素。

采用一種人類與 AI 混合的方法來構建網絡瀏覽數據進行課程訓練，實現網 頁上操作的通用性：鑒于人工成本高昂以及當前大模型在自動數據生成方面 的不足，作者在網頁識別、簡單任務操作、復雜任務操作構建方面都采用了 人機混合的方法，人工篩選網站并構建網頁操作類型分割，大模型輔助生成 任務和操作意圖。

通過強化學習和拒絕采樣微調（Rejection Sampling Fine-Tuning）來增強模 型，以進一步促進網頁理解、瀏覽器操作和高效的任務分解：將模型采樣的 輸出與正確答案相結合，構建具有正負對的對比數據，讓模型通過認識自己 的錯誤進行強化學習；拒絕采樣微調采用監督學習模型來生成推理路徑，獎 勵模型會收集準確并拒絕錯誤的路徑，隨后將其用作擴充的微調數據集。

為解決高質量、復雜的網頁瀏覽數據稀缺的問題，創建合適的訓練數據集非常關 鍵。數據集構建分為兩個主要階段，第一階段是網頁識別任務和簡單任務操作構 建，第二階段是復雜任務構建。

網絡識別的主要目標包括理解特定的 HTML 格式、識別不同類型的網絡元素 （如文本框、按鈕、圖像等），以及理解這些元素在用戶交互中的作用。簡單 任務操作數據集的主要目標是訓練模型執行單步網絡操作。這包括在網頁上 執行基本功能，如點擊鏈接、填寫表單或導航到特定部分。

通過復雜網絡任務開發數據集，使模型能夠在網絡瀏覽場景中進行規劃和推 理。數據集中的每個樣本都包含復雜網絡瀏覽任務、完成該任務的操作序列 以及每一步的意圖。通過瀏覽器插件，利用人工標注來捕獲網頁任務執行情 況，該插件記錄網站任務期間的操作。為實現高效鏈式思考推理，使用 GPT4 作為操作意圖的預測器。

AutoWebBench 在小參數規模下實現更高的網頁導航能力。作者建立了一個雙語 （中文-英文）基準 AutoWebBench，并評估了公開可用的代理的能力，還針對眾 多基準進行了大量實驗，以評估 AutoWebGLM 在涉及英語和中文網站導航的各種 任務中的性能，使用步驟成功率（SSR）作為評估指標。通過在 Mind2Web 上測 試，發現 AutoWebGLM 在跨任務、跨網站、跨域的表現均有明顯優勢，且其 6B 規模相比其他大多數模型參數量更小；在 MiniWoB++和 WebArena 上實現了效果 最優。

3.AutoGLM：圖形用戶界面的自主基礎 Agent，可用于網頁瀏覽與安 卓手機操作

GUI 場景下實現通用自主 Agent，加速 Agent 于終端落地。雖然基礎模型在獲取 人類知識方面表現出色，但在動態的現實世界環境中進行決策時往往會遇到困難， 這限制了它們在通用人工智能方面的進展。主要由于 GUI 基礎 Agent 的預訓練數 據集當中缺乏決策數據，互聯網包含大量的靜態人類知識，無法充分捕捉人類決 策和環境交互。構建有能力的 GUI 基礎代理需要為其注入動態知識，要么通過與 現實世界環境的直接交互，要么通過從合成軌跡中學習。 2024 年 10 月，清華與智譜團隊將網絡瀏覽器和手機作為具有代表性的 GUI 場 景，開發了 AutoGLM 作為適用于現實 GUI 交互的基礎 Agent 系統，實現適合用 戶交付的可部署的 Agent 系統。其中包括了兩個創新的設計： 設計一個適當的“中間界面”用于 GUI 控制至關重要，它能夠將規劃和定位 行為分離，這兩種行為分別需要針對靈活性和準確性進行不同的優化。 開發了一種新穎的漸進式訓練框架，使 AutoGLM 能夠進行自我演進的在線 課程強化學習。 用戶可通過語音或文字向 AutoGLM 命令，該模型即可在 App 端自主多步操作， 對于模糊命令，執行過程仍需用戶進行選擇，但整體大幅簡化了操作流程。在諸 如點餐、打車、查詢信息并發布等常見場景下取得較高成功率，加速 Agent 進入 端側應用。

AutoGLM 在基準測試中有顯著的進步，縮小了自主 Agent 和人類表現之間的差 距。評估表明，AutoGLM 在多個領域都有效：在網頁瀏覽方面，AutoGLM 在 VABWebArena-Lite 上實現了 55.2%的成功率（第二次嘗試提高到 59.1%），在 OpenTable 評估任務上實現了96.2%的成功率。在安卓設備控制方面，AutoGLM在AndroidLab （VAB-Mobile）上實現了 36.2%的成功率，在流行的中國應用程序中的常見任務 上實現了 89.7%的成功率。