智譜AutoGLM-Web插件能力測(cè)評(píng)分析

與用戶持續(xù)交互反饋，全自 動(dòng)上網(wǎng)新體驗(yàn)。

1.社交媒體類測(cè)評(píng)（知乎、微博、豆瓣、貼吧）

一、知乎

在知乎網(wǎng)站內(nèi)，我們進(jìn)行了多項(xiàng)測(cè)試，包括內(nèi)容篩選、熱榜總結(jié)、撰寫回復(fù)、個(gè) 人信息修改等。根據(jù)測(cè)試結(jié)果看，AutoGLM-Web 對(duì)于信息篩選，以及操作已經(jīng) 展示在頁面中的關(guān)鍵詞成功幾率更大，但與網(wǎng)站本身的適配工作還有待完善。 1. 內(nèi)容篩選（成功）：用戶發(fā)布任務(wù)“幫我檢索一下三個(gè)月內(nèi)發(fā)布的關(guān)于智譜的 贊最多的文章”。AutoGLM-Web 成功理解關(guān)鍵詞“智譜”、“文章”、“最多贊 同”、“三個(gè)月內(nèi)”并執(zhí)行。在找到相關(guān)文章后，為用戶進(jìn)行了內(nèi)容總結(jié)。

2. 熱榜總結(jié)（成功）：用戶發(fā)布任務(wù)“總結(jié)一下今日熱榜”。AutoGLM-Web 成功 根據(jù)關(guān)鍵詞“熱榜”找到知乎首頁熱榜，并為用戶進(jìn)行了內(nèi)容總結(jié)。

3. 撰寫回復(fù)（失?。河脩舭l(fā)布任務(wù)“為熱榜第一條撰寫回復(fù)”。AutoGLM-Web 在嘗試點(diǎn)擊熱榜第一條時(shí)，誤觸頁面上方的辟謠專區(qū)，從而頁面進(jìn)入辟謠專 區(qū)，導(dǎo)致后續(xù)一系列操作出現(xiàn)錯(cuò)誤，任務(wù)失敗。這一問題可能與知乎版面發(fā) 生變化有關(guān)，與開發(fā)插件時(shí)的適配頁面不一致。

4. 個(gè)人信息修改（失?。河脩舭l(fā)布任務(wù)“編輯個(gè)人資料，填寫個(gè)人簡(jiǎn)介”。在 實(shí)際操作中，盡管 AutoGLM-Web 顯示信息已更新成功，但未能進(jìn)入個(gè)人主 頁，也未能修改個(gè)人信息頁面。整個(gè)頁面實(shí)際沒有任何操作，任務(wù)失敗。根 據(jù)下圖右側(cè)的操作步驟，AutoGLM 試圖在界面中根據(jù)關(guān)鍵詞“個(gè)人信息”尋 找點(diǎn)擊入口，但未果，因此導(dǎo)致任務(wù)失敗。

二、微博

在微博網(wǎng)站內(nèi)，我們進(jìn)行了多項(xiàng)測(cè)試，包括發(fā)微博、點(diǎn)贊回復(fù)、超話發(fā)帖/簽到、 置頂微博等。根據(jù)測(cè)試結(jié)果看，AutoGLM-Web 在微博內(nèi)對(duì)任務(wù)關(guān)鍵詞理解較好， 但依舊有提升空間。

1. 發(fā)微博（成功）：用戶發(fā)布任務(wù)“發(fā)一條‘AutoGLM 真好用！’的微博”。 AutoGLM-Web 成功根據(jù)關(guān)鍵詞“發(fā)一條”發(fā)布微博，任務(wù)成功。

2. 點(diǎn)贊回復(fù)（成功）：用戶發(fā)布任務(wù)“給新浪熱點(diǎn)最新發(fā)布的微博點(diǎn)贊，并寫評(píng) 論”。AutoGLM-Web 成功根據(jù)關(guān)鍵詞“最新發(fā)布”和“寫評(píng)論”完成任務(wù)。 寫評(píng)論時(shí)，AutoGLM-Web 自動(dòng)生成符合最新發(fā)布微博內(nèi)容的評(píng)論。

3. 超話發(fā)帖（成功）/簽到（失敗）：用戶在超話界面分別發(fā)布任務(wù)“在浙江大 學(xué)超話簽到、并發(fā)布帖子 1/67656”和“在浙江大學(xué)超話簽到”。AutoGLMWeb 首先成功根據(jù)關(guān)鍵詞“超話”和“浙江大學(xué)”找到相關(guān)超話，并發(fā)布帖 子。然而，在簽到時(shí)，AutoGLM-Web 無法識(shí)別關(guān)鍵詞“浙江大學(xué)”，進(jìn)入了 錯(cuò)誤超話，任務(wù)失敗。

4. 置頂微博（成功）：用戶發(fā)布任務(wù)“置頂我最近發(fā)的一條微博”。AutoGLM-Web 成功根據(jù)關(guān)鍵詞“置頂”和“最近發(fā)的一條微博”完成任務(wù)。

三、豆瓣

在豆瓣網(wǎng)站內(nèi)，我們進(jìn)行了多項(xiàng)測(cè)試，包括撰寫評(píng)論、提取/總結(jié)信息、分享電影、 加入小組、創(chuàng)建豆列，收藏電影等。根據(jù)測(cè)試結(jié)果看，AutoGLM-Web 大部分情 況下可以理解任務(wù)關(guān)鍵詞并成功執(zhí)行任務(wù)，但涉及跳轉(zhuǎn)至其他網(wǎng)站執(zhí)行長(zhǎng)任務(wù)時(shí)， 成功率較低。

1. 撰寫評(píng)論（成功）：用戶發(fā)布任務(wù)“幫我去給神奇動(dòng)物鄧布利多之謎打一星再 寫個(gè)差評(píng)”。AutoGLM-Web 成功根據(jù)關(guān)鍵詞“神奇動(dòng)物鄧布利多之謎”、“打 一星”和“寫個(gè)差評(píng)”完成任務(wù)。值得注意的是，如果在要求 AutoGLM-Web 打差評(píng)時(shí)不注明差評(píng)的星數(shù)，AutoGLM-Web 則會(huì)默認(rèn)打五星好評(píng)，表明 AutoGLM-Web 對(duì)于差評(píng)和星數(shù)之間的關(guān)系缺乏理解。

2. 提取/總結(jié)信息（成功）：用戶發(fā)布任務(wù)“總結(jié)神奇動(dòng)物鄧布利多電影的相關(guān)信 息”。AutoGLM-Web 成功根據(jù)關(guān)鍵詞“總結(jié)”和“神奇動(dòng)物鄧布利多電影”在 相關(guān)電影下進(jìn)行總結(jié)。局限之處在于，AutoGLM-Web 不能對(duì)停留的特定頁面 做總結(jié)，所有操作都會(huì)回到網(wǎng)站首頁后進(jìn)行搜索操作后再進(jìn)行。

3. 分享電影（失?。河脩舭l(fā)布任務(wù)“分享電影哈利波特與魔法石到新浪微博”。 AutoGLM-Web 根據(jù)關(guān)鍵詞“分享到”執(zhí)行相關(guān)操作，但并未出現(xiàn)確認(rèn)分享網(wǎng) 站的彈窗，或表明 AutoGLM-Web 沒有進(jìn)行相關(guān)適配。

4. 加入小組（成功）：用戶發(fā)布任務(wù)“加入哈利波特小組”。AutoGLM-Web 成功 根據(jù)關(guān)鍵詞“哈利波特”和“小組”完成任務(wù)，代理用戶加入哈利波特迷小組。

5. 創(chuàng)建豆列，收藏電影（成功）：用戶發(fā)布任務(wù)“創(chuàng)建一個(gè)名為‘令人動(dòng)容的電 影’的豆列并將電影《千與千尋》加入其中”。AutoGLM-Web 成功根據(jù)關(guān)鍵詞 “創(chuàng)建豆列”、“令人動(dòng)容的”和“千與千尋”成功完成任務(wù)。

四、貼吧

在貼吧網(wǎng)站內(nèi)，我們進(jìn)行了多項(xiàng)測(cè)試，包括總結(jié)/提取、關(guān)注/簽到、撰寫回復(fù)等。 根據(jù)測(cè)試結(jié)果看，AutoGLM-Web 大部分情況下可以理解任務(wù)關(guān)鍵詞并成功執(zhí)行 任務(wù)，但在內(nèi)容生成上以及頁面操作時(shí)，成功率不高。

1. 總結(jié)/提?。ǔ晒Γ河脩舭l(fā)布任務(wù)“分析一下劍網(wǎng)三吧內(nèi)容”。AutoGLM-Web 成功根據(jù)關(guān)鍵詞“分析”和“劍網(wǎng)三吧”成功完成任務(wù)。

2. 關(guān)注（成功）/簽到（失?。河脩舭l(fā)布任務(wù)“關(guān)注劍網(wǎng)三吧并簽到”。AutoGLMWeb 成功根據(jù)關(guān)鍵詞“關(guān)注”和完成關(guān)注任務(wù)，但無法識(shí)別簽到按鈕，導(dǎo)致簽 到任務(wù)失敗。

3. 撰寫回復(fù)（可執(zhí)行但內(nèi)容不明）：用戶發(fā)布任務(wù)“在劍網(wǎng)三吧內(nèi)最新發(fā)布的帖 子下根據(jù)內(nèi)容回復(fù)”。AutoGLM-Web 成功根據(jù)任務(wù)所有關(guān)鍵詞并完成任務(wù)。 但發(fā)布內(nèi)容未經(jīng)用戶點(diǎn)擊確認(rèn)即發(fā)布，且生成內(nèi)容意義不明，從實(shí)操上看存 在較大問題。

2. 搜索引擎類測(cè)評(píng)（谷歌、百度、必應(yīng)）

我們對(duì) AutoGLM-Web 分別在谷歌、百度、必應(yīng)搜索引擎上進(jìn)行了測(cè)評(píng)，均順利 完成任務(wù)。在三個(gè)搜索引擎內(nèi)，用戶分別發(fā)布相同任務(wù)“查找 2023 年美國(guó)公開賽 網(wǎng)球冠軍得主”，AutoGLM-Web 均根據(jù)搜索結(jié)果總結(jié)答案，順利完成任務(wù)。

我們認(rèn)為，搜索引擎自身界面操作規(guī)范化，步驟較少，有利于 AutoGLM-Web 順 利執(zhí)行任務(wù)。三個(gè)搜索引擎流程執(zhí)行流程完全一致，AutoGLM-Web 可以精準(zhǔn)在 輸入框中搜索需要的信息，并選擇對(duì)應(yīng)結(jié)果和總結(jié)信息。

3. 學(xué)術(shù)類測(cè)評(píng)（Arxiv、谷歌學(xué)術(shù)、百度學(xué)術(shù)）

一、Arxiv

在谷歌學(xué)術(shù)網(wǎng)站內(nèi)，我們進(jìn)行了多項(xiàng)測(cè)試，包括檢索、查看文獻(xiàn) pdf、獲取論文引 用等。根據(jù)測(cè)試結(jié)果看，AutoGLM-Web 在 Arxiv 中任務(wù)均順利完成。 1. 檢索（成功）：用戶發(fā)布任務(wù)“獲取‘Understanding Open Source Contributor Profiles in Popular Machine Learning Libraries’論文的摘要”。AutoGLM-Web 成 功理解任務(wù)并順利執(zhí)行。

2. 查看文獻(xiàn) pdf（成功）：用戶發(fā)布任務(wù)查看取‘Understanding Open Source Contributor Profiles in Popular Machine Learning Libraries’論文的 pdf”。 AutoGLM-Web 成功理解任務(wù)并順利執(zhí)行。

3. 獲取論文引用（成功）：用戶發(fā)布任務(wù)“獲取‘LSEAttention is All You Need for Time Series Forecasting’論文的 BibTex 引用”。AutoGLM-Web 成功理解任務(wù) 并順利執(zhí)行。

二、谷歌學(xué)術(shù)

在谷歌學(xué)術(shù)網(wǎng)站內(nèi)，我們進(jìn)行了多項(xiàng)測(cè)試，包括搜索總結(jié)、按年份檢索文獻(xiàn)、獲 取引文格式等。根據(jù)測(cè)試結(jié)果看，AutoGLM-Web 對(duì)任務(wù)關(guān)鍵詞提取能力強(qiáng)，但 進(jìn)行條件篩選時(shí)，能力不足。 1. 搜索總結(jié)（成功）：用戶發(fā)布任務(wù)“瀏覽 Pierre Baldi 的學(xué)術(shù)主頁并提取他的 主要研究方向”。AutoGLM-Web 成功根據(jù)關(guān)鍵詞執(zhí)行并完成任務(wù)。

2. 按年份檢索文獻(xiàn)（失?。河脩舭l(fā)布任務(wù)“查看 2023 年‘chemical synthesis’ 相關(guān)的文獻(xiàn)”。AutoGLM-Web 在篩選條件時(shí)，沒有選擇年份，還是選擇了相 關(guān)性（sort by relevance），導(dǎo)致任務(wù)失敗。

3. 獲取引文格式（成功）：用戶發(fā)布任務(wù)“獲取論文‘The lottery ticket hypothesis: Finding sparse, trainable neural networks’的 APA 引文格式”。AutoGLM-Web 成功根據(jù)關(guān)鍵詞執(zhí)行并完成任務(wù)。

三、百度學(xué)術(shù)

在百度學(xué)術(shù)網(wǎng)站內(nèi)，我們進(jìn)行了多項(xiàng)測(cè)試，包括高級(jí)檢索功能、普通檢索、收藏 文獻(xiàn)、獲取引用等。根據(jù)測(cè)試結(jié)果看，AutoGLM-Web 對(duì)任務(wù)關(guān)鍵詞理解有待加 強(qiáng)。同時(shí) AutoGLM-Web 與網(wǎng)站的適配工作還不夠完善，導(dǎo)致執(zhí)行過程容易失誤。

1. 高級(jí)檢索功能（執(zhí)行失誤）：用戶發(fā)布任務(wù)“使用高級(jí)檢索查找 2014 年至 2018 年間發(fā)表于北大核心上的軍事法相關(guān)論文”。AutoGLM-Web 根據(jù)關(guān)鍵詞能夠 在準(zhǔn)確的位置輸入年份和選擇北大核心刊物，但是最后卻沒有停留在檢索結(jié) 果的頁面，而是點(diǎn)擊進(jìn)入了檢索結(jié)果下的第一篇論文，和指令要求產(chǎn)生了偏 差，執(zhí)行上失誤。

2. 普通檢索（成功但流程出現(xiàn)問題）：用戶發(fā)布任務(wù)“查找 2022 年有關(guān)全球氣 候變化的文獻(xiàn)，列出三篇論文題目”。AutoGLM-Web 在搜索框內(nèi)輸入“2022 年全球氣候變化文獻(xiàn)”，多出“文獻(xiàn)”2 字，表明 AutoGLM-Web 對(duì)指令理解 能力不夠。

3. 收藏文獻(xiàn)（成功）：用戶發(fā)布任務(wù)“收藏 2 篇 2022 年以來機(jī)器學(xué)習(xí)在金融風(fēng) 控中應(yīng)用的文獻(xiàn)”。AutoGLM-Web 成功提取關(guān)鍵詞并執(zhí)行任務(wù)。

4. 獲取引用（成功）：用戶發(fā)布任務(wù)“獲取論文‘數(shù)字員工的發(fā)展進(jìn)程及在商業(yè) 銀行的應(yīng)用研究’的 APA 引文格式”。AutoGLM-Web 成功提取關(guān)鍵詞并執(zhí)行 了任務(wù)。然而，值得注意的是，在此次操作中，AutoGLM-Web 并未像在谷歌 學(xué)術(shù)測(cè)評(píng)時(shí)那樣，在右側(cè)交互框中輸出 APA 格式的引用信息。這表明 AutoGLM 可能尚未適配百度學(xué)術(shù)中 APA 引用信息的位置。

4.代碼托管類測(cè)評(píng)（GitHub）

我們對(duì) AutoGLM-Web 在 GitHub 上的能力進(jìn)行了測(cè)評(píng)。根據(jù)測(cè)試結(jié)果看， AutoGLM-Web 可以做到創(chuàng)建倉庫的操作，但要求協(xié)作者和搜索下載環(huán)節(jié)均出現(xiàn) 了錯(cuò)誤。AutoGLM-Web 與 GitHub 的適配工作或還不夠完善。 1. 搜索并下載項(xiàng)目（失敗）：用戶發(fā)布任務(wù)“下載一下 GLM-4 倉庫”。AutoGLMWeb 沒有找到正確的項(xiàng)目，可能與 GitHub 頁面布局變化有關(guān)。

2. 簡(jiǎn)易文件管理（部分成功）：用戶發(fā)布任務(wù)“幫我創(chuàng)建名為‘Auto’的倉庫， 并且邀請(qǐng) AlbertEinstein-git 加入?yún)f(xié)作”。AutoGLM-Web 成功為用戶創(chuàng)建了名為 “Auto”的倉庫，且進(jìn)入了邀請(qǐng)協(xié)作者的界面，但并未成功邀請(qǐng)。