“弈衡”多模態大模型評測體系白皮書（2024年）.pdf

“弈衡”多模態大模型評測體系白皮書（2024年）。隨著人工智能技術的迅猛發展，它已成為全球科技革命的核心驅動力。特別是2017年Transformer模型提出后，人工智能大模型以超凡的性能和無限的可能性，迅速成為科技界的焦點。2023 年初，GPT-4 [1]的問世更是在全球范圍內引起了巨大反響，標志著大模型技術首次進入公眾視野。 隨著大模型技術的不斷演進，其處理能力已從單一的文字信息擴展至圖像、語音等多模態數據，多模態大模型進入快速發展階段。它們不僅在日常生活中的輔助作畫、圖片解讀等場景中展現出應用潛力，更在視頻數據分析、多目標識別等生產領域發揮著重要作用。目前典型的多模態大模型有國外的GPT-4Vision、Gemini，國內的文心一言、訊飛星火、智譜清言等。這些大模型算法各異，在不同的任務場景下各有優劣，如何對這些多模態大模型開展客觀、科學的評測，評估特定任務場景下的最優選擇，對大模型的研發迭代以及應用落地都具有重要意義。

相比于語言類大模型，多模態大模型具備對文本、圖像、視頻和音頻等數據進行綜合處理的能力，在生產生活領域中具有廣泛的應用前景。同時，多模態大模型評測面臨評測數據更多樣、評測任務更豐富、評測方式更復雜、評測成本更昂貴等挑戰。如何應對上述挑戰，構建全面、客觀的多模態大模型評測體系，成為業界關注的熱點問題。目前，部分業界企業和研究機構，如微軟、谷歌、智源研究院、上海AI實驗室、騰訊優圖實驗室、廈門大學、南洋理工大學等，發布了相關論文、評測報告，從性能、參數量等維度對業界主流多模態大模型進行了評測，并基于評測結果形成了榜單，如MMbench、MME等。為提升多模態大模型的實際應用效果，推動大模型與生產生活的快速結合，有必要從用戶視角出發，構建一套客觀全面、公平公正的多模態大模型評測體系。