多模態(tài)大模型發(fā)展現(xiàn)狀、評(píng)測(cè)需求、問題與挑戰(zhàn)分析

圖文大模型相較于傳統(tǒng)視覺模型和大語(yǔ)言模型，在圖像識(shí)別、圖文深度理解與推理以及圖片創(chuàng)作等復(fù)雜圖文交互任務(wù)中展現(xiàn)出了顯著的優(yōu)勢(shì)。

1.多模態(tài)大模型發(fā)展現(xiàn)狀

隨著人工智能技術(shù)的快速發(fā)展，多模態(tài)大模型對(duì)圖像、文本、視頻和音頻等信息的綜合處理能力不斷增強(qiáng)，其跨模態(tài)理解能力、高精度識(shí)別與理解能力、強(qiáng)大的泛化能力、豐富的表達(dá)能力、增強(qiáng)的交互體驗(yàn)，進(jìn)一步推動(dòng)了人工智能技術(shù)在各行業(yè)的廣泛應(yīng)用[4]，成為推動(dòng)產(chǎn)業(yè)升級(jí)與生產(chǎn)力變革的強(qiáng)大引擎。目前，多模態(tài)大模型正在迅速融入到各行業(yè)的應(yīng)用場(chǎng)景中，服務(wù)于生產(chǎn)生活的各方面。

多模態(tài)大模型中，圖文雙模態(tài)大模型發(fā)展尤為迅速，它在處理圖像與文本及其復(fù)雜交互關(guān)系上取得了顯著成果，為內(nèi)容創(chuàng)作、信息檢索、智能決策等多個(gè)應(yīng)用場(chǎng)景帶來(lái)了革命性的變化，應(yīng)用范圍不斷拓寬，影響力日益增強(qiáng)。鑒于圖文雙模態(tài)大模型的重要性和廣泛應(yīng)用前景，本白皮書主要聚焦圖文大模型評(píng)測(cè)，深入分析評(píng)測(cè)需求以及面臨的問題和挑戰(zhàn)，系統(tǒng)討論關(guān)鍵評(píng)測(cè)技術(shù)，旨在為業(yè)界提供一套科學(xué)、系統(tǒng)、可操作的圖文雙模態(tài)大模型評(píng)測(cè)框架，促進(jìn)技術(shù)的健康發(fā)展與廣泛應(yīng)用，進(jìn)一步加速人工智能技術(shù)在各行各業(yè)的深度融合與創(chuàng)新實(shí)踐。

2.評(píng)測(cè)需求

圖文大模型相較于傳統(tǒng)視覺模型和大語(yǔ)言模型，在圖像識(shí)別、圖文深度理解與推理以及圖片創(chuàng)作等復(fù)雜圖文交互任務(wù)中展現(xiàn)出了顯著的優(yōu)勢(shì)。由于不同圖文大模型在處理應(yīng)用場(chǎng)景時(shí)各有專長(zhǎng)，因此選擇適合各行業(yè)特定應(yīng)用需求的模型變得尤為重要。在對(duì)圖文大模型進(jìn)行評(píng)測(cè)時(shí)，需面向不同任務(wù)類型，從各個(gè)維度進(jìn)行綜合全面的評(píng)測(cè)，以評(píng)估圖文大模型的真實(shí)性能和用戶體驗(yàn)。目前，對(duì)圖文大模型的評(píng)測(cè)需求包括但不限于以下幾類任務(wù)：識(shí)別類任務(wù)：識(shí)別類任務(wù)主要是指對(duì)圖片中的特定事物進(jìn)行識(shí)別、計(jì)數(shù)等工作。識(shí)別類任務(wù)主要可分為基礎(chǔ)任務(wù)和應(yīng)用任務(wù)兩類。其中基礎(chǔ)任務(wù)包含實(shí)例識(shí)別、顏色識(shí)別、手勢(shì)識(shí)別、目標(biāo)檢測(cè)等基礎(chǔ)場(chǎng)景；應(yīng)用任務(wù)則包含商品識(shí)別、垃圾滿溢識(shí)別、道路安全識(shí)別、智慧養(yǎng)殖等更加復(fù)雜的端到端場(chǎng)景。識(shí)別類任務(wù)作為目前最廣泛應(yīng)用的任務(wù)之一，是衡量圖文大模型性能的重要場(chǎng)景，具有極高的評(píng)測(cè)價(jià)值。在評(píng)測(cè)識(shí)別類任務(wù)時(shí)，需著重關(guān)注模型的準(zhǔn)確性、魯棒性、實(shí)時(shí)性和泛化能力等指標(biāo)。

理解類任務(wù)：理解類任務(wù)主要是指針對(duì)輸入圖片進(jìn)行內(nèi)容理解，并回答對(duì)應(yīng)問題。理解類任務(wù)也可分為基礎(chǔ)類及應(yīng)用類兩種。基礎(chǔ)類理解任務(wù)側(cè)重于考察圖文大模型的通用能力，而不過分強(qiáng)調(diào)某一特定應(yīng)用場(chǎng)景中的實(shí)際能力。常見的基礎(chǔ)類任務(wù)包含場(chǎng)景理解、實(shí)例屬性、空間關(guān)系、字幕匹配、圖像質(zhì)量分析等底層核心場(chǎng)景；而應(yīng)用類任務(wù)則著重考察圖文大模型在專一領(lǐng)域的實(shí)際能力，與目前具有智能化需求的場(chǎng)景結(jié)合更加緊密，如活體檢測(cè)、人像屬性、人臉屬性、口罩檢測(cè)、舞蹈藝考評(píng)分等。理解類任務(wù)相較識(shí)別類任務(wù)，不僅僅考察模型對(duì)某一特定事物的特征識(shí)別能力，更要求圖文大模型對(duì)圖像整體場(chǎng)景及各事物之間關(guān)系進(jìn)行精準(zhǔn)把控，并依據(jù)提問內(nèi)容進(jìn)行匹配跟蹤，相較識(shí)別任務(wù)難度更大。在評(píng)測(cè)理解類任務(wù)時(shí)，需著重關(guān)注模型的準(zhǔn)確性、上下文感知、通用性與專一性以及語(yǔ)義一致性等指標(biāo)。

創(chuàng)作類任務(wù)：創(chuàng)作類任務(wù)主要是指通過給定的文字或圖像提示信息進(jìn)行圖片創(chuàng)作或圖像修改。常見的創(chuàng)作類任務(wù)包含圖像生成、圖像風(fēng)格轉(zhuǎn)換、圖像合成等，圖文大模型根據(jù)要求生成相應(yīng)圖片，圖片需要在美觀上符合人類需求，在邏輯上符合基本的事物原理，在匹配度上完全實(shí)現(xiàn)提示詞或提示圖片中的內(nèi)容要求。創(chuàng)作類任務(wù)綜合考察了圖文大模型的文字圖像理解和圖像創(chuàng)作能力，是目前應(yīng)用最為廣泛關(guān)注度最高的任務(wù)之一。在評(píng)估創(chuàng)作類任務(wù)時(shí)，需著重關(guān)注模型的生成質(zhì)量、內(nèi)容匹配度、多樣性和創(chuàng)新性等各項(xiàng)指標(biāo)。推理類任務(wù)：推理類任務(wù)主要是指結(jié)合輸入的圖像和文本信息，進(jìn)行邏輯推理、歸納推理或演繹推理等。推理類任務(wù)著重考察圖文大模型對(duì)圖片內(nèi)容中涉及的各類邏輯知識(shí)進(jìn)行理解、推理和解答的能力，是對(duì)圖文大模型內(nèi)在核心思考能力的真實(shí)反饋。常見的推理類任務(wù)包含下一張圖像預(yù)測(cè)、代碼編寫、數(shù)學(xué)推理等。這些問題需要精細(xì)的思考及相應(yīng)的專業(yè)知識(shí)訓(xùn)練才可作答，對(duì)普通人而言也具有較高難度，是對(duì)圖文大模型核心能力的重點(diǎn)考察方向。在評(píng)測(cè)推理類任務(wù)時(shí)，需著重關(guān)注模型的推理準(zhǔn)確性、推理深度、專業(yè)知識(shí)應(yīng)用、邏輯一致性和可解釋性等指標(biāo)。

3.評(píng)測(cè)問題與挑戰(zhàn)

圖文大模型具有任務(wù)多樣、模型復(fù)雜等特點(diǎn)，傳統(tǒng)小模型的評(píng)測(cè)方式無(wú)法完全評(píng)估圖文大模型在特定場(chǎng)景下的實(shí)際使用效果，需要針對(duì)圖文大模型評(píng)測(cè)的問題與挑戰(zhàn)進(jìn)行深入分析，并不斷迭代評(píng)測(cè)方法，以更好地促進(jìn)圖文大模型的良性發(fā)展。 首先，圖文大模型的高泛化性對(duì)評(píng)測(cè)任務(wù)選取提出挑戰(zhàn)。 圖文大模型最突出的特點(diǎn)就在于任務(wù)適用性廣，一個(gè)圖文大模型往往可以在識(shí)別、理解、創(chuàng)作、推理等各類任務(wù)中實(shí)現(xiàn)較好的性能。但是，任何模型都具有局限性，目前某些任務(wù)圖文大模型尚無(wú)法解決。因此，如何選擇合適的評(píng)測(cè)任務(wù)場(chǎng)景，既能滿足業(yè)務(wù)需求，又不超越模型現(xiàn)有能力，便成為了一項(xiàng)重要的考慮因素。為全面評(píng)價(jià)模型能力，需要對(duì)行業(yè)痛點(diǎn)和圖文大模型研究現(xiàn)狀具有充分的了解，從而制定更為全面、合理的評(píng)測(cè)任務(wù)。

其次，圖文大模型的高復(fù)雜度對(duì)評(píng)測(cè)數(shù)據(jù)構(gòu)建提出更高要求。 圖文大模型參數(shù)量極大，內(nèi)部極為復(fù)雜，相關(guān)訓(xùn)練原理和訓(xùn)練數(shù)據(jù)分布難以獲取，這就導(dǎo)致圖文大模型評(píng)測(cè)數(shù)據(jù)構(gòu)建難度大。人類視角下的題目難易與模型視角下的不一定一致，比如繪制人手對(duì)于人類來(lái)說(shuō)比較簡(jiǎn)單，而對(duì)于目前的圖文大模型則較為困難。如何梯度性設(shè)置測(cè)試用例，以合適的低中高難度比例對(duì)模型展開全面測(cè)試，真實(shí)反饋出模型性能，是一項(xiàng)需要解決的難點(diǎn)問題。需要針對(duì)各個(gè)任務(wù)領(lǐng)域，對(duì)業(yè)界典型圖文大模型進(jìn)行大量驗(yàn)證，不斷迭代優(yōu)化測(cè)試用例的設(shè)置，才能構(gòu)建更為合理的評(píng)測(cè)數(shù)據(jù)。

再者，圖文大模型評(píng)價(jià)結(jié)果的客觀性也需要重點(diǎn)考慮。 圖文大模型的任務(wù)設(shè)置和輸出結(jié)果豐富多樣，這其中既有計(jì)數(shù)、識(shí)別等易客觀評(píng)測(cè)的基礎(chǔ)任務(wù)，也有圖像生成、風(fēng)格轉(zhuǎn)換等創(chuàng)作類任務(wù)。后者往往需要通過主觀評(píng)價(jià)的方式對(duì)圖文大模型的對(duì)應(yīng)能力進(jìn)行測(cè)試評(píng)估，這對(duì)評(píng)價(jià)人員技術(shù)水平提出更高要求。因此，需要制定好主觀評(píng)測(cè)體系基準(zhǔn)，盡可能縮小不同評(píng)價(jià)人員帶來(lái)的隨機(jī)程度，以更加客觀的方式實(shí)現(xiàn)對(duì)圖文大模型創(chuàng)作能力的公平評(píng)價(jià)。 綜上所述，隨著圖文大模型的快速發(fā)展，相關(guān)評(píng)測(cè)體系也需要不斷迭代優(yōu)化，著力解決行業(yè)痛點(diǎn)，積極應(yīng)對(duì)評(píng)測(cè)挑戰(zhàn)，以客觀全面、公平公正、用戶視角為評(píng)測(cè)基本原則，對(duì)圖文大模型展開合理測(cè)試，更好地促進(jìn)圖文大模型的良性發(fā)展。