如何理解端側(cè)AI三步戰(zhàn)略？

手機(jī)芯片采用先進(jìn)制程，工藝有望向3nm邁進(jìn)。

1.基礎(chǔ)的構(gòu)建：模型實(shí)現(xiàn)高效壓縮是端側(cè)AI的第一步

小模型24H1加速迭代，模型性能持續(xù)提升

發(fā)展節(jié)奏：24H1小模型加速推出，Meta Llama領(lǐng)先發(fā)布，微軟、谷歌相繼迭代，蘋果厚積薄發(fā)。 模型參數(shù)：7B模型占據(jù)主流；3B及以下小模型進(jìn)一步探索，其中蘋果小模型梯隊分布明顯。 訓(xùn)練數(shù)據(jù)：Meta在有限參數(shù)下追求數(shù)據(jù)量上的scaling law；微軟專注小而精的數(shù)據(jù)集；蘋果旗下 小模型的訓(xùn)練數(shù)據(jù)量與參數(shù)量的比值不低。 算力消耗：23年GPU大多采用A100，24年主要采用H100；谷歌使用自研TPU；創(chuàng)企選擇上云等。

谷歌Gemma系列模型：基于第一代模型架構(gòu)對技術(shù)細(xì)節(jié)進(jìn)行優(yōu)化

基于千張TPU集群訓(xùn)練，模型性能在同類中較為領(lǐng)先。1）Gemma-2-9B：在4096張TPUv4上進(jìn) 行訓(xùn)練，在多數(shù)基準(zhǔn)中得分超過Llama-3-8B和Mistral-7B等同類模型，MMLU 5-shot、GSM8K 5-shot的測試得分相較于前一代模型Gemma-1-7B分別有11%和32%的增長。2）Gemma-2- 2.6B：在512張TPUv5e上進(jìn)行訓(xùn)練，沿用第一代模型架構(gòu)，對技術(shù)細(xì)節(jié)進(jìn)一步優(yōu)化，Gemma-2- 2.6B模型較上一代Gemma-1-2.5B模型在參數(shù)量基本不變和數(shù)據(jù)集更小的情況下實(shí)現(xiàn)更優(yōu)性能， MMLU 5-shot、GSM8K5-shot的測試得分相較于上一代模型分別有21%和58%的增長。

谷歌Gemini-Nano系列模型：部分任務(wù)性能距Gemini Pro較小

專為設(shè)備部署而設(shè)計，擅長總結(jié)和閱讀理解。2023年12月6日，谷歌發(fā)布Gemini系列自研大模型， 參數(shù)規(guī)模從大至小分別為Gemini-Ultra、Gemini-Pro、Gemini-Nano，其中Gemini-Nano模型包 括兩種版本，Nano-1參數(shù)規(guī)模為1.8B，Nano-2為3.25B，旨在分別針對低內(nèi)存和高內(nèi)存的設(shè)備。

Gemini-Nano-1和Nano-2模型與參數(shù)規(guī)模更大的Gemini-Pro模型對比來看：1）根據(jù)BoolQ基 準(zhǔn)（主要用于衡量模型理解問題和回答問題的邏輯能力）得分，Gemini-Nano-1的準(zhǔn)確率為71.6%， 性能是Gemini-Pro的81%，Gemini-Nano-2的準(zhǔn)確率為79.3%，是Gemini-Pro的90%，更接近 Gemini-Pro的性能；2）TydiQA(GoldP)基準(zhǔn)涉及回答復(fù)雜問題的能力，Gemini-Nano-1和 Gemini-Nano-2的準(zhǔn)確率為68.9%和74.2%，分別是Gemini-Pro的85%和91%，性能差距較小。

Gemini-Nano-1和Gemini-Nano-2模型對比來看：隨著模型參數(shù)規(guī)模從Nano-1的1.8B增加至 Nano-2的3.25B，模型的性能表現(xiàn)在大多數(shù)任務(wù)性能均能得到提升。

Meta Llama系列模型：在有限參數(shù)下追求數(shù)據(jù)上的scaling law

同等參數(shù)情況下性能大幅提升，較小模型可以通過擴(kuò)大訓(xùn)練數(shù)據(jù)量實(shí)現(xiàn)優(yōu)秀性能。1）對比同等參 數(shù)模型來看，Llama-3的8B和70B模型相對于Llama-2的7B和70B模型性能均得到大幅提升。2）對 比Llama-3-8B和Llama-2-70B來看，在算力消耗基本持平的情況下，更好的模型性能可以通過在 更大規(guī)模的數(shù)據(jù)集上訓(xùn)練實(shí)現(xiàn)，Llama-3-8B模型的參數(shù)量約為Llama-2-70B的1/9，但訓(xùn)練數(shù)據(jù)集 是其7.5倍，最終的模型效果基本可與70B的模型相匹敵，且經(jīng)過指令微調(diào)后，指令微調(diào)模型Llama3-8B明顯超過Llama 2 70B。

Meta MobileLLM系列模型：強(qiáng)調(diào)小模型的深度比寬度更重要

模型參數(shù)進(jìn)一步縮小，模型架構(gòu)追求深而窄。MobileLLM的模型參數(shù)僅為1.25億和3.5億，其技術(shù) 報告聚焦于少于10億參數(shù)的sub-billion（＜1B）模型，強(qiáng)調(diào)模型架構(gòu)對小模型的重要性，認(rèn)為模型 深度比寬度更重要，并引入分組查詢注意力機(jī)制等優(yōu)化技巧，相較于同類125M/350M大小模型的 基準(zhǔn)測試得分相比，MobileLLM的平均分均有提高。1）Zero-Shot常識推理任務(wù)方面：在125M 參數(shù)量級下，MobileLLM的模型性能顯著優(yōu)于OPT、GPT-Neo、Calaclafa等其他模型；在350M 參數(shù)量級下，MobileLLM的各項測試得分均優(yōu)于此前最先進(jìn)的模型OPT-350M。2）問答和閱讀理 解 任 務(wù)方 面 ：根據(jù)在TQA問 答的benchmark和RACE閱 讀 理解 的benchmark的測 評結(jié) 果， MobileLLM-125M和MobileLLM-350M模型的精度比同等量級的小模型要高出較多。

微軟Phi系列模型：主要創(chuàng)新在于構(gòu)建教科書質(zhì)量的訓(xùn)練數(shù)據(jù)集

訓(xùn)練數(shù)據(jù)追求小而精，模型參數(shù)逐步擴(kuò)大。2023年6月，微軟發(fā)布論文《Textbooks Are All You Need》，用規(guī)模僅為7B tokens的“教科書質(zhì)量”的數(shù)據(jù)集，訓(xùn)練出1.3B參數(shù)、性能良好的Phi-1 模型。此后，歷代Phi模型沿用“Textbooks Are All You Need”的訓(xùn)練思想，進(jìn)一步使用精挑細(xì) 選的高質(zhì)量內(nèi)容和過濾的Web數(shù)據(jù)來增強(qiáng)訓(xùn)練語料庫，以提升模型性能。在最新迭代的模型中， Phi-3-mini-3.8B通過3.3T tokens的訓(xùn)練，在學(xué)術(shù)基準(zhǔn)和內(nèi)部測試上可與經(jīng)過15T tokens訓(xùn)練的 Llama-3-In-8B模型相匹敵。

模型架構(gòu)持續(xù)優(yōu)化，壓縮技術(shù)不斷創(chuàng)新

為壓縮模型大小、在保持較小模型尺寸的同時實(shí)現(xiàn)高性能、以及能夠支持較長的上下文，各海外模 型廠商紛紛布局小模型，并在模型算法優(yōu)化方面進(jìn)行積極探索，于24H1呈現(xiàn)出多種技術(shù)創(chuàng)新方向， 主要集中在模型壓縮技術(shù)，稀疏注意力機(jī)制、多頭注意力變體三大領(lǐng)域。

模型壓縮技術(shù)：參數(shù)量化運(yùn)用廣泛，知識蒸餾熱點(diǎn)較高

模型壓縮技術(shù)持續(xù)發(fā)展，助力端側(cè)部署。模型壓縮技術(shù)旨在保持模型基本性能的情況下降低對推理 算力的需求，主要包括三種方法：1）參數(shù)剪枝（Pruning）：刪除部分權(quán)重參數(shù)、去除神經(jīng)網(wǎng)絡(luò) 中的冗余通道、神經(jīng)元節(jié)點(diǎn)等；2）參數(shù)量化（Quantization）：將浮點(diǎn)計算轉(zhuǎn)成低比特定點(diǎn)計算， 業(yè)內(nèi)應(yīng)用普遍；3）知識蒸餾（Knowledge Distilling）：將大模型作為教師模型，用其輸出訓(xùn)練 出一個性能接近、結(jié)構(gòu)更簡單的學(xué)生模型，由Geoffrey Hinton等人在2015年谷歌論文《Distilling the Knowledge in a Neural Network》中提出，目前關(guān)注較高，業(yè)內(nèi)通常使用GPT-4和Claude-3 作為教師模型。

多頭注意力變體：減少注意力頭數(shù)量，降低內(nèi)存占用

KV cache：通過緩存中間計算結(jié)果，以“內(nèi)存空間”換“計算時間”。當(dāng)前，主流的大語言模型 基本采用Transformer decoder-only架構(gòu)，其推理過程主要包括預(yù)填充和解碼階段。1）預(yù)填充階 段：根據(jù)用戶提出的prompt，生成第一個token；2）解碼階段：在生成第一個token之后，開始 采用自回歸方式逐個生成后續(xù)的token，每個token的生成均需要依賴并attention此前的token， 因此，隨著解碼過程的進(jìn)行，需要向此前生成的token的關(guān)注會越來越多，計算量也逐漸增大。 為減少解碼過程中的重復(fù)計算，可以通過引入KV Cache，即緩存中間結(jié)果、在后續(xù)計算中直接從 Cache中讀取而非重新計算，從而實(shí)現(xiàn)“以空間換時間”，使顯存占用增加、但計算需求減少。

稀疏注意力機(jī)制：選擇性處理信息，降低計算需求

稀疏注意力(Sparse Attention)機(jī)制：選取一部分信息進(jìn)行交互，節(jié)省注意力機(jī)制成本。在當(dāng)前主 流模型架構(gòu)Transformer中，注意力矩陣可以通過限制Query-Key對的數(shù)量來減少計算復(fù)雜度，即 將注意力機(jī)制稀疏化。稀疏注意力機(jī)制主要采用基于位置信息和基于內(nèi)容的稀疏化方法，其中，基 于位置信息的稀疏注意力方法更加主流，主要包括全局/帶狀/膨脹/隨機(jī)/局部塊五種類型。近年來， 隨著大語言模型的加速發(fā)展，計算和存儲壓力增大，使得稀疏注意力機(jī)制不斷優(yōu)化，逐步衍生出基 于以上稀疏注意力機(jī)制的復(fù)合模式，涌現(xiàn)出Longformer等稀疏注意力模型。

2.落地的關(guān)鍵：模型適配終端硬件是端側(cè)AI的第二步

從小模型論文看端側(cè)硬件瓶頸——內(nèi)存容量

將LLM裝進(jìn)終端要求手機(jī)內(nèi)存有多少DRAM容量？ 蘋果在其發(fā)布的論文《LLM in a flash》中指出：在通常的LLM推理階段，LLM直接加載至DRAM 中，一個7B參數(shù)、半精度的LLM，完全加載進(jìn)DRAM所需的存儲空間超過14GB。考慮到目前主流 手機(jī)的DRAM最高也就16GB的水平，在端側(cè)直接使用DRAM來加載7B LLM面臨巨大挑戰(zhàn)。 通常一個應(yīng)用最多可以占用多少DRAM內(nèi)存？ Meta在其MobileLLM模型論文中指出：將8-bit量化權(quán)重下的LLaMA-2-7B模型整合至手機(jī)，內(nèi)存 代價過高，手機(jī)目前DRAM容量從iPhone 15的6GB到Google Pixel 8 Pro的12GB不等，由于 DRAM需要與操作系統(tǒng)和其他應(yīng)用程序共享，一個移動應(yīng)用不應(yīng)超過DRAM的10%（即1~2GB）。 微軟在其Phi-3模型技術(shù)報告中指出，Phi-3-mini可在手機(jī)上實(shí)現(xiàn)本地推理，在3.8B尺寸、在量化 為4-bit權(quán)重下，大約占用1.8GB的內(nèi)存。

從芯片廠商布局看硬件升級趨勢——先進(jìn)制程

手機(jī)芯片采用先進(jìn)制程，工藝有望向3nm邁進(jìn)。23Q4，高通和聯(lián)發(fā)科分別在其10月和11月峰會上 發(fā)布旗下手機(jī)芯片驍龍8Gen3和天璣9300，兩者均采用臺積電4nm制程工藝。根據(jù)高通和聯(lián)發(fā)科歷 年一年一迭代的發(fā)布節(jié)奏，驍龍8Gen4和天璣9400手機(jī)處理器可能于24Q4推出，并有望基于臺積 電3nm工藝打造。而蘋果相較于其他手機(jī)芯片廠商工藝更為領(lǐng)先，于23Q3率先推出采用3nm制程 的iPhone芯片A17 Pro，未來有望在先進(jìn)制程上保持領(lǐng)先。

3.體驗的突破：模型助力人機(jī)交互是端側(cè)AI第三步

UI模型：手機(jī)界面理解能力提升，任務(wù)設(shè)計為人機(jī)交互奠定基礎(chǔ)

發(fā)展節(jié)奏對比：蘋果推進(jìn)加速，谷歌嘗試較早。1）蘋果：面對日益激烈的AI競爭，蘋果于23年10 月推出第一代可理解指代和定位的多模態(tài)大模型Ferret，24年4月提出可以處理更高分辨率圖像的改 進(jìn)版本Ferret-v2，以及專門針對手機(jī)用戶界面的多模態(tài)大模型Ferret-UI，賦予AI理解和操作應(yīng)用界 面的能力。2）谷歌：由于LLM作為大語言模型，通常無法直接理解UI界面，谷歌針對這一痛點(diǎn)， 于2022年9月和10月發(fā)表Spotlight和Pix2Struct相關(guān)論文，對終端UI界面的理解進(jìn)行初步探索； 2024年2月，谷歌推出UI模型Screen AI，完善相關(guān)布局。目前，大語言模型（LLM）難以直接理解 手機(jī)UI界面，應(yīng)用形態(tài)以chatbot為主，而谷歌Screen AI和蘋果Ferret-UI采用多模態(tài)視覺語言模 型（VLM），實(shí)現(xiàn)對屏幕信息的理解，為用戶與終端設(shè)備之間的交互提供UI理解基礎(chǔ)。

系統(tǒng)級AI：云端模型補(bǔ)充交互體驗，系統(tǒng)升級支持更多AI場景

MoE架構(gòu)集成多個專家模型，處理任務(wù)專業(yè)高效。MoE模型（mixture-of-experts model）即混 合專家模型，作為大模型架構(gòu)的一種，MoE基于“術(shù)業(yè)有專攻”的設(shè)計思想，由多個子模型（專家 模型）組成，通過將任務(wù)分門別類、再分配給不同的專家模型，使處理問題更加靈活高效；而稠密 模型（Dense model），偏向于“通才”模型，能夠處理眾多任務(wù)，但專業(yè)能力可能不及MoE。

云端模型補(bǔ)充端側(cè)AI能力，MoE架構(gòu)可適配于多種場景。近半年來，海外模型廠商紛紛采用MoE架 構(gòu)，其中，谷歌基于過去的領(lǐng)先研究在Gemini-1.5-Pro模型中采用MoE架構(gòu)，蘋果基于MoE架構(gòu)對 MM1模型進(jìn)行擴(kuò)展，且兩者分別應(yīng)用于蘋果和三星手機(jī)的AI系統(tǒng)中。此外，由于MoE模型中的每 個子模型能夠?qū)Ｗ⑻幚砟愁愄囟ㄈ蝿?wù)，因此，手機(jī)廠商可以針對端側(cè)AI的應(yīng)用場景，對混合專家模 型進(jìn)一步微調(diào)優(yōu)化，使其與多種端側(cè)任務(wù)適配，推動端側(cè)AI的推理效率。