AI行業專題報告：從模型視角看端側AI-模型技術持續演進，交互體驗有望升級.pdf

AI行業專題報告：從模型視角看端側AI-模型技術持續演進，交互體驗有望升級。基礎的構建：模型實現高效壓縮是端側AI的第一步。模型尺寸變小、同時具備較好性能，是端側AI 的前提。目前，在10B參數規模以下的模型中，7B尺寸占據主流，3B及以下小模型仍在探索，部分 小模型性能正逐步接近更大參數模型，如谷歌Gemini-Nano模型在部分測試基準上接近Gemini Pro、Meta Llama-3-8B模型表現可與Llama-2-70B匹敵。模型廠商為兼顧模型尺寸與性能，在算 法優化上進行積極探索，在模型壓縮技術、稀疏注意力機制、多頭注意力變體等領域取得持續進展， 幫助模型減少參數、降低存算需求，同時保持較好的性能，為端側AI奠定小模型的基礎。

落地的關鍵：模型適配終端硬件是端側AI的第二步。小語言模型（SLM）不完全等于端側模型，在 模型實現高效壓縮后，需要進一步與手機硬件進行適配，幫助小模型裝進終端。從眾多小模型論文 中可以發現，當前主要存在內存、功耗、算力三大硬件瓶頸。其中，蘋果在其論文《LLM in a flash》中指出，70億半精度參數的語言模型，完全加載進終端需要超過14GB的DRAM空間；Meta 在其MobileLLM模型論文中指出，一個約有5000焦耳滿電能量的iPhone，僅支持7B模型在10 tokens/秒的AI生成速率下對話不足2小時。為解決以上問題，手機芯片廠商正加速推進AI芯片研發， 在先進制程、內存容量及帶寬、CPU和GPU性能、以及AI服務器上發力，手機品牌商也將配備更高 性能的電池、散熱元器件，提升整體終端硬件能力，更好地支持AI模型。

體驗的突破：模型助力人機交互是端側AI的第三步。端側模型通常能夠支持用戶完成AI初級任務， 然而更豐富、更深度的交互體驗需要UI模型、云端模型、以及系統級AI進行有力支撐。其中，UI模 型可以提供手機UI界面理解的基礎，云端模型能夠幫助處理較為復雜的交互任務，系統級AI可以實 現多種模型間的調用與協同。在AI時代下，模型的端側意義不止于類似ChatGPT的聊天機器人軟件， 而在于賦能手機系統和應用交互的系統級AI，其帶來的交互體驗將成為影響用戶換機的核心。從當 前的海外合作陣營來看，可分為“蘋果+OpenAI”和“谷歌+高通+三星”兩大陣營。未來，隨著 端側模型、配套硬件、AI系統的持續發展，終端市場有望呈現更多可能。