端側AI發展現狀及未來趨勢分析

端側 AI 快速發展，DeepSeek 讓端側模型低成本成為可能。

AI 計算主要依賴于云端，但云端計算存在延遲和數據隱私的問題。而端側 AI 可以在本地處理 數據和任務，實現快速響應，無需將數據傳輸到云端，從而提升用戶體驗并保護隱私。隨著 NPU 的 廣泛應用，端側設備逐漸具備了處理 AI 任務的能力。NPU 是專為神經網絡計算設計的加速器，與傳 統 CPU 和 GPU 相比，它在執行 AI 模型時效率更高、功耗更低，適合資源受限的設備。NPU 技術的進 步推動了終端設備在語音識別、圖像處理和自然語言處理等多模態任務上的性能提升。例如，現代 智能手機可以利用內置 NPU 實現實時物體識別，幫助用戶管理和分類照片。

目前，端側大模型主要發展語言模型和文生圖模型，未來將向多模態領域拓展。多模態模型能 處理語言、圖像、音頻、視頻等多種數據，滿足多樣應用需求。比如用戶能用自然語言和圖片與設 備交互，獲得更智能體驗。這不僅推動人機交互進步，還讓終端更懂用戶需求。端側 AI 的個性化 也是未來重點。通過在設備上個性化訓練，它能適應不同用戶習慣，提供定制服務。像手機 AI 學 習用戶拍照偏好后，能自動調參數、推薦拍攝模式。這既能提升用戶依賴度，也為終端廠商帶來商 業機遇。 端側 AI 的應用場景從智能手機、PC 等拓展到可穿戴設備。隨著 NPU 技術提升，可穿戴設備 雖體積小巧，卻能實現語音識別、健康監測和圖像處理等功能。比如搭載 NPU 的智能手表，能本地 處理語音命令，使用更便捷。新興的智能眼鏡等可穿戴設備，借助端側 AI 實現實時翻譯、情緒識 別等功能，拓寬了應用邊界。在可穿戴設備中引入 AI，廠商能打造更具吸引力的產品，在市場競爭 中占據優勢。像兼具實時語音翻譯和心率監測功能的智能手表，在出國旅行、健康管理等場景實用 性強，提升了用戶生活質量。

智算在 AI 深度學習領域發揮著舉足輕重的作用，主要應用體現在以下關鍵方面： 加速模型訓練：深度學習模型結構復雜，參數數量龐大，訓練過程對計算資源需求極高。智能 算力借助 GPU（圖形處理器）、TPU（張量處理單元）這類高性能計算設備，顯著加快了模型訓練進 程。以 GPT-4 等大型語言模型為例，訓練時需要處理海量文本數據，智能算力的強大運算能力可快 速完成復雜的矩陣運算，大幅縮短訓練時間。 優化推斷推理：在模型推斷階段，智能算力通過高性能計算設備與專門的推理芯片，顯著加速 了深度學習模型的推斷過程。這使得模型能夠在更短時間內處理輸入數據并輸出結果，大幅提升了 模型的實時性和穩定性。在智能安防領域，實時視頻監控的目標檢測任務需要快速響應，智能算力 可確保檢測結果及時準確輸出。 助力模型優化：借助智能算力，能夠對模型進行自動化的超參數調優，精準找到最適配的參數 組合；開展網絡結構搜索，探尋更高效的模型架構；實施模型剪枝，去除冗余連接，從而進一步提 升模型的精度和效率。

人工智能芯片的架構與應用類型存在較大區別。架構上，傳統計算機架構含 GPU、FPGA、ASIC。 GPU 用于圖像處理，適合數據密集計算；FPGA 可無限次編程，開發時間短；ASIC 依特定需求定制， 能效高。類腦計算架構的 NPU 模仿大腦神經結構，多為研究型芯片，商業化程度低。應用方面，訓 練算力對芯片算力要求高，多為 FP32 與 FP16 精度；推理算力對芯片算力要求低，多為 FP32 與 FP64 精度，強調低延時等特性。 Deepseek 浪潮席卷 AI 領域，端側成本逐步下降。2025 年 1 月 20 日，DeepSeek 正式發布其 DeepSeek-R1，最大的亮點：1，性能比肩 OpenAI o1 正式版。2，價格為每百萬輸入 tokens 1 元（緩 存命中）/4 元（緩存未命中），每百萬輸出 tokens 16 元。而且在開源 DeepSeek-R1-Zero 和 DeepSeek-R1 兩個 660B 模型的同時，通過 DeepSeek-R1 的輸出，蒸餾了 6 個小模型開源給社區，其中 32B 和 70B 模型在多項能力上實現了對標 OpenAI o1-mini 的效果。更強的性能，更低 的訓練與推理成本，將加速推動 AI 應用與硬件的普及和落地。

借助算法能力，DeepSeek 降低 AI 普及成本。借助算法創新，如 FP8 低精度訓練，大幅降低大 模型訓練成本，減少內存占用與通信開銷，讓國產 GPU 在算力不足時也能高效訓練。推動開源，吸 引全球開發者，降低模型使用門檻，助力 AI 技術向產業滲透。端側應用爆發推高算力需求，其推 理端低成本優勢或推動市場格局轉變，讓端側模型低成本成為可能。

LLM 單純云端部署（例如 ChatGPT）并不廣泛接受。88%的參與者傾向于邊緣 -云協作架構，其中 58.33%支持本地部署，81.82%對現有的僅云端解決方案不滿意。他們的主要擔 憂是:1)遠程大型語言模型服務的高延遲，2)將個人數據傳輸到云端的風險，3)云端大型語言模型服 務的成本。

2023 年邊緣大型語言模型開始陸續爆發，當時出現了幾個參數量低于 10B 的模型，使其能在邊 緣設備上運行，包括 meta 的 LLaMA 系列，微軟的 Phi 系列，智譜的 ChatGLM，阿里巴巴的 Qwen 等。 進入 2024 年創新步伐加快，邊緣端部署的優勢是能夠縮短響應時間，并直接應用在如手機、汽車、 可穿戴設備上。2022 年至 2032 年，按終端用戶劃分的全球設備邊緣人工智能市場規模。市場將以 25.9%的復合年增長率增長，預計 2032 年的市場規模為 1436 億美元。 盡管在邊緣端部署大模型有諸多優勢，但考慮到端側有限的計算能力、存儲能力和能源限制等， 使得直接部署基于云端的 LLM 困難重重。再評估設備端大型語言模型的性能時，有幾個關鍵指標需 要考慮：延遲、推理速度、內存使用、存儲和能耗。通過優化這些性能指標，設備端大型語言模型 能夠在更廣泛的場景中高效運行，提供更好的用戶體驗。同時針對邊緣設備的部署，在保持性能的 同時提高計算效率至關重要，通過量化、剪枝、知識蒸餾和低秩分解，這些方法通過平衡性能、內 存占用和推理速度來提高大語言模型的運行效率，確保其在設備端應用中的可行性。

近年來，人工智能技術的迅猛發展和移動設備硬件的不斷升級，使得在邊緣設備上部署大型語 言模型成為可能。作為人們日常生活中最常用的設備，智能手機上的語言模型引人注目。目前，全 球主要手機品牌已開發并發布了多款先進的模型，這些模型采用設備端部署或設備-云協同策略。

設備端語言模型正開啟一個智能、響應迅速、個性化應用的新時代。通過將先進的自然語言處 理能力直接引入用戶設備，這些模型正在改變人們與技術互動的方式。從即時消息建議到實時語言 翻譯，從保密醫療咨詢到尖端自動駕駛汽車。在資源受限設備上部署 LLM 面臨獨特挑戰，這些挑戰 與傳統的基于云的實施有顯著不同。這些挑戰涉及多個領域，包括模型壓縮、高效推理、安全性、 能源效率，以及與多樣化硬件平臺的無縫集成等。

隨著蒸餾模型能力提升，端側 SoC 未來發展呈現新趨勢。蒸餾模型可將大型模型知識遷移至小 型模型，大幅降低對硬件資源要求，讓端側設備運行復雜 AI 模型成為現實。以 DeepSeek R1 等 模型為例，其運用強化學習和模型蒸餾技術，能在本地設備高效推理，且訓練只需極少量標注數據， 既增強了模型適應性與靈活性，又降低了部署成本。在硬件方面，未來 NPU 等專用硬件加速器進一 步發展，將使端側設備處理復雜 AI 任務的能力更高效。這些趨勢將推動 AI 從云端向本地設備轉 移。一方面，設備能夠在離線狀態下獨立完成復雜 AI 任務，數據無需上傳至云端處理，提高了數 據隱私保護水平，避免數據在傳輸與存儲過程中可能面臨的泄露風險。另一方面，減少了對網絡連 接的依賴，無需等待云端響應，直接在本地快速處理，提升了處理效率，使 AI 應用在更多場景下 得以快速、安全地實現，為用戶帶來更便捷、高效且安全的體驗，也為 AI 在更多領域的深入應用 拓展了空間。