終端側 AI 具有成本、能耗、可靠性、隱私、安全和個性化優勢。
AI 技術發展加速,形成云側 AI 與端側 AI 兩條路線。自 2022 年 OpenAI 推出建立在 GPT-3.5 和 GPT-4.0 大語言模型上的聊天機器人 ChatGPT 后,AI 技術取得了飛速的發展及應用,深刻改變人們的 生活及工作方式。在 AI 技術的實際應用中,云側 AI 和端側 AI 成為了兩種重要的部署方式: 1)云側 AI:依托強大的云端數據中心,集中進行大規模的數據處理和模型訓練,憑借其海量的計算資 源和存儲能力,能夠實現復雜的 AI 任務,如大規模的數據分析、自然語言處理中的復雜語義理解等。 2)端側 AI:將 AI 算法和模型直接部署在終端設備上,如智能手機、智能穿戴設備等,使終端設備具 備自主的智能處理能力,能夠在本地實時響應用戶需求,如手機的實時語音識別、圖像美化等功能。
終端側 AI 具有成本、能耗、可靠性、隱私、安全和個性化優勢。 成本優勢:AI 推理的規模遠高于 AI 訓練。模型的推理成本將隨著日活用戶數量及其使用頻率的增加而 增加。在云端進行推理的成本極高,這將導致規模化擴展難以持續。將一些運算負載從云端轉移到邊緣 終端,可以減輕云基礎設施的壓力并減少開支。 能耗優勢:邊緣終端能夠以很低的能耗運行生成式 AI 模型,尤其是將處理和數據傳輸相結合時。可靠 性、性能和時延:當生成式 AI 查詢對于云的需求達到高峰期時,會產生大量排隊等待和高時延,甚至 可能出現拒絕服務的情況。向邊緣終端轉移計算負載可防止這一現象發生。 隱私、安全和個性化:由于數據處理完全在本地進行,終端側 AI 有助于保護個人信息,以及企業和工 作場所中的機密信息。以本地和云端分別運行 AI 大模型制作行程安排為例,本地 AI 大模型通過長期學 習用戶行為,并利用本地存儲的信息,可以給出更貼合用戶生活習慣、更準確的建議。相較之下,如果 云端模型需要訪問用戶本地存儲的文件、瀏覽記錄等信息再給出個性化的建議,用戶通常較難接受。
端側 AI 強調本地化運行,應用場景涉及多類端側:手機、自動駕駛汽車、AR、PC、電視、耳機、音響、 安防設備、智能手表和機器人等。多應用場景提升了端側 AI 市場的增長潛力。

從 AI 技術在終端產品的落地上,一般經歷:單點特定的 AI 增強實現應用層集成 AI→OS 智能化改造實 現系統層融合 AI(原子化控件化的 AI 能力)→以 AI 為中心的全新 OS 并且系統級 AI Agent 出現。 大模型在各個層面改造終端交互體驗,預計分為三種形式。最開始增強型 LLM 架構,可以增加單點的 功能體驗,比如在翻譯/圖片處理/語音轉換中使用 AI;階段二主要以工作流形式,比如生成營銷文案并 翻譯等;最后階段是針對開放問題的 Agent 形態。這三種形態出現形式有先后,但是最終預計并存以針 對不同特性的場景。 最基礎的構建塊(增強型 LLM)——工作流——自主的 Agent,復雜性持續提升。同時雖然非 Agent 在 自動化水平上提升有限,但是由于調用的是 LLM,在智能化水平、可處理任務等方面也有巨大的提升。
對于開放式問題 Agent 必不可少,要具備理解復雜的輸入、進行推理和規劃、可靠地使用工具的能力。 Agent 可用于開放式問題,這些問題難以預測所需的步驟,無法硬編碼固定路徑。Agent 需要獨立規劃 和操作,并可能返回用戶那里獲取更多信息或判斷。在執行工作中,Agent 在每一步從環境中獲取―真實 情況‖,以評估進展,在遇到響應節點或者障礙的時候暫停以獲取人類反饋。人類只需要提出需求+監管 成果,AI 將進行任務的分解、選擇工具、監控進度。
端側 AI 產業鏈上游為核心技術和硬件提供環節,主要包括 AI 芯片、存儲、電源、傳感器、通信模塊等 硬件,以及操作系統、數據庫等基礎軟件,為整個產業提供堅實的技術支撐和基礎構建。 端側 AI 行業產業鏈中游為端側 AI 集成環節,端側 AI 設備品牌商具備端側 AI 技術的專業能力,包括模 型優化、硬件適配和系統集成等,提供從底層硬件到上層應用的一體化解決方案,實現端側 AI 的系統 集成。 端側 AI 產業鏈下游為應用環節,主要包括行業解決方案和產品與軟件服務,以滿足不同客戶的需求。
AI 可以改造多種終端,端側 AI 市場規模 2023-2028 年預計 CAGR 高達 58%,2028 年超過 1.9 萬 億。2023 年全球存量消費終端設備達 228 億臺,其中智能手機占 29.8%、智能家居設備(不含 TV)占 26.3%,PC 和 PAD 占 17.6%。2023 年以前端側 AI 技術已經在智能安防和車載設備兩個重要領域應用, 快速發展但規模不大。從 2023 年開始,隨著億級出貨量的 PC 和手機開始 AI 化,兩者龐大的市場將在 未來支撐端側 AI 行業迅速發展,2023 年中國端側 AI 市場規模不到 2000 億,預計 2028 年超過 1.9 萬 億,2023-2028 年 CAGR 為 58%。