蘋果公司AI+硬件落地情況如何？

AI+硬件有望落地，VisionPro 正式開售。

1. AI: 軟硬件加快布局 AI，AI+硬件有望落地

AI 手機方面，近期，各大手機廠商加速推進“手機+大模型”

海外：谷歌發(fā)布了搭載 AI 基礎(chǔ)模型的 Google Pixel 8 系列手機，三星發(fā)布自研 AI 聊天機器人 Gauss、并計劃整合到 Galaxy S24 系列智能手機中，蘋果發(fā)布 A17 Pro 芯片、探索 AI 嵌入應(yīng)用程序。

國內(nèi)：華為 Mate60 接入盤古大模型；小米 14 系列搭載澎湃 OS 將 AI 大模型植入 系統(tǒng)、并將率先支持 NPU 部署；Vivo OriginOS 4 正式亮相、將藍(lán)心大模型能力與 系統(tǒng)結(jié)合，新旗艦 X100 手機首發(fā)搭載；OPPO 正式推出 AndesGPT 并接入新操作 系統(tǒng) ColorOS 14；榮耀宣布 Magic6 系列將支持自研 70 億端側(cè) AI 大模型。

AI 智能手機將迎來快速增長。根據(jù) Counterpoint Research，預(yù)估 2024 年會成為生成式 AI 智能手機的關(guān)鍵元年，預(yù)估出貨量將達(dá)到 1 億臺、在全球智能手機市場滲透率將達(dá)到 8%，到 2027 年出貨量將達(dá)到 5.22 億臺，2023-2027 年復(fù)合年增長率為 83%，在全球 智能手機市場的滲透率達(dá) 40%。

硬件端：蘋果推出 A17 Pro、M3 芯片，為 AI 硬件落地提供強大支持

1）AI phone 方面

蘋果推出全球首款 3nm 工藝制程芯片 A17 Pro，采用 190 億個晶體管、6 核 CPU（2 顆 高性能核心和 4 顆高能效核心）、6 核 GPU。A17 Pro 的神經(jīng)網(wǎng)絡(luò)引擎操作次數(shù)達(dá)到每秒 35 萬億次，為 AI 應(yīng)用提供強大支持。

2）AI PC 方面

蘋果的 M 系列芯片均采用統(tǒng)一內(nèi)存架構(gòu)，提升 SoC 各部分器件對內(nèi)存的訪問速度，具備 高帶寬、低延遲、高性能和效率。M3、M3 Pro 和 M3 Max 芯片引入增強型神經(jīng)網(wǎng)絡(luò)引 擎，用于加速機器學(xué)習(xí)模型。與 M1 系列芯片相比，M3 系列神經(jīng)網(wǎng)絡(luò)引擎帶來最高達(dá) 60%的速度提升，加速 AI / ML 工作流的同時、還可將數(shù)據(jù)保留在設(shè)備上，保護用戶隱 私。蘋果的 M3 芯片能夠支持內(nèi)存容量最高達(dá) 128GB、支持運行包含數(shù)十億個參數(shù)規(guī)模 或者更大的 Transformer 模型，為大模型端側(cè)落地做準(zhǔn)備。

軟件端：開啟大模型布局、發(fā)布 MLX 框架及創(chuàng)新閃存利用技術(shù)

大模型及應(yīng)用方面：2023 年 7 月，據(jù)彭博社報道，蘋果已經(jīng)建立了自己的框架來創(chuàng) 建大型語言模型，被稱為 Ajax，在此基礎(chǔ)上還創(chuàng)建了聊天機器人服務(wù)“蘋果 GPT （Apple GPT）”。2023 年 10 月，據(jù)彭博社報道，蘋果計劃最早在明年推出更智能 的 Siri 版本，并將人工智能添加到盡可能多的應(yīng)用程序中，包括 Apple Music 和生 產(chǎn)力應(yīng)用程序。2023 年 10 月，蘋果與哥倫比亞大學(xué)的研究人員合作發(fā)布了名為 Ferret 的開源多模態(tài) LLM，并在 2023 年 12 月更新 Ferret 進展。  機器學(xué)習(xí)框架方面，2023 年 12 月蘋果推出 Apple Silicon 平臺專用 AI 框架 MLX， 實現(xiàn)統(tǒng)一內(nèi)存。 存儲利用技術(shù)方面，蘋果創(chuàng)新的推出利用閃存芯片存儲 AI 模型數(shù)據(jù)、使得在設(shè)備端 執(zhí)行大語言模型的方法。

1）大模型：探索自研生成式 AI 模型 Ajax，發(fā)布多模態(tài)大模型 Ferret。生成式 AI 方面，2023 年 7 月，據(jù)彭博社報道，蘋果已經(jīng)建立了自己的框架來創(chuàng)建大型 語言模型，被稱為 Ajax，在此基礎(chǔ)上還創(chuàng)建了聊天機器人服務(wù)“蘋果 GPT（Apple GPT）”。 2023 年 10 月，據(jù)彭博社報道，蘋果計劃最早在明年推出更智能的 Siri 版本，并將人工 智能添加到盡可能多的應(yīng)用程序中，包括 Apple Music 和生產(chǎn)力應(yīng)用程序。 多模態(tài)方面，2023 年 10 月，蘋果與哥倫比亞大學(xué)的研究人員合作發(fā)布了名為 Ferret 的 開源多模態(tài) LLM。12 月，蘋果公布多模態(tài)大型語言模型 Ferret 及相關(guān)基準(zhǔn)測試工具與數(shù) 據(jù)集，包括 Ferret7B、130B 二模型的程序代碼、GRIT 數(shù)據(jù)集、基準(zhǔn)測試工具 FerretBench 等。 該模型可以分析圖像上繪制區(qū)域，確定其中有用的元素、并將其識別，在檢測到的元素 周圍繪制邊界框，還可以利用圖像中檢測到的上下文提供回復(fù)。如：高亮標(biāo)注圖中動物 圖片并詢問 Ferret，F(xiàn)erret 可以確定該動物的種類、并確定用戶所指的是動物群中的某 只動物，還可以利用圖像檢測到的上下文、進一步回復(fù)。

2）機器學(xué)習(xí)框架：發(fā)布 Apple Silicon 平臺專用 AI 框架 MLX，實現(xiàn)統(tǒng)一內(nèi)存。12 月，蘋果發(fā)布專為 Apple Silicon 芯片設(shè)計的高效機器學(xué)習(xí)框架 MLX，已開源。MLX 特 征包括常見的 API（如 Python API、C++ API）、可組合函數(shù)轉(zhuǎn)換（自動微分、自動矢量 化和計算圖優(yōu)化）、惰性計算、動態(tài)圖構(gòu)建、支持多設(shè)備（CPU、GPU）、并且統(tǒng)一內(nèi)存。 蘋果還開源了數(shù)據(jù)加載包 MLX Data。 MLX 的設(shè)計靈感來自 PyTorch、Jax 和 ArrayFire 等框架，MLX 與這些架構(gòu)的顯著區(qū)別是 統(tǒng)一內(nèi)存模型，即 MLX 可實現(xiàn) GPU 與計算機的 RAM 共享 VRAM。MLX 中的數(shù)組位于共 享內(nèi)存中，可以在任何支持的設(shè)備類型上執(zhí)行對 MLX 數(shù)組的操作，無需移動數(shù)據(jù)。 目前官方案例包含多種模型，如：1）Transformer LM 訓(xùn)練；2）LLaM 大規(guī)模文本生成并 通過 LoRA 微調(diào)；3）Stable Diffusion 圖像生成；4）OpenAI Whisper 語音識別等。

3）存儲利用技術(shù)：蘋果推出利用閃存芯片存儲 AI 模型數(shù)據(jù)的創(chuàng)新技術(shù)。據(jù)論文《LLM in a flash:Efficient Large Language Model Inference with Limited Memory》， 蘋果提出利用閃存芯片存儲 AI 模型數(shù)據(jù)的創(chuàng)新技術(shù)，通過將大型語言模型的參數(shù)存儲在 閃存中、并在需要時將其加載到 DRAM 中，實現(xiàn)大型語言模型的高效推理。創(chuàng)新之處在 于 1）通過窗口化技術(shù)減少從閃存中傳輸?shù)臄?shù)據(jù)量；2）通過行列捆綁技術(shù)優(yōu)化數(shù)據(jù)塊讀 取方式，從而實現(xiàn)在內(nèi)存有限的 iPhone 和其他蘋果設(shè)備上部署 LLM。優(yōu)化之后，設(shè)備能 夠支持運行的模型大小達(dá)到了自身 DRAM 的 2 倍；LLM 的推理速度在 Apple M1 Max CPU 上提高了 4-5 倍，在 GPU 上提高了 20-25 倍。

2.XR: VisionPro 開售，“空間計算”時代到來

2.1 XR：市場空間巨大，2024 新品迭出

XR 潛在市場空間巨大。據(jù) IDC，預(yù)計 2023 年全球 VR 設(shè)備出貨量 760 萬臺、同比下滑 10.7%，到 2027 年 VR 設(shè)備出貨量有望達(dá)到 2190 萬臺，CAGR 為 30.1%，實現(xiàn)快速增 長。AR 設(shè)備出貨量將從 2023 年的 50 萬臺增長至 2027 年的 680 萬臺，CAGR 高達(dá) 96.5%。 根據(jù)工信部、教育部、文旅部、廣電總局、體育總局等五部門聯(lián)合印發(fā)《虛擬現(xiàn)實與行 業(yè)應(yīng)用融合發(fā) io 展行動計劃（2022-2026 年）》，到 2026 年，我國虛擬現(xiàn)實產(chǎn)業(yè)總體 規(guī)模（含相關(guān)硬件、軟件、應(yīng)用等）超過 3500 億元，虛擬現(xiàn)實終端銷量超過 2500 萬臺。

2024 年 XR 新品涌現(xiàn)。除了備受關(guān)注的蘋果 Vision Pro1 月 19 日開啟預(yù)售之外，2024 年 CES 大會上 XR 領(lǐng)域也展示了眾多創(chuàng)新成果。比如三星發(fā)布全球首款 OLEDoS 顯示屏、 用于 XR 頭顯，索尼發(fā)布 XR 一體機、搭載驍龍 XR2+ Gen 2，雷鳥推出新一代雙目全彩 MicroLED 光波導(dǎo) AR 眼鏡雷鳥 X2 Lite，華碩發(fā)布 AirVision M1 可穿戴顯示器，創(chuàng)維推出 混合現(xiàn)實頭顯 MR PANCAKE 2，歌爾展示全新 VR/AR 顯示模組等創(chuàng)新技術(shù)及解決方案， 三星發(fā)布全球首款用于 XR 頭顯的 OLEDoS 顯示屏等。

2.2 硬件：創(chuàng)新交互方式，Vision Pro 開啟“空間計算”時代

作為 MR 龍頭，蘋果 Vision Pro 有望開啟“空間計算”時代。 蘋果目前在 XR 的布局， 主要包括 VisionPro（MR 設(shè)備，已開售）、VisionPro2（MR 設(shè)備，在研）、智能眼鏡 Apple Glass（AR 設(shè)備，在研）。根據(jù)蘋果官網(wǎng)信息，Vision Pro 共有 256GB/512GB/1TB 三個 存儲版本，售價 3499-3899 美元。VisionPro 1 月 19 日開啟預(yù)售、開訂 18 分鐘后庫存就 已售罄，據(jù) TrendForce 集邦，預(yù)估 2024 年 Apple Vision Pro 出貨量約 50-60 萬臺。我 們預(yù)計未來 VisionPro 有望成為新的增長動力，F(xiàn)Y 2024-2026 財年分別為 0.6/1.2/1.2 百 萬臺，帶來收入增量超過 20/40/40 億美元。

Vision Pro 是一款增強現(xiàn)實頭顯 MR，創(chuàng)新點主要體現(xiàn)在創(chuàng)新交互方式（手眼語音交互 +Eyesight 反向透視）、芯片配置（搭載 M2 +R1 雙芯片）、顯示（Micro OLED 單眼分 辨率達(dá)到 4K）、極致隱私（虹膜識別）、自研系統(tǒng) visionOS、兼容蘋果生態(tài)、應(yīng)用場景 持續(xù)拓展等方面。VisionPro 幾大應(yīng)用場景如辦公、游戲、居家、觀影等，與蘋果已有硬 件系列實現(xiàn)打通互聯(lián)。此外，iPhone 15 pro 推出空間視頻拍攝功能、可在 Vision Pro 觀 看，推進蘋果生態(tài)打通。

蘋果 Vision Pro 將 AR 與 VR 融合，通過一個旋鈕可在 AR 和 VR 之間切換。用戶既可以 沉浸式體驗 VR 的功能如玩游戲、看電影、辦公等，也可以利用頭顯表面的傳感器，將外 部世界的人和物投射入虛擬世界，從而實現(xiàn) AR 功能。我們認(rèn)為 Vision Pro 具備幾大創(chuàng) 新亮點：

1）創(chuàng)新交互方式：手眼語音交互+Eyesight 反向透視。眼球追蹤+語音+手勢控制：用戶不需要通過手柄控制，只需通過眼睛注視瀏覽 應(yīng)用圖標(biāo)，手部輕點選擇、輕掃滾動，或語音呼叫 Siri 發(fā)布指令，還可以使用 虛擬鍵盤輸入文字。Vision Pro 依靠包括 12 個攝像頭、5 個傳感器和 6 個麥克 風(fēng)來實現(xiàn)感知。

具備 Eyesight 反向透視功能：Vision Pro 的黑色外殼可以變得透明，讓周圍的 人看到用戶的眼睛，并讓周圍的人意識到用戶正在關(guān)注什么事情。

2）芯片配置：搭載 M2+R1 雙芯片。R1 芯片主要負(fù)責(zé)傳輸，能夠提供超強的算力以及超低的延時。同時還能還原自 己真實的人物形象，呈現(xiàn)出真實的空間感。官方稱傳輸數(shù)據(jù) 12 毫秒就可以觸 達(dá)，快于眨眼速度。

3）顯示：Micro OLED 單眼分辨率達(dá)到 4K。Vision Pro 主顯示屏采用 Micro OLED，單眼分辨率達(dá)到 4K，為市場上首次出現(xiàn) 的使用 Micro OLED 實現(xiàn)雙目 8K 效果的產(chǎn)品。

4）極致隱私：虹膜識別。Vision Pro 采用 Optic ID 虹膜識別，用戶的 Optic ID 信息完全加密存儲在設(shè)備 上，用戶使用 Apple Vision Pro 時的瀏覽內(nèi)容和眼追蹤信息均不會與 Apple、第 三方 apps 或網(wǎng)站分享。

5）自研系統(tǒng) visionOS、兼容蘋果生態(tài)。自研系統(tǒng) visionOS：Vision Pro 搭載全球首創(chuàng)的空間操作系統(tǒng) visionOS，打造 無邊際畫布。提供 3D 界面，應(yīng)用體驗不受顯示器邊界限制，用戶可以將應(yīng)用 放大至任意尺寸、并放置在想要的任何位置。

具備專門的應(yīng)用商店：具備專用 App Store，可以下載 Vision Pro 應(yīng)用程序以及 兼容 iPhone 和 iPad 應(yīng)用程序。

6）應(yīng)用場景持續(xù)拓展。Vision Pro 展示幾大應(yīng)用場景，如辦公、視頻、游戲、居家、觀影等，與蘋果已 有硬件系列實現(xiàn)打通互聯(lián)。 從 BOM 角度，根據(jù) Wellsenn XR 的統(tǒng)計，蘋果 Vision Pro 單機 BOM 成本預(yù)計超過 1700 美元，產(chǎn)業(yè)鏈中價值量較高的環(huán)節(jié)包括芯片、屏幕、光學(xué)、結(jié)構(gòu)件、傳感器等環(huán)節(jié)。

創(chuàng)新交互方式：Meta VS 蘋果，產(chǎn)品生態(tài)不同、帶來 XR 產(chǎn)品交互模式不同

Meta：

生態(tài)：Meta 的 MR 設(shè)備主要場景為游戲，因此需手柄操作。但 Meta 沒有硬件 基礎(chǔ)，向其他通用場景、如辦公等方向的擴展相對困難。

交互：Meta Quest 3 以手柄為主，裸手交互等自然交互為輔助。

蘋果：

生態(tài)：蘋果具備強大的軟硬件生態(tài)，VisionPro 展示的幾大重點場景如辦公、視 頻、游戲、居家、觀影等，可以與蘋果已有硬件系列實現(xiàn)打通互聯(lián)。但蘋果此 前無 VR 硬件和內(nèi)容基礎(chǔ)，VR 游戲內(nèi)容目前也非蘋果 MR 重心。

交互：Vision Pro 不含手柄操作，而是以眼球追蹤+語音+手勢控制三大自然交 互協(xié)同。

2.3 內(nèi)容生態(tài)：拓展應(yīng)用場景，推進生態(tài)互聯(lián)

我們認(rèn)為 Vision Pro 的內(nèi)容生態(tài)有以下特點：場景上，當(dāng)前 VR 內(nèi)容主要還是以游戲為主，Vision Pro 上市后，隨著應(yīng)用場景的不 斷拓展，有望覆蓋人們的日常生活方面，如辦公、居家、觀影、游戲等。 

維度上，從當(dāng)前人們熟悉的 2D 升維至 3D，更多 3D 內(nèi)容如 3D 空間視頻、3D 直播 等將快速發(fā)展，Vision Pro 已經(jīng)推出沉浸式視頻功能、iPhone 15 Pro 已推出 3D 空 間視頻拍攝功能。

生態(tài)上，VisionPro 兼容蘋果生態(tài)、且不斷完善開發(fā)者生態(tài)。蘋果 Vision Pro 自研系 統(tǒng) visionOS，可兼容 iPhone 和 iPad 應(yīng)用程序；開發(fā)者也可選擇使用 SwiftUI、 RealityKit、ARKit、Unity、Reality Composer Pro 和 XCode 等框架或工具，開發(fā) Vision Pro 原生應(yīng)用程序。Vision Pro 還可與蘋果已有硬件系列實現(xiàn)打通互聯(lián)。

展望未來，我們期待 AI 賦能 VisionPro。1）內(nèi)容場景端，Vision Pro 應(yīng)用場景持續(xù)拓展延伸。Vision Pro 持續(xù)拓展應(yīng)用場景。Vision Pro 展示幾大應(yīng)用場景，如辦公、視頻、游戲、居 家、觀影等，與蘋果已有硬件系列實現(xiàn)打通互聯(lián)。

2）內(nèi)容形態(tài)上，3D 空間視頻、直播等 3D 內(nèi)容形態(tài)將快速發(fā)展。Vision Pro 展現(xiàn)畫面從當(dāng)前人們熟悉的 2D 升維至 3D，比如 3D 空間視頻、直播等新型 內(nèi)容形態(tài)將快速發(fā)展，Vision Pro 已經(jīng)推出沉浸式視頻功能、iPhone 15 Pro 已推出 3D 空間視頻拍攝功能。 Vision Pro 帶來全新開創(chuàng)性的娛樂形式 Apple 沉浸式視頻（Apple Immersive Video）， 通過 180 度 3D 8K 視頻搭配空間音頻，實現(xiàn)身臨其境的體驗。用戶可在 Apple TV 上免 費觀看精選的沉浸式電影和劇集，包括《艾麗西亞·凱斯：排練室》、《Faith Dickey 高空 走鋼絲》、《史前星球沉浸式》和《野生動物》等。 iPhone 15 pro 推出空間視頻拍攝功能、可在 Vision Pro 觀看，推進蘋果生態(tài)打通互聯(lián)。 2023 年 11 月 10 日，蘋果發(fā)布 iOS 17.2 Beta 2 更新，新增 iPhone 15 Pro、iPhone 15 Pro Max 錄制空間視頻功能，并且可在蘋果 Vision Pro 頭顯上觀看、帶來沉浸式的 3D 視頻體驗。Vision Pro 搭載全球首創(chuàng)的空間操作系統(tǒng) visionOS，具備專用 App Store，可 下載 Vision Pro 應(yīng)用程序以及兼容的 iPhone 和 iPad 應(yīng)用程序。

3）應(yīng)用生態(tài)上，加強與蘋果生態(tài)兼容、完善開發(fā)者生態(tài)。蘋果生態(tài)方面，Vision Pro 可與蘋果已有硬件系列實現(xiàn)打通互聯(lián)。蘋果自研系統(tǒng) visionOS， Vision Pro 具備專用 App Store，可以下載 Vision Pro 應(yīng)用程序以及兼容 iPhone 和 iPad 應(yīng)用程序。開發(fā)者既可以選擇將原有 iPhone 和 iPad 應(yīng)用程序以“可縮放 2D 窗口”顯 示；也可以選擇使用 SwiftUI、RealityKit、ARKit、Unity、Reality Composer Pro 和 XCode 等框架或工具，構(gòu)建 Vision Pro 原生應(yīng)用程序。 Vision Pro 發(fā)售時將提供的各種流媒體服務(wù)和體育應(yīng)用程序包含 Disney+、ESPN、MLB、 PGA Tour、Max、Discovery+、Amazon Prime Video、Paramount+、Peacock、Pluto TV、 Tubi、Fubo、Crunchyroll、Red Bull TV、IMAX、TikTok 和 MUBI 等。

4）期待 AI 助手賦能 VisionPro。我們預(yù)計 AI 有望賦能 VisionPro 更智能、交互更順暢、提升用戶體驗。以 Meta 為例， Ray-Ban 眼鏡內(nèi)置 Meta AI，正在內(nèi)測進行進行語音交互以及圖像識別等。南洋理工大 學(xué)與微軟雷蒙德研究所聯(lián)合發(fā)布 AI 助手 Otter，可集成到蘋果 Vision Pro 類型頭顯中， 可以實現(xiàn)能完成多模態(tài)感知、推理、和上下文學(xué)習(xí)，比如提供麻將出牌建議、鍛煉計數(shù)、 提示調(diào)酒配方等。