大語言模型將如何改變智能家居？

ChatGPT、GPT 4.0 等大語言模型加速 AI、人機交互領 域發展。

ChatGTP 及 GPT4.0 等大語言模型引領自然語言處理技術發展，為人機交互、 AI 等領域帶來革命性升級。大語言模型是人工智能領域中自然語言處理技術的重要 發展方向之一，是 AI 實現自然語言理解和生成能力的重要工具。2022 年 12 月 OpenAI 推出的 ChatGPT（基于深度學習、運用最先進的自然語言處理技術的大預 言模型）和 2023 年 3 月推出的 GPT 4.0（大型多模態模型）相繼面世引起了廣泛的 討論和關注。ChatGPT 是 GPT 等大型語言模型的一個特殊應用，基于 GPT-3.5 模 型構建，在針對對話生成領域的任務上進行了微調，提高了模型在這個特定領域上 的表現。使得模型在生成對話時的流暢度、連貫性和邏輯性提升，以及生成結果更 加符合對話場景的語境和邏輯，更加自然流暢，更符合人類談話交流的習慣和方式。

大模型的發展在 2018 年中期后呈現加速發展態勢。2018 年 6 月，OpenAI 發 布 GPT 模型，使大語言模型領域開始受到廣泛關注；同年 10 月，Google 發布了 BERT 模型，極大地推動自然語言處理技術發展。此外，2019 年中旬至 2020 年， GPT-2、T5 的推出也進一步加快其發展速度。 大模型具備五大能力，其中自然的溝通與多模態感知能力對智能家居最為重要。 ChatGPT、GPT 等大語言模型擁有：1）自然的溝通能力（通過自然語音處理技術）； 3）多模態感知能力；3）運算能力；4）全面的專業能力（通過問答系統）；5）動態 學習五大能力。考慮到 1）智能家居所處空間較固定，操作和控制任務已較固定和簡 單；2）應用場景和具體實現方式對用戶的直接程度。我們認為大語言模型五種能力 中的溝通能力以及多模態感知能力對于智能家居設備更為重要。隨著大語言模型的 溝通能力更加自然以及多模態感知能力的持續提升，預計智能家居的多項能力將得 到提升。

大語言模型能夠提升智能家居硬件設備的智能化水平、交 互能力。發展一：溝通能力更加自然。智能家居設備的控制和操作，需要先通過語音與 用戶進行交互。自然溝通能力強的大語言模型，可以更加準確地理解用戶語言中的 細節和上下文，幫助用戶更快更準確地完成操作（例如用戶可以通過自然語言命令 控制照明、電視等設備的開關、調整亮度和音量等功能）。未來隨著 1）多模態信息 融入；2）引入更多的上下文信息/長時記憶；3）提高文本生成能力（eg.采用最新的 記憶增強型神經網絡等自然語言處理技術），大語言模型的溝通能力將更加自然。

ChatGPT 使得智能家居設備語音交互的響應速度、準確性得到提升。智能家居 采用的語音交互技術是一種基于自動語音識別、自然語言理解、對話狀態控制、對 話管理等技術手段，實現人機交互的技術。ChatGPT 所采用的 NPL 在驅動方式、上 下文感知、語言表達能力、精度、應用范圍、靈活性上較傳統 NPL 有了極大的升級。 ChatGPT 的自然語言處理技術（NPL）應用于語音交互可以提高其響應速度和準確 性，更加流程自然，充滿人性化。

發展二：多模態感知能力提升使設備獲取信息更全面。智能家居設備（例如中 控屏、智能浴室鏡）不僅可通過語音進行操作，還可以通過其他模態進行交互，例如 圖像、視頻等。因此，在智能家居領域中，多模態感知能力的大語言模型可以幫助設 備通過多種方式獲取信息，包括語音、圖像、視頻等，從而提供更準確的答案，提升 用戶交互體驗。GPT 4.0 推出，可以進一步提升設備的多感官感知能力，實現多種 感官輸入的整合和協調（圖像+音頻+文本），從而獲得更全面、更準確和更可靠的信 息。例如微軟的 KOSMOS-1 和 OpenAI 最新推出的 GPT4.0 均為大型多模態模型。 例如：用戶詢問“哪里有空氣質量好的公園？”問題時，1）智能家居設備可通 過語音識別技術將用戶的語音轉化為文本，理解用戶的需求；2）設備可以結合用戶 所在的位置信息和天氣狀況，利用互聯網及公共數據庫中的環保數據、空氣質量數 據等信息，篩選出空氣質量好的公園，并提供相應的地圖和位置指示，方便用戶前 往；3）設備可以通過圖像識別技術，分析該公園是否綠化率高、無污染等，通過視 頻展示公園的實際情況，讓用戶更直觀了解該公園的環境和氛圍；4）最終通過多種 方式獲取信息和展示結果，設備可以提供最全面、準確的答案，提升用戶交互體驗。

多模態感知+傳感器技術（人體、聲音）提升設備的智能化水平（反饋信息的準 確性、靈活度）。家用智能傳感器技術運作首先借助傳感器通過感知語音、圖像、手 勢等，收集數據并將其轉換為數字信號，在這一環節中使用多模態感知可以幫助不 同傳感器的數據更好的融合，形成更有效的數據信號，使得后續的控制與反饋更加 精準，智能家居由被動智能變為主動智能。微軟通過一系列豐富的試驗，從語言任 務、跨模態遷移、非語言推理等評價 KOSMOS-1 這一多模態大預言模型，發現其在 以上各個任務完成中相比于單模態準確性、抗干擾性更高,更加靈活。

大語言模型未來或從三方面持續迭代，增強自身語言表達、邏輯分析能力。基 于 Transformer 的大語言模型可以通過大規模的無監督訓練從海量未標注、無結構 化的數據中學習，獲取語言的深層次結構和規律，從而在各種自然語言處理任務中 取得優異的效果，目前還在不斷刷新著各項任務的性能。但現有模型存在著 1）缺少 外部知識指導；2）耗用大量資源、成本高；3）體積大、推導慢的問題，針對這些問 題，目前主要從 1）數據量增加；2）調整參數；3）模型優化三個方向改進，分別對 應了 1）數據知識增強；2）參數微調；3）模型效率優化三條迭代路徑。預計未來模型還將持續發展，不斷提高其自身的語言表達及邏輯分析能力。

大語言模型迭代的驅動因素包括：1）硬件設備升級（支持計算資源和儲存資源 持續增加）；2）數據的豐富與優化（模型知識增強）；3）算法的優化與創新（提升 效率）。未來隨著大語言模型的持續迭代，預計智能家居硬件設備的交互能力、智能 化水平將進一步提升。具體來看：

驅動一：硬件升級（芯片+服務器）支持算力增長。芯片和服務器可以處理海 量的數據，為語言模型提供算力來源。AI 服務器是 ChatGPT 的基礎，隨著計算 場景從 PC→云計算→邊緣計算→AI 訓練，服務器從通用服務器→云計算服務器 →邊緣服務器→AI 服務器。芯片是 AI 服務器的基礎，以 ChatGPT 為例，其 AI 算 力芯片泛指加速 AI 類應用，主要分為 CPU（中央處理器）、GPU（圖像處理器）、 FPGA（現場可編程門陣列）、ASIC（專用集成電路）四類。其中 ChatGPT 的底 層算力芯片以高性能 GPU 為主，采用的是英偉達的 GPU A100。為提供 ChatGPT 龐大的算力支撐，已導入了超過 10000 顆英偉達 GPU A100。隨著芯片朝著更快 速的計算能力、更低的能耗、更廣的集成效果、更低的價格發展，推動服務器優 化，使得模型 1）訓練效率提高（模型迭代加速）；2）模型準確率和表現提升；3） 推理能力提升（響應速度加快）。

驅動二：數據質量優化（單模態→多模態）使得模型知識增強。如今 AI 垂直應 用場景呈現碎片化特征，單一模態小規模數據已無法滿足其高準確率和跨領域應用 的要求。為滿足聊天機器人所需要的預料訓練數據需求，GPT-1 預訓練數據量僅為 5GB，GPT-3 預訓練數據量已達 45TB。以公安、金融等場景身份鑒定場景下數據為 例，指紋、人臉、虹膜、聲紋以及靜脈數據在單一模態下都面臨各種可能干擾，數據 損耗難以避免，多模態大規模數據已成為模型迭代優化的重要方向。在更好地優化 模型性能、增強模型泛化性能和軟硬件結合方面，數據質量優化是必不可少的。