AI模型對算力的需求體現(xiàn)在？

大廠布局 ChatGPT 類似產(chǎn)品，或?qū)淼讓铀懔π枨蟆?/p>

ChatGPT 發(fā)布之后，引發(fā)了全球 范圍的關(guān)注和討論，國內(nèi)各大廠商相繼宣布 GPT 模型開發(fā)計劃。據(jù)各公司官網(wǎng)，2023 年 2 月 7 日，百度宣布將推出 ChatGPT 類似產(chǎn)品“文心一言”，預計今年 3 月展開內(nèi)測；2 月 8 日阿里宣布阿里版 ChatGPT 正在研發(fā)中，目前處于內(nèi)測階段；2 月 9 日，字節(jié)跳動旗下 AI Lab 宣布正在開展 ChatGPT 和 AIGC 相關(guān)研發(fā)，未來將為 PICO 提供技術(shù)支持；2 月 10 日，京東旗下言犀人工智能平臺推出產(chǎn)業(yè)版 ChatGPT—“ ChatJD”。我們認為，隨著國內(nèi) 互聯(lián)網(wǎng)廠商陸續(xù)開展 ChatGPT 類似產(chǎn)品研發(fā)，GPT 大模型訓練熱潮或?qū)淼讓铀懔π?求快速釋放。

AI 模型對算力的需求主要體現(xiàn)在訓練和推理兩個層面。當前主流的人工智能算法通常可分 為“訓練”和“推理”兩個階段。據(jù) IDC 數(shù)據(jù)，2021 年中國人工智能服務(wù)器工作負載中， 57.6%的負載用于推理，42.4%用于模型訓練。據(jù) IDC 預計，到 2026 年 AI 推理的負載比 例將進一步提升至 62.2%。

具體來看： 1）訓練階段：基于充裕的數(shù)據(jù)來調(diào)整和優(yōu)化人工智能模型的參數(shù)，使模型的準確度達到預 期。對于圖像識別、語音識別與自然語言處理等領(lǐng)域的復雜問題，為了獲得更準確的人工 智能模型，訓練階段常常需要處理大量數(shù)據(jù)集、做反復的迭代計算，耗費巨大的運算量。 2）推理階段：訓練階段結(jié)束以后，人工智能模型已經(jīng)建立完畢，已可用于推理或預測待處 理輸入數(shù)據(jù)對應(yīng)的輸出（例如給定一張圖片，識別該圖片中的物體），此過程被稱為推理階 段。推理階段對單個任務(wù)的計算能力要求不如訓練那么大，但是由于訓練出來的模型會多 次用于推理，因此推理運算的總計算量也相當可觀。

ChatGPT 算力需求場景包括預訓練、Finetune 及日常運營。從 ChatGPT 實際應(yīng)用情況來 看，從訓練+推理的框架出發(fā)，我們可以將 ChatGPT 的算力需求按場景進一步拆分為預訓 練、Finetune 及日常運營三個部分：1）預訓練：主要通過大量無標注的純文本數(shù)據(jù)，訓練 模型基礎(chǔ)語言能力，得到類似 GPT-1/2/3 這樣的基礎(chǔ)大模型；2）Finetune：在完成預訓練 的大模型基礎(chǔ)上，進行監(jiān)督學習、強化學習、遷移學習等二次或多次訓練，實現(xiàn)對模型參 數(shù)量的優(yōu)化調(diào)整；3）日常運營：基于用戶輸入信息，加載模型參數(shù)進行推理計算，并實現(xiàn) 最終結(jié)果的反饋輸出。

預訓練階段：單次算力需求取決于模型參數(shù)量，最高可達3640 PFlop/s-day。ChatGPT 基于 Transformer 架構(gòu)，進行語言模型預訓練。GPT 模型之所以能夠高效地完 成大規(guī)模參數(shù)計算，我們認為離不開Transformer架構(gòu)的加持。拆解Transformer架構(gòu)來看， 核心是由編碼模塊和解碼模塊構(gòu)成，而 GPT 模型只用到了解碼模塊。拆解模塊來看，大致 分為三層：前饋神經(jīng)網(wǎng)絡(luò)層、編碼/解碼自注意力機制層（Self-Attention）、自注意力機制掩 碼層，其中：1）注意力機制層主要作用在于計算某個單詞對于全部單詞的權(quán)重（即 Attention）， 從而能夠更好地去學習所有輸入之間的關(guān)系，實現(xiàn)對文本內(nèi)在關(guān)系的理解和更大規(guī)模的并 行計算；2）前饋神經(jīng)網(wǎng)絡(luò)提供了對數(shù)據(jù)信息的高效存儲及檢索；3）掩碼層在這一過程中 幫助模型屏蔽位于計算位置右側(cè)尚未出現(xiàn)的單詞。因此，相較于前代深度學習架構(gòu) RNN， Transformer 架構(gòu)可以實現(xiàn)更大規(guī)模的并行計算，大大提升了計算效率。

單一大模型路線下，需要完成大規(guī)模參數(shù)計算。以 GPT-3 模型為例，隨著模型朝更大體量 的方向演進，參數(shù)量從 GPT-3 Small 的 1.25 億個增長到 GPT-3 175B 的 1746 億個，一次 訓練所需的計算量從 2.6PFlop/s-day 增至 3640PFlop/s-day。與此同時，在不同學習樣本 （包括小樣本、單一樣本、零樣本）條件下的模型，隨著參數(shù)量的提升均實現(xiàn)不同幅度的 上下文學習能力改善，外在表現(xiàn)為語言準確率的提升。我們認為，隨著大模型訓練表現(xiàn)出 越來越強大的實戰(zhàn)能力，未來或?qū)⒊蔀?NLP 訓練的主流選擇。

推理階段：預計單月運營算力需求約7034.7 PFlop/s-day。ChatGPT 近一月訪問量為 8.89 億次。據(jù) SimilarWeb 數(shù)據(jù)，2023 年 1 月以來 ChatGPT 官 網(wǎng)日訪問量持續(xù)攀升，從 1 月初的日均千萬次級別，到 1 月底日均兩千萬次，再到 2 月中 旬的三千萬次級別，隨著軟件效果的廣泛傳播，用戶訪問次數(shù)愈發(fā)頻繁。加總近一月 （2023/1/17-2023/2/17）ChatGPT 官網(wǎng)訪問量數(shù)據(jù)來看，可得 ChatGPT 月訪問量為 8.89 億次。

預計日常運營單月所需算力約 7034.7 PFlop/s-day。日常運營過程中，用戶交互帶來的數(shù) 據(jù)處理需求同樣也是一筆不小的算力開支。據(jù)前文，近一個月（2023/1/17-2023/2/17） ChatGPT 官網(wǎng)總訪問量為 8.89 億次。據(jù) Fortune 雜志，每次用戶與 ChatGPT 互動，產(chǎn)生 的算力云服務(wù)成本約 0.01 美元。基于此，我們測算得 2023 年 1 月 OpenAI 為 ChatGPT 支 付的運營算力成本約 889 萬美元。此外，據(jù) Lambda，使用訓練一次 1746 億參數(shù)的 GPT-3 模型所需花費的算力成本超過 460 萬美元；據(jù) OpenAI，訓練一次 1746 億參數(shù)的 GPT-3 模型需要的算力約為 3640 PFlop/s-day。我們假設(shè)單位算力成本固定，測算得 ChatGPT 單 月運營所需算力約 7034.7PFlop/s-day。

Finetune階段：預計ChatGPT單月Finetune的算力需求至少為1350.4PFlop/s-day。模型迭代帶來 Finetune 算力需求。從模型迭代的角度來看，ChatGPT 模型并不是靜態(tài)的， 而是需要不斷進行 Finetune 模型調(diào)優(yōu)，以確保模型處于最佳應(yīng)用狀態(tài)。這一過程中，一方 面是需要開發(fā)者對模型參數(shù)進行調(diào)整，確保輸出內(nèi)容不是有害和失真的；另一方面，需要 基于用戶反饋和 PPO 策略，對模型進行大規(guī)模或小規(guī)模的迭代訓練。因此，模型調(diào)優(yōu)同樣 會為 OpenAI 帶來算力成本，具體算力需求和成本金額取決于模型的迭代速度。

預計 ChatGPT 單月 Finetune 算力需求至少為 1350.4PFlop/s-day。據(jù) IDC 預計，2022 年中國人工智能服務(wù)器負載中，推理和訓練的比例分別為 58.5%、41.5%。我們假設(shè)， ChatGPT 對推理和訓練的算力需求分布與之保持一致，且已知單月運營需要算力 7034.7 PFlop/s-day、一次預訓練需要算力 3640 PFlop/s-day。基于此，我們進一步假設(shè)：1）考 慮到 AI 大模型預訓練主要通過巨量數(shù)據(jù)喂養(yǎng)完成，模型底層架構(gòu)變化頻率不高，故我們假 設(shè)每月最多進行一次預訓練；2）人類反饋機制下，模型需要不斷獲得人類指導以實現(xiàn)參數(shù) 調(diào)優(yōu)，以月為單位可能多次進行。由此我們計算得 ChatGPT 單月 Finetune 算力成本至少 為 1350.4PFlop/s-day。