AI大模型訓(xùn)練與推理算力需求測算

近年來，全球范圍內(nèi)AI大模型的研發(fā)熱度持續(xù)攀升，從早期的Transformer和BERT 模型到如今的GPT-4、Gemini、LLaMA等，各主流廠商在模型規(guī)模、訓(xùn)練數(shù)據(jù)體量 與算力資源的投入上均呈現(xiàn)指數(shù)級增長。

以O(shè)pen AI的GPT系列為例，GPT-3訓(xùn)練參 數(shù)量達(dá)1750億，使用約355個GPU-年，訓(xùn)練成本達(dá)1200萬美元；GPT-4在硬件規(guī)模 和訓(xùn)練時長上雙雙大幅躍升，動用約2.5萬塊A100 GPU訓(xùn)練近百天，整體投入超過1 億美元。 國內(nèi)如百度、阿里、商湯等頭部廠商亦加快布局，LLaMA-3.1、Deepseek-V3等模 型雖參數(shù)量略小于GPT-4，但在算力利用效率及成本控制方面表現(xiàn)出更強(qiáng)的工程優(yōu) 化能力，如Deepseek-V3使用2048塊H800 GPU訓(xùn)練56天，總成本控制在600萬美 元以內(nèi)，為國內(nèi)廠商在芯片受限背景下，實現(xiàn)AI加速卡高利用率、訓(xùn)練整體高性價 比提供可能性。

AI大模型訓(xùn)練驅(qū)動算力需求增長，國外廠商定制AI芯片采購量占比高。英偉達(dá) Hopper架構(gòu)是2022年推出的最新一代高性能計算、深度學(xué)習(xí)和人工智能應(yīng)用的計算 架構(gòu)。它繼承了前代架構(gòu)（Ampere）的優(yōu)點，并在多個方面進(jìn)行了優(yōu)化，旨在提供 更高的計算效率和靈活性。Hopper架構(gòu)的顯卡型號包括H100、H200、H800和H20， 其中H800和H20是針對中國市場的定制版本。 根據(jù)Omdia報告數(shù)據(jù)，2024年英偉達(dá)Hooper架構(gòu)芯片出貨客戶中，微軟以48.5萬張 的采購數(shù)位于首位，Meta、特斯拉、亞馬遜和谷歌的采購量分別達(dá)到22.4萬/20萬 /19.6萬/16.9萬張；字節(jié)跳動和騰訊均達(dá)到約23萬張，阿里巴巴和百度也分別達(dá)到5.8 萬/2萬張，包括訓(xùn)練卡和推理卡，數(shù)量上H20占多數(shù)。整體來看，Hopper架構(gòu)芯片 的出貨量集中于頭部企業(yè)，中美科技公司均將Hopper架構(gòu)芯片作為生成式AI基礎(chǔ)設(shè) 施的關(guān)鍵算力支撐，但部分公司已通過自研芯片或AMD替代方案降低對單一架構(gòu)的 依賴。考慮單芯片算力差距等因素，國內(nèi)外廠商AI訓(xùn)練的算力儲備仍存在不小的差距。

敏感性分析：基于以下假設(shè)條件，我們通過改變參數(shù)量-數(shù)據(jù)量之比，對用于AI大模 型訓(xùn)練需求的AI加速卡的數(shù)量做關(guān)于參數(shù)量和訓(xùn)練token數(shù)量的敏感性分析，得到的 結(jié)果如表3所示。 （1）參數(shù)量取200~1400B之間，每200B為一個間隔。 （2）數(shù)據(jù)量取4000~24000B tokens之間，每4000B tokens為一個間隔。 （3）AI加速卡使用Hopper架構(gòu)下的H100芯片（FP16：1,979TFLOPS，50%）， 正常訓(xùn)練時單卡算力取1000TFLOPS。 （4）訓(xùn)練周期為60天。

國內(nèi)AI算力不足的情況下，國內(nèi)大模型公司通過算法迭代、架構(gòu)升級等方式降低訓(xùn) 練成本。 Deepseek-V3的訓(xùn)練規(guī)模為參數(shù)量672B、訓(xùn)練數(shù)據(jù)14.8T tokens，其訓(xùn)練56天僅需 2,048張H800 GPU，預(yù)訓(xùn)練成本約557.6萬美元。而根據(jù)前文的計算方法大約需要 1.25萬張H100 GPU（H800與H100算力相當(dāng)）。 根據(jù)Deepseek-V3 Github官方主頁，其高效性主要得益于多項技術(shù)創(chuàng)新。具體而言， Deepseek在預(yù)訓(xùn)練中設(shè)計并首次在超大規(guī)模模型上驗證了FP8混合精度訓(xùn)練框架 的可行性和有效性，突破了跨節(jié)點MoE訓(xùn)練的通信瓶頸，近乎實現(xiàn)計算-通信的完全 重疊，顯著提升了訓(xùn)練的效率及成本效益。參考Deepseek的模型訓(xùn)練屬性，表明AI 大模型訓(xùn)練端成本依舊存在巨大的優(yōu)化潛力，尤其在訓(xùn)練架構(gòu)及算法層面上能夠借 鑒Deepseek的技術(shù)路徑或持續(xù)創(chuàng)新。

用戶與基于云端的AI大模型交互驅(qū)動AI推理側(cè)算力的增長。為測算AI大模型訪問量 給廠商帶來新增的算力需求，我們進(jìn)行以下假設(shè)： （1）AI加速卡使用A100（FP16：312TFLOPS，50%）芯片來測算。 （2）AI大模型的單日訪問量為5億至7億人次之間。 （3）每日每位訪問AI大模型的用戶的對話次數(shù)為10次：根據(jù)SimilarWeb的數(shù)據(jù)， 25年1月27日-2月2日，DeepSeek網(wǎng)頁版訪問的平均時長為5分鐘。通過觀察，在5 分鐘內(nèi)，用戶平均對話問題在10個左右。 （4）AI大模型每日正常使用時間為18小時：AI大模型的推理與用戶與其對話的時間 相關(guān)。正常情況下，用戶在晚間睡眠時間（24:00-6:00）與AI大模型的互動較少。 （5）單位AI加速卡每秒生成內(nèi)容數(shù)量為1個：根據(jù)英偉達(dá)官網(wǎng)，A100針對于BERT類的AI大模型可實現(xiàn)每秒推理1757次。因此可假設(shè)單片A100用于AI大模型每秒生成 1757個單詞，與單次客戶需要生成的內(nèi)容數(shù)量相當(dāng)。 由此測算出，在以上假設(shè)下，由于用戶對話和訪問AI大模型的推理量的增加，預(yù)計 AI加速卡需求在7.7萬~10.8萬張之間。

敏感性分析：以上測算中，單日對話次數(shù)和單日訪問量對于算力需求的影響較大。 為進(jìn)一步細(xì)化算力需求的測算，我們預(yù)計AI大模型的單日訪問量的范圍在5億人次到 9億人次之間；用戶與AI大模型單日的對話次數(shù)預(yù)計在7-13次之間，其余假設(shè)與上述 測算相同，對用于AI大模型推理新增的AI加速卡的數(shù)量做關(guān)于單日對話次數(shù)和單日 訪問量的敏感性分析。