企業私有化部署和云上部署有何差異？

小型企業及高成長性企業云化驅動力較強，云上部署相較于私有化部署具備更高性價比。

1.企業私有化部署和云上部署的考慮因素

企業私有化部署對數據中心具有更高控制權，云上部署更具使用彈性。私有化部署即自建數據中心， 云上部署則采用云服務提供商的配套服務。在私有化部署情況下，企業數據不會通過公共網絡傳輸， 安全性更高，且不同企業可針對自身特定需求進行定制化部署，具備更大控制權。云上部署則無需 投入大量初始資本以及后續運維費用，相關配套服務通常由云服務商統一提供，更加快捷易用，同 時可根據業務需求進行擴展或縮減，使用彈性更加靈活。

GPU供不應求、部署周期較長或成為制約企業私有化部署的關鍵，使用彈性、成本優勢是企業選擇 云上部署的長遠考量。在AI時代下，GPU的供需缺口是導致眾多企業難以進行私有化部署的關鍵， 當前，適用于AI的高性能GPU供不應求，眾多中小企業和初創公司難以獲得高性能芯片以自建算力 集群；此外，根據《華為云昇騰AI云服務》數據，云上部署相較于自建IDC，開通效率更高，通常 情況下，自建數據中心從招標到驗收需要三個月以上，而云服務可做到分鐘級資源開通。而從長期 來看，企業自建IDC的情況下，業務曲線和資源曲線之間容易產生短缺和浪費，云上部署則可以根 據業務情況靈活增減，實現資源按需付費，成本更加可控。

2.企業私有化部署和云上部署的客戶畫像

微小型企業選擇上云為主，大型企業配備私有化部署。 ① 大型企業自建數據中心，業務生態有望整合協同。根據HG Insights數據，大型企業和中型企業在 上云的同時，還會選擇自建數據中心。三大云廠商的下游客戶中，超過70%的大型企業（員工數量 超過1000人）均會選擇“上云+自建數據中心”的方案。由于大型企業具備較強的資金或資源實力， 通常會圍繞自身核心業務配備數據中心，以實現業務的生態協同和更高的成本效益。 ② 小型企業選擇上云為主，按需購買實現彈性易用。根據HG Insights數據，小微企業（員工數量小 于100人）以上云為主。由于小型企業云服務需求相對較小，且上云方案更加簡單易用，只需按需 訂閱，因此初創企業和小微企業多數選擇上云為主。

微型支出客戶占比約八成，北美地區客戶分布較多。① 從客戶支出水平來看：根據HG Insights數據，微型支出客戶（月均支出小于1k美元）在各家云廠 商中的占比可達75%~90%；整體來看，谷歌的微型支出客戶占比更高，亞馬遜和微軟的中大型支 出客戶占比更高。 ② 從客戶地區分布上看：根據HG Insights數據，亞馬遜AWS和谷歌GCP北美客戶占比過半，分別為 53%和52%，高于微軟的38%；而微軟Azure在歐中非地區具備相對優勢，客戶占比為39%，亞馬 遜AWS和谷歌GCP分別僅為26%和28%。

穩態企業可選擇自建機房，高成長企業云化驅動力較強。當企業業務長期穩定在某一存量水平，或 核心業務需要基礎設施配套協同時，自建機房不失為一種合理的選擇；而當業務具備較高成長性時， 企業可以選擇分階段、增量式上云，如互聯網、游戲等行業，在開發階段算力需求旺盛、系統需要 快速上線，項目可能呈現爆發式增長，為滿足業務需要，上云更具靈活性。根據HG Insights數據， 金融、科技、醫療等行業的IT支出排名較為靠前，支付意愿較強。隨著大語言模型的持續發展，金 融、科技（代碼）、醫療、法律以上四大行業可以通過混合專家模型等技術手段，在基座模型之上 進行垂類專業能力的學習強化，推出具備更高成本效益的AI工具，為B端企業降本增效。

3.企業私有化部署與云上部署的成本探討

當前，集群擴展的主要驅動因素在于千億或萬億參數模型的預訓練需求。在LLMs預訓練階段，需 要將大量的訓練數據并行至足夠量的GPU上，而GPU的顯存成為制約訓練更大模型的主要條件之一。 因此，我們基于AI時代下模型預訓練的算力需求，對企業是否選擇云上部署進行成本探討。 ① 公式一：模型預訓練所需計算次數=6*模型參數量*預訓練數據量。根據OpenAI《Scaling Laws for Neural Language Models》，訓練Transformer模型的理論計算量為C≈6N*D，其中，N為 模型參數量大小，D為訓練數據量大小。 ② 公式二：模型預訓練所用GPU hours=預訓練所需計算次數/（單顆GPU每秒計算次數*60s* 60mins*GPU算力的有效利用率）。

影響因素一：模型大小。 企業AI模型多為業務場景而設計，部署中等大小模型即可滿足一般需求。參考Meta的Llama系列模 型，可分為大/中/小三種尺寸模型。從模型參數量來看，可分為7B/70B/400B梯隊；從預訓練數據 量來看，可分為1T~2T和15T級別。從B端企業視角來看，AI模型主要為業務場景而設計，多數客戶 無需對模型規模進行無限擴展，70B參數大小即可滿足一般需求，而7B小模型通常為端側場景設計、 千億參數模型大多用作通用基座模型。因此，我們基于70B的模型參數量、預訓練數據量分別選取 2.5T、5T、7.5T，對下游企業的模型預訓練成本進行測算。

影響因素二：GPU的峰值算力。 H100為當前云服務可用實例的領先產品，模型訓練多采用半精度算力水平。根據各個云廠商官網 公布的云服務可用實例，H100是當前企業用戶能夠獲得的更為先進的GPU產品，相較于A100、 V100等芯片產品，H100的預訓練效率更高、可擴展數量更多。且GPU采用的浮點精度不同，實際 的算力水平也有較大差別，精度越高、可支持的運算復雜程度越高，而在AI模型的訓練場景中，通 常使用半精度浮點計算（FP16）。因此，我們將以H100在FP16 Tensor核心性能下的算力水平為 基礎，對私有化部署和云上部署成本進行測算。

影響因素三：算力利用率（MFU） 。 萬卡集群MFU可達40%，GPU數量越少、MFU越高。GPU的算力利用率（MFU）即GPU的實際 吞吐量與理論峰值吞吐量的比。由于大語言模型預訓練并非簡單的并行任務，而是需要將模型分布 在多個GPU之上，GPU之間需要頻繁通信，疊加操作符優化、數據預處理、內存消耗等因素，GPU 的MFU在實際訓練中難以達到理論上的算力峰值水平。根據Meta Llama-3.1官方披露數據，在8K 張和16K張GPU集群下，MFU分別可達到43%和41%的水平。根據字節的MegaScale論文，通過 仔細調整并行性配置、硬件和軟件，在BF16精度下，MegaScale方法可實現50％以上的算力利用 率。此外，隨著GPU數量的增加、算力集群的擴大，GPU算力的有效利用率呈現下降趨勢。

影響因素四：GPU硬件成本、GPU租賃價格。私有化部署成本：單張H100成本在2萬美金至3.5萬美金之間不等，GPU成本約占集群總擁有成本 中約40%。根據SemiAnalysis數據，單張H100成本約2.5萬美金。按照英偉達官方對一個1.6萬卡 超大規模智算中心按照運營4年的計算，成本端需要投入10億美元建設成本和運營成本，其中數據 中心基建投資和運營維護成本約占一半、GPU購置成本為40%，網絡成本約10%。云上部署成本：H100云租賃價格從2$~13$/GPU/h不等。根據各個云廠商單張GPU的每小時定價， 頭部廠商得益于基礎設施更加安全完善、PaaS層配套工具更加全面易用，具備更高議價能力， H100云租賃定價基本在10$/GPU/h以上。而算力租賃初創企業定價基本位于2$~5$/GPU/h區間， 具備低價優勢。