英偉達(dá)發(fā)展歷程分為幾個(gè)階段？

三十年歷經(jīng)沉浮，終成算力王者。

1、 1993-2004 年（3D 加速卡時(shí)代）：背靠微軟掌握標(biāo)準(zhǔn)，顯卡龍頭地位 初顯

公司早期聚焦圖形芯片，依靠游戲主機(jī)廠世嘉賺取第一桶金。1993 年 4 月，從 集成電路生產(chǎn)商 LSI Logic 出來(lái)的黃仁勛，聯(lián)合 Sun 公司兩位年輕工程師——Chris Malachowsky 和 Curtis Priem 共同創(chuàng)立了英偉達(dá)。初期，公司旨在通過(guò)生產(chǎn) 3D 圖 形芯片布局游戲和多媒體市場(chǎng)。彼時(shí) 3D 游戲及 3D 渲染仍然處于早期，業(yè)內(nèi)并無(wú)統(tǒng) 一標(biāo)準(zhǔn)，企業(yè)魚(yú)龍混雜，既包括索尼、東芝、IBM 等大廠，也有很多如英偉達(dá)一般 的創(chuàng)業(yè)者，這其中，1994 年成立的 3dfx 憑借 Voodoo 顯卡，成為 PC 端 3D 游戲的領(lǐng) 袖。1995 年英偉達(dá)推出公司首款面向游戲主機(jī)的多媒體加速器——NV1，集成了聲 卡和手柄控制單元。盡管該產(chǎn)品相較 Voodoo 性能不高，兼容性差，但 NV1 仍被運(yùn) 用于世嘉第六代游戲主機(jī)“土星”，為公司賺得了第一桶金（游戲機(jī)不需要考慮兼容 性問(wèn)題）。

公司瀕臨破產(chǎn)，綁定微軟重獲新生。1996 年，微軟發(fā)布了 Direct 3D 標(biāo)準(zhǔn)（只支 持“三角形繪圖”），而英偉達(dá)因堅(jiān)持“四邊形繪圖”的研發(fā)路線，NV1 很快便無(wú)人問(wèn)津， 同時(shí)，為世嘉研發(fā)的 NV2 以失敗告終，而對(duì)手 Voodoo 則順應(yīng)規(guī)律獲得 80%的市場(chǎng) 份額，英偉達(dá)走到破產(chǎn)邊緣。基于此，英偉達(dá)做出如下應(yīng)對(duì)： （1） 人事方面：任命主機(jī)游戲廠商水晶動(dòng)力的首席技術(shù)官 David Kirk 作為英 偉達(dá)的“首席科學(xué)家”； （2） 研發(fā)方面：確定了為期六個(gè)月的內(nèi)部周期目標(biāo)，產(chǎn)品更新迭代較快，更 快滿足下游需求的變化，同時(shí)即便某一產(chǎn)品失敗，也不會(huì)威脅到公司的 生存； （3） 拓客方面：綁定 PC 大客戶微軟，1997 年推出全球首款 128bit 的 3D 處 理器 RIVA128（NV3），這是第一款支持微軟 Direct3D 加速的圖形芯片， 也是當(dāng)時(shí)市場(chǎng)上唯一真正具有 3D 加速能力的 2D+3DAGP 顯卡，上市四 個(gè)月出貨量突破 100 萬(wàn)片。至 1997 年底，英偉達(dá)的 3D 顯卡市場(chǎng)份額為 24%，排名第二（僅次于 3Dfx Interactive）。隨后，英偉達(dá)進(jìn)一步發(fā)布的 RIVA 128ZX 支持 OpenGL，在雷神之錘中表現(xiàn)不錯(cuò)，而雷神之錘不支持 GLIDE 標(biāo)準(zhǔn)，使得 Voodoo 的優(yōu)勢(shì)有所弱化。

隨著 90 年代計(jì)算機(jī)的普及和 Windows 的崛起，圖形芯片主流市場(chǎng)逐步從主機(jī) 轉(zhuǎn)向 PC，也使得英偉達(dá)在微軟的助力下快速起勢(shì)。1999 年 1 月，英偉達(dá)全年?duì)I收 突破 1.5 億美元，并在納斯達(dá)克掛牌上市。同年 5 月，其圖形處理器銷(xiāo)量超過(guò) 1000 萬(wàn)。8 月，英偉達(dá)推出第一款以 GeForce 命名的顯示核心——GeForce 256，并首次 提出 GPU 概念，而后戴爾、Gateway、康柏、NEC、IBM 等紛紛宣布預(yù)裝英偉達(dá)的 GPU，與此同時(shí)，傳統(tǒng) 3D 加速卡市場(chǎng)也進(jìn)入了快速洗牌階段，2000 年底英偉達(dá)以 7000 萬(wàn)美元現(xiàn)金、100 萬(wàn)股公司股票，將 3Dfx 收入囊中，正式成為行業(yè)老大，彼時(shí) 市場(chǎng)仍具備競(jìng)爭(zhēng)力的廠商主要為 ATI。在這一過(guò)程中，英偉達(dá)綁定微軟持續(xù)推進(jìn)業(yè)務(wù)， DirectX 7.0 推出 T&L 技術(shù)（極大解放了 CPU 的算力，也是顯卡從 3D 處理器轉(zhuǎn)稱(chēng)為 GPU 圖形處理器的核心原因）、DirectX 8.0 實(shí)現(xiàn)了稱(chēng)為顯卡革命的動(dòng)態(tài)觀影效果，而 GeForce 亦成為這些 DX（DX 即 DirectX 縮寫(xiě)，下同）系列的代表性顯卡。

成也微軟，敗也微軟，Xbox 首發(fā)失利引發(fā)英偉達(dá)與微軟矛盾。英偉達(dá) GPU 的 暢銷(xiāo)加速了 DirectX 的普及，微軟與英偉達(dá)相輔相成，由此微軟不僅讓英偉達(dá)參與到 DirectX 標(biāo)準(zhǔn)的制定中，亦在 2000 年將初代 Xbox 訂單交于英偉達(dá)，這成為當(dāng)時(shí)英偉 達(dá)創(chuàng)辦以來(lái)最大的訂單。但由于研發(fā)時(shí)間短，期間出現(xiàn)電源供應(yīng) Bug、數(shù)據(jù)庫(kù)功能 不足等一系列問(wèn)題，最終 Xbox 錯(cuò)過(guò)先機(jī)敗給了 PS2。為了與 PS2 競(jìng)爭(zhēng)，微軟計(jì)劃降 低 Xbox 二代產(chǎn)品主機(jī)售價(jià)，并同時(shí)要求英偉達(dá)降低芯片價(jià)格，但受到黃仁勛拒絕， 疊加各種品控問(wèn)題，最終雙方矛盾激化。 微軟扶持 ATI，最終帶來(lái) N 卡與 A 卡長(zhǎng)期拉鋸戰(zhàn)。GPU 行業(yè)更新迭代迅速，上 一世代的贏家并不必定能鎖定下一時(shí)代的勝局，而在 DX9 之前，英偉達(dá)產(chǎn)品持續(xù)領(lǐng) 先 ATI，核心在于跟緊 DX 標(biāo)準(zhǔn)更新，通過(guò)搶先發(fā)布支持新顯示標(biāo)準(zhǔn)的產(chǎn)品來(lái)?yè)屨际?場(chǎng)。然而，由于英偉達(dá)與微軟的嫌隙，微軟轉(zhuǎn)而重視 ATI 的扶植，使得英偉達(dá)錯(cuò)過(guò) 了微軟 DX9 規(guī)格確立的重要消息，直接導(dǎo)致當(dāng)年推出的 GeForce FX 由于兼容性問(wèn) 題敗給 ATI 的 Radeon 9700，此后 Intel 也開(kāi)始扶持 ATI，進(jìn)一步強(qiáng)化了 ATI 的生命力， 盡管之后英偉達(dá)與微軟達(dá)成和解，亦拿下索尼 PS3 的訂單，但英偉達(dá)龍頭地位已經(jīng) 開(kāi)始動(dòng)搖，至 2004 年三季度，在獨(dú)立顯卡市場(chǎng)，ATI 市場(chǎng)占有率達(dá)到 59%，英偉達(dá) 只有 37%。

2、 2005-2016 年（CUDA 通用計(jì)算時(shí)代）：打造 CUDA 通用計(jì)算體系， 埋下時(shí)代伏筆

2006 年英偉達(dá)推出 CUDA 通用計(jì)算平臺(tái)，為 AI 時(shí)代埋下伏筆。2004-2007 年， 英偉達(dá)業(yè)務(wù)發(fā)展相對(duì)平穩(wěn)，在這其間，AMD 于 2006 年收購(gòu) ATI，但整合過(guò)程困難， 并讓 AMD 背上承重的負(fù)債，致使 ATI 在與英偉達(dá)的競(jìng)爭(zhēng)中落伍。當(dāng)此之時(shí)，英偉 達(dá)開(kāi)始思考更為長(zhǎng)遠(yuǎn)的問(wèn)題，彼時(shí)英特爾的 CPU 可以通過(guò)多線程技術(shù)被所有計(jì)算機(jī) 應(yīng)用分享，但 GPU 還只能通過(guò) OpenGL/DirectX 等接口與用戶交互，如果能夠在 GPU 中提供合適的編程模型，依托 GPU 的并行計(jì)算能力，每臺(tái) PC 都可以變成一座超大 規(guī)模高性能計(jì)算機(jī)。基于此，2006 年，英偉達(dá)發(fā)布 CUDA 平臺(tái)，并運(yùn)用于 2007 年 發(fā)售的 Tesla 系列，標(biāo)志著 GPU 不再是圖形處理器，而成為通用計(jì)算平臺(tái)。盡管在 較長(zhǎng)的時(shí)間里，CUDA 帶來(lái)的高投入低回報(bào)并未得到市場(chǎng)的充分認(rèn)可，前谷歌 CEO Eric Schmidt 稱(chēng)“CUDA 不過(guò)是 NVIDIA 為推廣其 GPU 產(chǎn)品而推出的一項(xiàng)‘多余’ 的技術(shù)”。但隨著 AI 時(shí)代到來(lái)，CUDA 即成為維護(hù)英偉達(dá)深厚護(hù)城河的重要力量。

相比 CPU，GPU 擁有更多的數(shù)據(jù)處理單元、更高的算力與內(nèi)存帶寬，使得其更 適合大規(guī)模并行運(yùn)算。從運(yùn)行效果上看， GPU 體現(xiàn)出遠(yuǎn)高于 CPU 的運(yùn)算能力及內(nèi) 存帶寬，從運(yùn)行邏輯上看，CPU 適合復(fù)雜、靈活的邏輯運(yùn)算，GPU 適合簡(jiǎn)單、大規(guī) 模的并行運(yùn)算，在底層硬件上，CPU 的控制單元、緩存單元占有較大比重，而 GPU 則以并行的數(shù)據(jù)處理單元為主。

英偉達(dá)通過(guò) GPU 實(shí)現(xiàn)加速計(jì)算的核心在于 2 個(gè)技術(shù)：SIMT（Single-Instruction, Multiple-Thread）和 Hardware Multithreading。 SIMT：即單指令，多線程。所有線程共享同一指令流，這種設(shè)計(jì)使得 GPU 能 夠在大量數(shù)據(jù)上同時(shí)進(jìn)行相同或幾乎一致的計(jì)算； Hardware Multithreading：將進(jìn)程的運(yùn)行上下文一直保存在硬件上，因而不存 在運(yùn)行上下文切換帶來(lái)開(kāi)銷(xiāo)的問(wèn)題（傳統(tǒng) CPU 的多進(jìn)程是將進(jìn)程運(yùn)行上下文保存在 內(nèi)存中，進(jìn)程切換時(shí)涉及到內(nèi)存的讀取，因而開(kāi)銷(xiāo)較大）。

CUDA 體系由 3 部分構(gòu)成： 1、 指令集架構(gòu)：CUDA 定義了一種針對(duì) GPU 特性的指令集，允許程序員直接 編寫(xiě)針對(duì) GPU 硬件的代碼。這些指令專(zhuān)為大規(guī)模并行處理而設(shè)計(jì)，能夠高 效地驅(qū)動(dòng) GPU 上的數(shù)千個(gè)并行處理單元（如 CUDA 核心或流處理器）同時(shí) 工作。 2、 硬件：即英偉達(dá) GPU 內(nèi)部的 CUDA Core，這種高度并行的硬件設(shè)計(jì)使得 GPU 在處理大量數(shù)據(jù)時(shí)能顯著提高計(jì)算效率，尤其適合于處理諸如矩陣運(yùn) 算、圖像處理、物理仿真、機(jī)器學(xué)習(xí)等需要大規(guī)模并行計(jì)算的任務(wù)。 3、 軟件：包括如編程語(yǔ)言與 API、內(nèi)存模型與管理、并行編程模型、廣泛的開(kāi) 發(fā)工具鏈等。 CUDA 硬件和數(shù)據(jù)架構(gòu)的對(duì)應(yīng)關(guān)系：（1）從硬件的構(gòu)成關(guān)系上，CUDA Core 是 英偉達(dá) GPU 最小的計(jì)算單元，多個(gè) CUDA Core 疊加 warp scheduler，register，shared memory 等構(gòu)成一個(gè) SM（streaming multiprocessor），多個(gè) SM 再構(gòu)成整個(gè) GPU；（2） 從數(shù)據(jù)架構(gòu)上看，一個(gè) CUDA Core 一次可以執(zhí)行一個(gè) Thread（線程），數(shù)個(gè) Threads 組成一個(gè) Block，同一個(gè) Block 中的 Threads 可以同步，也可以通過(guò) shared memory 通信，最后，多個(gè) Blocks 則會(huì)再構(gòu)成 Grid。此外，英偉達(dá)通常將 32 個(gè) Thread 組合成一個(gè) Warp，作為調(diào)度和運(yùn)行的基本數(shù)據(jù)單元。

CUDA 的誕生標(biāo)志著 GPU 正式從傳統(tǒng)的圖像處理進(jìn)階到通用計(jì)算領(lǐng)域，并在 如物理仿真、機(jī)器學(xué)習(xí)等需要大規(guī)模并行計(jì)算的任務(wù)中表現(xiàn)出色。CUDA 與英偉達(dá) GPU 強(qiáng)綁定，推出至今已更新至 12.0 版本，在英偉達(dá)常年的運(yùn)營(yíng)下，擁有極為豐富 且成熟的軟件生態(tài)，使得用戶在選擇 GPU 時(shí)傾向于繼續(xù)使用英偉達(dá)的產(chǎn)品，形成較 高的用戶粘性和遷移成本，成為英偉達(dá)的重要護(hù)城河。

擁有超 400 個(gè) CUDA 函式庫(kù)，構(gòu)筑牢固生態(tài)壁壘。自 CUDA 誕生以來(lái)，英偉達(dá) 持續(xù)在優(yōu)化及簡(jiǎn)化 CUDA 的運(yùn)用市場(chǎng)，并推出超過(guò) 400 個(gè)函式庫(kù)，包括專(zhuān)注于處理 神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)庫(kù) cuDNN、可用于流體動(dòng)力學(xué)等物理定律的 Modulus、專(zhuān)注 5G 無(wú)線網(wǎng)絡(luò)的 Aerial RAN、計(jì)算光刻平臺(tái) cuLITHO（運(yùn)用于臺(tái)積電）等等。CUDA 函 式庫(kù)為細(xì)分領(lǐng)域與英偉達(dá)架構(gòu)提供了有效結(jié)合，以 cuDNN 為例，因?yàn)?CUDA 與 TensorFlow、Pytorch 中的深度學(xué)習(xí)算法差異較大，CUDA 本身不能被深度學(xué)習(xí)科學(xué) 家直接使用，而 cuDNN 為開(kāi)發(fā)者提供了與 GPU 便捷交互的橋梁。如此數(shù)百個(gè)高性 能計(jì)算場(chǎng)景的疊加，共同維護(hù)了英偉達(dá)廣泛且豐富的生態(tài)護(hù)城河，成為英偉達(dá) GPU 在加速計(jì)算領(lǐng)域處于壟斷地位的核心原因。

然而 CUDA 在推出早期詬病頗多，核心歸結(jié)于 2 點(diǎn)：（1）對(duì)于 CUDA 的研發(fā) 每年需花費(fèi)約 5 億美元的研發(fā)費(fèi)用，而彼時(shí) GPU 的高性能通用計(jì)算或主要用于科學(xué) 計(jì)算中，市場(chǎng)空間有限；（2）CUDA 對(duì)散熱的更高需求導(dǎo)致了芯片瑕疵，市場(chǎng)推測(cè) 這或許導(dǎo)致了 2008 年諸多 PC 品牌的屏幕異常問(wèn)題（顯卡門(mén)事件）。因此早期資本市 場(chǎng)對(duì) CUDA 認(rèn)可度低，2009-2010 財(cái)年在次貸危機(jī)下，高研發(fā)投入也導(dǎo)致英偉達(dá)出 現(xiàn)虧損。

AI 驅(qū)動(dòng)初見(jiàn)端倪，CUDA 前期重投入成效初顯。轉(zhuǎn)折出現(xiàn)在 2012 年，后來(lái)被 稱(chēng)為“深度學(xué)習(xí)之父”的Jeffery Hinton 教授使用英偉達(dá)的GPU 卡參加全球最為權(quán)威的 計(jì)算機(jī)視覺(jué)大賽 ImageNet 大賽，其設(shè)計(jì)的深度卷積神經(jīng)網(wǎng)絡(luò) AlexNet 一舉奪冠，成 為 AI 歷史上的重大突破，也成為英偉達(dá)在加速計(jì)算上的重要發(fā)展方向。2016 年，英 偉達(dá)發(fā)布 Pascal 架構(gòu)，推出 DGX-1，采用 NVLink 互連架構(gòu)，首次將 8 個(gè) Tesla P100 GPU 連在一起，并將第一臺(tái) DGX 交付給剛成立的 OpenAI。2016 年也成為公司加速 計(jì)算的財(cái)務(wù)拐點(diǎn)，F(xiàn)Y2017 公司數(shù)據(jù)中心收入同比增長(zhǎng) 145%至 8.3 億美元，CUDA 前期的重投入初見(jiàn)成效。

3、 2017 年-至今（全面 AI 時(shí)代）：生成式 AI 崛起，英偉達(dá)成為萬(wàn)億“賣(mài) 水人”

2017 年，對(duì) AI 行業(yè)與英偉達(dá)均是具有里程碑式意義的一年。這年 6 月，谷歌 大腦團(tuán)隊(duì)發(fā)表論文《Attention Is All You Need》，提出自注意力模型 Transformer 架構(gòu)， 成為當(dāng)下生成式 AI 的基石。而早在 1 個(gè)月前的 2017 GTC 大會(huì)上，英偉達(dá) CEO 黃仁 勛開(kāi)展了圍繞 AI 與深度學(xué)習(xí)的主體演講，并發(fā)布了 Volta V100 與 Tensor Core，標(biāo)志 著英偉達(dá)將重點(diǎn)投入 AI 領(lǐng)域，其高性能 GPU 迅速在數(shù)據(jù)中心取得壟斷性地位。與 此同時(shí)，得益于云計(jì)算行業(yè)進(jìn)入成長(zhǎng)期、疫情加速線上辦公滲透等因素，英偉達(dá)數(shù) 據(jù)中心業(yè)務(wù)保持快速增長(zhǎng)。

2022 年末 OpenAI 發(fā)布 ChatGPT，正式開(kāi)啟生成式 AI 浪潮。ChatGPT 并非最 早開(kāi)始采用 Transformer 的大語(yǔ)言模型，如谷歌早在 2018 年便發(fā)布了 BERT，但參數(shù) 量?jī)H有 1.09 億個(gè)，ChatGPT 的成功得益于千億級(jí)的參數(shù)規(guī)模，以及其背后使用的 few-shots（小樣本）和用戶反饋技術(shù)，證明了大模型中存在的涌現(xiàn)效應(yīng)和 scaling law， 前者意味著當(dāng)模型的規(guī)模和訓(xùn)練參數(shù)達(dá)到一定的閾值時(shí)，模型的性能和泛化能力會(huì) 突然出現(xiàn)顯著提升；后者即指參數(shù)規(guī)模越大，模型性能越優(yōu)秀。此后科技龍頭圍繞 大語(yǔ)言模型 LLM 逐步延伸產(chǎn)品體系，包括文生圖、文生視頻、多模態(tài)等方案陸續(xù)推 出，英偉達(dá)作為核心 GPU 廠商充分受益。在當(dāng)前市場(chǎng)階段，訓(xùn)練仍為 GPU 主要運(yùn) 用場(chǎng)景，但隨著商業(yè)化進(jìn)程推進(jìn)，推理占用的工作負(fù)載有望從 40%提升至 70%。