GPU被炒到50萬元一顆后，英偉達(dá)又推超級(jí)芯片！

作者|Trista 來源|芯師爺(ID：gsi24-xinshiye)

北京時(shí)間8月8日23:00，在全球首屈一指的計(jì)算機(jī)圖形和交互技術(shù)會(huì)議SIGGRAPH上，英偉達(dá)CEO黃仁勛一襲黑皮衣，以雷霆萬鈞之勢(shì)再度登臺(tái)，對(duì)臺(tái)下數(shù)千名觀眾表示，“生成式人工智能時(shí)代即將到來，如果你相信的話，那就是人工智能的iPhone時(shí)代。”

英偉達(dá)CEO黃仁勛，圖源：SIGGRAPH演講截圖

在隨后近一個(gè)半小時(shí)的演講中，黃仁勛宣布了英偉達(dá)的最新技術(shù)突破：

硬件方面，黃仁勛推出了新一代GH200 Grace Hopper超級(jí)芯片，將搭載全球首款HBM3e處理器，預(yù)計(jì)于2024年第二季投產(chǎn)，專為加速計(jì)算和生成式 AI 時(shí)代而打造。同時(shí)，還重磅發(fā)布了功能強(qiáng)大的新型RTX工作站、三款全新桌面工作站Ada Generation GPU，以及搭載全新NVIDIA L40S GPU的全新 NVIDIA OVX服務(wù)器。

軟件方面，為了推動(dòng)人工智能部署，英偉達(dá)推出了AI Workbench、AI Enterprise 4.0，以及Hugging Face等重磅武器，旨在和行業(yè)攜手，一同推動(dòng)人工智能和生成式AI走向下一個(gè)浪潮尖峰。

新一代 GH200 Grace Hopper 超級(jí)芯片炸場(chǎng)

通常，使用人工智能模型的過程至少分為兩個(gè)部分：訓(xùn)練和推理。訓(xùn)練部分，是使用大量數(shù)據(jù)來訓(xùn)練人工智能系統(tǒng)，開發(fā)出具有特定功能的神經(jīng)網(wǎng)絡(luò)模型，動(dòng)輒需要耗費(fèi)數(shù)月時(shí)間才能完成；推理部分，則是將新的數(shù)據(jù)輸入訓(xùn)練好的模型，讓它推理出各種結(jié)論，并且?guī)缀醭掷m(xù)進(jìn)行。

這兩個(gè)環(huán)節(jié)都需要高性能GPU進(jìn)行支持，如果支持不到位的話，將影響大模型的精準(zhǔn)度。

為了持續(xù)推動(dòng)AI發(fā)展，早在2022年初，英偉達(dá)宣布了Grace Hopper超級(jí)芯片，即NVIDIA GH200，它將72核Grace CPU與Hopper GPU相結(jié)合，提供1 EFLOPS的AI算力和144TB的高速存儲(chǔ)，并于今年 5 月全面投產(chǎn)。

昨晚的SIGGRAPH大會(huì)上，也就是在這款超級(jí)芯片全面投產(chǎn)后不到三個(gè)月，英偉達(dá)推出了功能更強(qiáng)大的芯片版本——新一代NVIDIA GH200 Grace Hopper超級(jí)芯片，將提供卓越的內(nèi)存技術(shù)和帶寬，以此提高吞吐量，提升無損耗連接GPU聚合性能的能力，并且擁有可以在整個(gè)數(shù)據(jù)中心輕松部署的服務(wù)器設(shè)計(jì)。

“你幾乎可以在GH200上運(yùn)行任何你想要的大型語言模型，它會(huì)瘋狂地進(jìn)行推理。”黃仁勛說，“大型語言模型的推理成本將大幅下降。”

新一代GH200 Grace Hopper 超級(jí)芯片

與當(dāng)前一代產(chǎn)品相比，新一代GH200擁有基本相同的“基因”：其 72 核 Arm Neoverse V2 Grace CPU、Hopper GPU 及其 900GB/秒 NVLink-C2C 互連均保持不變。核心區(qū)別是它搭載了全球第一款HBM3e內(nèi)存，將不再配備今年春季型號(hào)的 96GB HBM3 vRAM 和 480GB LPDDR5x DRAM，而是搭載500GB的LPDDR5X以及141GB的HBM3e存儲(chǔ)器，實(shí)現(xiàn)了5TB/秒的數(shù)據(jù)吞吐量。

 HBM3內(nèi)存 VS HBM3e內(nèi)存參數(shù)對(duì)比

英偉達(dá)表示，HBM3e內(nèi)存技術(shù)帶來了50%的速度提升，總共提供了10TB/秒的組合帶寬。能夠運(yùn)行比先前版本大3.5倍的模型，并以3倍的內(nèi)存帶寬提高性能。

此外，英偉達(dá)目前正在開發(fā)一款新的雙GH200基礎(chǔ)NVIDIA MGX服務(wù)器系統(tǒng)，將集成兩個(gè)下一代Grace Hopper超級(jí)芯片。在新的雙GH200服務(wù)器中，系統(tǒng)內(nèi)的CPU和GPU將通過完全一致的內(nèi)存互連進(jìn)行連接，這個(gè)超級(jí)GPU可以作為一個(gè)整體運(yùn)行，提供144個(gè)Grace CPU核心、8千萬億次的計(jì)算性能以及282GB的HBM3e內(nèi)存，從而能夠適用于生成式AI的巨型模型。

對(duì)于企業(yè)客戶，英偉達(dá)GPU訓(xùn)練AI模型成本已非常昂貴，但黃仁勛仍強(qiáng)調(diào)其產(chǎn)品的“性價(jià)比”：同樣使用1億美元打造數(shù)據(jù)中心，可以購(gòu)得8800塊x86處理器或2500套GH200，但后者的AI推理性能是前者的12倍，能效達(dá)20倍。

于是我們又聽到了黃仁勛“金牌導(dǎo)購(gòu)”的名言：the more you buy, the more you save（買的越多，省的越多）。

據(jù)悉，英偉達(dá)計(jì)劃銷售GH200的兩種版本：一種是包含兩個(gè)可供客戶集成到系統(tǒng)中的芯片，另一種則是結(jié)合了兩種Grace Hopper設(shè)計(jì)的完整服務(wù)器系統(tǒng)。

全新的GH200這款產(chǎn)品將于2024年第二季投產(chǎn)，售價(jià)暫未透露。

四款全新顯卡+新款OVX服務(wù)器：

全方面涵蓋生成式AI開發(fā)

除了適用于前沿大語言模型的GH200 ，英偉達(dá)在桌面AI工作站方面，推出了RTX 6000、RTX 5000、RTX 4500和RTX 4000四款新顯卡，以及搭載全新L40S Ada GPU的新款OVX服務(wù)器。

1

RTX 6000 Ada GPU

為提供更多的計(jì)算能力，促進(jìn)生成式AI和數(shù)字化時(shí)代的開發(fā)和內(nèi)容創(chuàng)作，英偉達(dá)正在和全球制造商，包括惠普、聯(lián)想、BOXX、戴爾等，推出功能強(qiáng)大的新型 RTX 工作站。

新的RTX工作站提供多達(dá)4個(gè)NVIDIA RTX 6000 Ada GPU，每個(gè)GPU都配備48GB內(nèi)存（總共 192GB），單個(gè)桌面工作站可以提供高達(dá)5.8 TFLOPS 算力。

2

三款全新桌面工作站 GPU 

黃仁勛還宣布推出三款全新桌面工作站Ada Generation GPU ：NVIDIA RTX 5000、RTX 4500和RTX 4000，旨在為全球?qū)I(yè)人士提供最新的 AI、圖形和實(shí)時(shí)渲染技術(shù)。

NVIDIA RTX 5000現(xiàn)已上市（售價(jià) 4,000 美元），提供32GB GDDR6內(nèi)存，NVIDIA RTX 4500 和 4000 將于今年秋季上市（售價(jià)分別為 1,250 美元和 2,250 美元），兩者都是雙槽 GPU，分別提供和24GB GDDR6內(nèi)存、20GB GDDR6內(nèi)存。

3

OVX 服務(wù)器產(chǎn)品

此外，英偉達(dá)還推出了搭載L40S GPU 的 OVX 服務(wù)器產(chǎn)品，每臺(tái)服務(wù)器最多可以裝八個(gè)L40S GPU，每個(gè)GPU有 48GB 內(nèi)存。

對(duì)于具有數(shù)十億參數(shù)和多種數(shù)據(jù)模態(tài)的復(fù)雜AI工作負(fù)載，相較于A100 Tensor Core GPU，L40S 能夠?qū)崿F(xiàn)1.2倍的生成式AI推理性能和 1.7 倍的訓(xùn)練性能，旨在滿足AI訓(xùn)練和推理、3D 設(shè)計(jì)和可視化、視頻處理和工業(yè)數(shù)字化等計(jì)算密集型應(yīng)用的需求。

軟件生態(tài)全方位部署：

讓所有人參與生成AI

除了硬件產(chǎn)品，軟件方面，英偉達(dá)推出了AI Workbench、AI Enterprise 4.0，以及Hugging Face等重磅武器：

AI Workbench是為開發(fā)人員提供了一個(gè)統(tǒng)一、易于使用的工具包，將需要用于生成式AI工作的一切打包在一起，主要是為了降低企業(yè)啟動(dòng) AI 項(xiàng)目的門檻。大會(huì)上，黃仁勛在強(qiáng)調(diào)，為了推動(dòng)AI技術(shù)普惠，必須讓其有可能在幾乎任何地方運(yùn)行，讓所有人都能參與生成式 AI。因此，AI Workbench將支持在本地機(jī)器上進(jìn)行模型的開發(fā)和部署，而不是云服務(wù)上。

借助它，開發(fā)人員可以只需點(diǎn)擊幾下就可以定制和運(yùn)行生成式AI。據(jù)稱，包括戴爾、惠普、Lambda、聯(lián)想和Supermicro，都正采用AI Workbench。

AI Enterprise 4.0是英偉達(dá)發(fā)布的最新版企業(yè)軟件平臺(tái)，可提供生產(chǎn)就緒型生成式AI工具，使企業(yè)能夠訪問采用生成式AI所需的工具，同時(shí)還提供大規(guī)模企業(yè)部署所需的安全性和API穩(wěn)定性。

同時(shí)，黃仁勛還宣布英偉達(dá)與擁有 200 萬用戶的初創(chuàng)公司Hugging Face 合作，這將使得數(shù)百萬大型語言模型開發(fā)者和其他高級(jí) AI 應(yīng)用程序開發(fā)人員，能夠輕松實(shí)現(xiàn)生成式 AI 超級(jí)計(jì)算。

開發(fā)人員將能夠在Hugging Face平臺(tái)內(nèi)訪問NVIDIA DGX Cloud AI 超級(jí)計(jì)算，以訓(xùn)練和微調(diào)先進(jìn)的 AI 模型。據(jù)悉，Hugging Face 社區(qū)已分享超過 25 萬個(gè)模型和 5 萬個(gè)數(shù)據(jù)集。對(duì)此，黃仁勛表示，這將是一項(xiàng)全新的服務(wù)，將世界上最大的 AI 社區(qū)與世界上最好的訓(xùn)練和基礎(chǔ)設(shè)施連接起來。

寫在最后：

AI的生產(chǎn)力爆炸時(shí)代，正在加速到來

隨著英偉達(dá)一個(gè)接一個(gè)新產(chǎn)品和新服務(wù)的揭曉，我們似乎也看到生成式AI的生產(chǎn)力爆炸時(shí)代正在加速到來。

2022年底，ChatGPT問世后，迅速在全世界引起了AI狂潮，在這波狂潮中，英偉達(dá)憑借其數(shù)據(jù)中心GPU的核心技術(shù)優(yōu)勢(shì)，成為人工智能芯片市場(chǎng)市場(chǎng)主導(dǎo)者。

如今，全球約90%以上的大模型都在使用英偉達(dá)的GPU芯片，其股價(jià)也在今年以來飆升了逾200%，賺了個(gè)盆滿缽滿，上市14年后成功躋身萬億美元市值俱樂部。而實(shí)現(xiàn)這一目標(biāo)，硅谷巨頭們諸如蘋果用了37年、微軟用了33年、亞馬遜用了21年，特斯拉跑得最快，只用了11年。

目前GPU價(jià)格仍在上漲，已然成為人工智能基礎(chǔ)設(shè)施的“硬通貨”，海外甚至已有創(chuàng)業(yè)企業(yè)開始利用GPU進(jìn)行抵押融資。

eBay網(wǎng)站顯示，英偉達(dá)旗艦級(jí)芯片H100的售價(jià)已經(jīng)高達(dá)4.5萬美元（約合人民幣32.37萬元），這較今年4月份4萬美元的價(jià)格漲幅超過10%，甚至有賣家標(biāo)價(jià)6.5萬美元，而且貨源較上半年也顯著減少。

同時(shí)，英偉達(dá)的中國(guó)特供版 A800 和 H800芯片也遭到了哄搶。有數(shù)據(jù)推算，2022年全年英偉達(dá)數(shù)據(jù)中心GPU在中國(guó)的銷售額約為100億元人民幣。而今年春節(jié)后，據(jù)晚點(diǎn) LatePost報(bào)道，擁有云計(jì)算業(yè)務(wù)的中國(guó)各互聯(lián)網(wǎng)大公司都向英偉達(dá)下了大單。字節(jié)今年向英偉達(dá)訂購(gòu)了超過10億美元的GPU，另一家大公司的訂單也至少超過10億元人民幣。而僅字節(jié)一家公司今年的訂單可能已接近英偉達(dá)去年在中國(guó)銷售的商用GPU總和。

目前，國(guó)內(nèi)大模型企業(yè)基本上很難拿得到這些芯片，A800 和 H800芯片從原來的12萬人民幣左右，變成了現(xiàn)在是25萬甚至30萬，甚至有高達(dá)50萬一片。

值得注意的是，近日有消息稱，下一代GPT大模型GPT5需要5萬張英偉達(dá)最高配置的H100芯片，全球市場(chǎng)對(duì)H100芯片的需求量達(dá)到43萬張，英偉達(dá)的產(chǎn)能可能難以滿足如此大的算力需求。

正如特斯拉CEO馬斯克表示，“英偉達(dá)不會(huì)永遠(yuǎn)在大規(guī)模訓(xùn)練和推理芯片市場(chǎng)占據(jù)壟斷地位。”越是風(fēng)光，競(jìng)爭(zhēng)對(duì)手就越是虎視眈眈，比如就在前不久，AMD剛剛發(fā)布了“大模型專用”的AI芯片MI300X，直接對(duì)標(biāo)英偉達(dá)H100，這被業(yè)界視為直接向英偉達(dá)宣戰(zhàn)。

但從本次黃仁勛的演講來看，賽道越來越激烈，英偉達(dá)也絲毫沒有松懈。

編者按：本文轉(zhuǎn)載自微信公眾號(hào)：芯師爺(ID：gsi24-xinshiye)，作者：Trista