6月13日消息，英偉達的RTX 40系列顯卡已經(jīng)發(fā)到RTX 4060系列了，主要有三款，RTX 4060 Ti 16GB、RTX 4060 Ti 8GB及RTX 4060 8GB三款，售價3899、3199及2399元起。

不過首批上市的是RTX 4060 Ti 8GB，其他兩款要到7月份才上市。

2023年了，3000多的顯卡配8GB顯存夠不夠？這個話題也引發(fā)了很多爭議，畢竟上代的RTX 3060后來都給了12GB顯存，4K分辨率下還能打，而8GB的RTX 4060 Ti顯卡被吐槽為1080p戰(zhàn)神。


1、從砍單到加購，同時內(nèi)部騰挪

今年春節(jié)后，擁有云計算業(yè)務的中國各互聯(lián)網(wǎng)大公司都向英偉達下了大單。字節(jié)今年向英偉達訂購了超過10億美元的GPU，另一家大公司的訂單也至少超過10億元人民幣。僅字節(jié)一家公司今年的訂單可能已接近英偉達去年在中國銷售的商用GPU總和。

僅字節(jié)一家公司今年的訂單可能已接近英偉達去年在中國銷售的商用 GPU 總和。去年 9 月，美國政府發(fā)布對 A100、H100（英偉達最新兩代數(shù)據(jù)中心商用 GPU） 的出口限制時，英偉達曾回應稱這可能影響去年四季度它在中國市場的 4 億美元（約合 28 億元人民幣）潛在銷售。以此推算，2022 年全年英偉達數(shù)據(jù)中心 GPU 在中國的銷售額約為 100 億元人民幣。

相比海外巨頭，中國大科技公司采購 GPU 更為急迫。過去兩年的降本增效中，一些云計算平臺減少了 GPU 采購，儲備不足。此外，誰也不敢保證，今天能買的高性能 GPU，明天會不會就受到新的限制。

阿里也曾在 2018-2019 年積極采購 GPU。一位阿里云人士稱，當時阿里的采購量至少達到上萬塊規(guī)模，購買的型號主要是 V100 和英偉達更早前發(fā)布的 T4。不過這批 GPU 中只有約十分之一給到了達摩院用作 AI 技術研發(fā)。2021 年發(fā)布萬億參數(shù)大模型 M6 后，達摩院曾披露訓練 M6 使用了 480 塊 V100。

阿里當時購買的 GPU，更多給到了阿里云用于對外租賃。但包括阿里云在內(nèi)，一批中國云計算公司都高估了中國市場的 AI 需求。一位科技投資人稱，大模型熱潮之前，國內(nèi)主要云廠商上的 GPU 算力不是緊缺，而是愁賣，云廠商甚至得降價賣資源。去年阿里云先后降價 6 次，GPU 租用價下降超兩成。

在降本增效，追求 “有質量的增長” 與利潤的背景下，據(jù)了解，阿里在 2020 年之后收縮了 GPU 采購規(guī)模，騰訊也在去年底砍單一批英偉達 GPU。

然而沒過多久后的 2022 年初，ChatGPT 改變了所有人的看法，共識很快達成：大模型是不容錯過的大機會。

各公司創(chuàng)始人親自關注大模型進展：字節(jié)跳動創(chuàng)始人張一鳴開始看人工智能論文；阿里巴巴董事局主席張勇接手阿里云，在阿里云峰會發(fā)布阿里大模型進展時稱，“所有行業(yè)、應用、軟件、服務，都值得基于大模型能力重做一遍”。

一名字節(jié)人士稱，過去在字節(jié)內(nèi)部申請采購 GPU 時，要說明投入產(chǎn)出比、業(yè)務優(yōu)先級和重要性。而現(xiàn)在大模型業(yè)務是公司戰(zhàn)略級別新業(yè)務，暫時算不清 ROI 也必須投入。

研發(fā)自己的通用大模型只是第一步，各公司的更大目標是推出提供大模型能力的云服務，這是真正可以匹配投入的大市場。


2、英偉達是最大的人工智能芯片生產(chǎn)商

英偉達目前生產(chǎn)用于AI開發(fā)的絕大多數(shù)GPU，由于AI工具需要大量數(shù)據(jù)和強大的處理能力，而僅構建一個AI系統(tǒng)可能需要數(shù)千個芯片，因此英偉達的需求急劇上升。

雖然英偉達最初專注于為視頻游戲行業(yè)制造GPU，但近年來，這家芯片制造商已擴展到人工智能和加密貨幣挖掘領域，擴大了其產(chǎn)品和服務范圍。

最近，英偉達的人工智能芯片幫助其數(shù)據(jù)中心部門的收入超過了游戲部門。這甚至促使英偉達為數(shù)據(jù)中心提供新一代AI芯片，承諾大幅提升性能。

5月英偉達宣布了DGX H100系統(tǒng)。英偉達表示，該產(chǎn)品采用八個通過NVLink連接的H100張量核心GPU，以及雙英特爾至強白金8480C處理器，2TB系統(tǒng)內(nèi)存和30tb NVMe固態(tài)硬盤。

盡管努力滿足不斷增長的需求，但英偉達仍發(fā)現(xiàn)需求超過供應。


3、全世界都在搶算力

對英偉達數(shù)據(jù)中心 GPU 的競賽也發(fā)生在全球范圍。不過海外巨頭大量購買 GPU 更早，采購量更大，近年的投資相對連續(xù)。

2022 年，Meta 和甲骨文就已有對 A100 的大投入。Meta 在去年 1 月與英偉達合作建成 RSC 超級計算集群，它包含 1.6 萬塊 A100。同年 11 月，甲骨文宣布購買數(shù)萬塊 A100 和 H100 搭建新計算中心?，F(xiàn)在該計算中心已部署了超 3.27 萬塊 A100，并陸續(xù)上線新的 H100。

微軟自從 2019 年第一次投資 OpenAI 以來，已為 OpenAI 提供數(shù)萬塊 GPU。今年 3 月，微軟又宣布已幫助 OpenAI 建設了一個新計算中心，其中包括數(shù)萬塊 A100。Google 在今年 5 月推出了一個擁有 2.6 萬塊 H100 的計算集群 Compute Engine A3，服務想自己訓練大模型的公司。

中國大公司現(xiàn)在的動作和心態(tài)都比海外巨頭更急迫。以百度為例，它今年向英偉達新下的 GPU 訂單高達上萬塊。數(shù)量級與 Google 等公司相當，雖然百度的體量小得多，其去年營收為 1236 億元人民幣，只有 Google 的 6%。

據(jù)了解，字節(jié)、騰訊、阿里、百度這四家中國投入 AI 和云計算最多的科技公司，過去 A100 的積累都達到上萬塊。其中字節(jié)的 A100 絕對數(shù)最多。不算今年的新增訂單，字節(jié) A100 和前代產(chǎn)品 V100 總數(shù)接近 10 萬塊。

成長期公司中，商湯今年也宣稱，其 “AI 大裝置” 計算集群中已總共部署了 2.7 萬塊 GPU，其中有 1 萬塊 A100。連看似和 AI 不搭邊的量化投資公司幻方之前也購買了 1 萬塊 A100。

僅看總數(shù)，這些 GPU 供各公司訓練大模型似乎綽綽有余——據(jù)英偉達官網(wǎng)案例，OpenAI 訓練 1750 億參數(shù)的 GPT-3 時用了 1 萬塊 V100 ，訓練時長未公開；英偉達測算，如果用 A100 來訓練 GPT-3 ，需要 1024 塊 A100 訓練 1 個月，A100 相比 V100 有 4.3 倍性能提升。但中國大公司過去采購的大量 GPU 要支撐現(xiàn)有業(yè)務，或放在云計算平臺上售賣，并不能自由地用于大模型開發(fā)和對外支持客戶的大模型需求。

這也解釋了中國 AI 從業(yè)者對算力資源估算的巨大差別。清華智能產(chǎn)業(yè)研究院院長張亞勤 4 月底參加清華論壇時說，“如果把中國的算力加一塊，相當于 50 萬塊 A100，訓練五個模型沒問題?！盇I 公司曠視科技 CEO 印奇接受《財新》采訪時則說：中國目前可用作大模型訓練的 A100 總共只有約 4 萬塊。

主要反映對芯片、服務器和數(shù)據(jù)中心等固定資產(chǎn)投資的資本開支，可以直觀說明中外大公司計算資源的數(shù)量級差距。

最早開始測試類 ChatGPT 產(chǎn)品的百度，2020 年以來的年資本開支在 8 億到 20 億美元之間，阿里在 60-80 億美元之間，騰訊在 70-110 億美元之間。同期，亞馬遜、Meta、Google、微軟這四家自建數(shù)據(jù)中心的美國科技公司的年資本開支最少均超過 150 億美元。

疫情三年中，海外公司資本開支繼續(xù)上漲。亞馬遜去年的資本開支已來到 580 億美元，Meta、Google 均為 314 億美元，微軟接近 240 億美元。中國公司的投資在 2021 年之后則在收縮。騰訊、百度去年的資本開支均同比下滑超 25%。

訓練大模型的 GPU 已不算充足，各家中國公司如果真的要長期投入大模型，并賺到給其它模型需求 “賣鏟子” 的錢，未來還需要持續(xù)增加 GPU 資源。


3、走得更快的 OpenAI 已遇到了這一挑戰(zhàn)

5 月中旬，OpenAI CEO SamAltman 在與一群開發(fā)者的小范圍交流中說，由于 GPU 不夠，OpenAI 現(xiàn)在的 API 服務不夠穩(wěn)定，速度也不夠快，在有更多 GPU 前，GPT-4 的多模態(tài)能力還無法拓展給每個用戶，他們近期也不準備發(fā)布新的消費級產(chǎn)品。技術咨詢機構 TrendForce 今年 6 月發(fā)布報告稱，OpenAI 需要約 3 萬塊 A100 來持續(xù)優(yōu)化和商業(yè)化 ChatGPT。

與 OpenAI 合作頗深的微軟也面臨類似情境：今年 5 月，有用戶吐槽 New Bing 回答速度變慢，微軟回應，這是因為 GPU 補充速度跟不上用戶增長速度。嵌入了大模型能力的微軟 Office 365 Copilot 目前也沒有大規(guī)模開放，最新數(shù)字是有 600 多家企業(yè)在試用——Office 365 的全球總用戶數(shù)接近 3 億。

中國大公司如果不是僅把訓練并發(fā)布一個大模型作為目標，而是真想用大模型創(chuàng)造服務更多用戶的產(chǎn)品，并進一步支持其它客戶在云上訓練更多大模型，就需要提前儲備更多 GPU。