大模型正引發(fā)一波新的AI算力荒，從此前的芯片緊缺，上升為AI算力集群級的饑渴癥。

根據(jù)產業(yè)鏈消息，參數(shù)可能僅30億的Sora用4200-10500塊H100訓練了1個月；最新出爐的Llama 3 8B和70B的訓練需要24000多塊H100組成的集群；據(jù)稱有1.8萬億參數(shù)的GPT-4是在10000-25000張A100上完成了訓練……

OpenAI、Meta等都在用數(shù)千卡、甚至萬卡串聯(lián)，滿足不斷攀升的大模型訓練需求，也給了我國大模型企業(yè)一本可參考的算力賬。

然而，多位GPU算力集群業(yè)內人士告訴智東西，當下我國智能算力處于嚴重的供不應求狀態(tài)。在GPU全球稀缺背景下，單卡性能已相對沒那么重要，通過集群互聯(lián)實現(xiàn)整體算力的最大化，成為解決AI算力荒的必要路徑。

政策也已經緊鑼密鼓地下發(fā)。4月24日，北京市經濟和信息化局、北京市通信管理局印發(fā)《北京市算力基礎設施建設實施方案（2024—2027年）》，方案提出，規(guī)劃建設支撐萬億級參數(shù)大模型訓練需求的超大規(guī)模智算集群，并對采購自主可控GPU芯片開展智能算力服務的企業(yè)予以支持。

產業(yè)這邊的動作也沒有落后。國內的頭部算力廠商都已加速布局大規(guī)模智算集群，比如云服務巨頭華為云打造了貴安、烏蘭察布、蕪湖3大AI云算力中心，頭部AI芯片公司摩爾線程過去四個月也已在南京、北京亦莊和北京密云完成3座全國產千卡智算中心的落地，助國產大模型產業(yè)發(fā)展提速。


GPU緊缺導致算力跟不上

大模型獲得突破以來，無論是產業(yè)巨頭還是學術界，都在為獲取足夠的算力資源而苦苦掙扎。去年9月，甲骨文董事長埃里森和特斯拉CEO馬斯克在硅谷一家豪華餐廳中向黃仁勛“乞求”GPU的場景還歷歷在目。近日，人工智能領域知名學者、斯坦福大學教授李飛飛再次表達擔憂：高校的AI研究已經被高昂的GPU成本所拖累，逐漸被產業(yè)界甩在身后。

Meta可以為模型訓練采購高達35萬個GPU，而斯坦福大學的自然語言處理小組，卻總共只有68個GPU——這種“萬”與“個”的懸殊對比，揭示了算力鴻溝的殘酷現(xiàn)實。為此，李飛飛提出建立“國家級算力與數(shù)據(jù)集倉庫”的計劃，并稱其重要性堪比“登月投資”。

對我國而言，情況同樣嚴峻。以GPU等AI芯片為代表的稀缺算力資源，優(yōu)先向少數(shù)大型企業(yè)供給，高校、中小微企業(yè)苦于高昂成本難以參與其中。

在此背景下，超大規(guī)模智算中心的建設或許能為解決算力短缺問題提供一個思路，成為我國在全球AI競爭中取得優(yōu)勢的重要一環(huán)。

事實上，我國早已在算力基礎設施上展開積極布局?！皷|數(shù)西算”工程作為國家級的工程項目，在全國范圍內規(guī)劃了八大樞紐節(jié)點和十大數(shù)據(jù)集群，并且已經取得顯著進展。

以十大集群之一的韶關集群為例，前不久，其首批上線運營的華南數(shù)谷智算中心，一期規(guī)劃算力16000P（1P約等于每秒1000萬億次計算速度），規(guī)模居粵港澳大灣區(qū)首位。預計到2025年初，韶關集群的智能算力規(guī)模將達到50000P，成為大灣區(qū)、廣東省乃至整個華南地區(qū)的最大體量。這些算力資源，不僅可以滿足高校的科研需求，還可以為中小企業(yè)等各行各業(yè)提供實時、高效的算力支持。

然而，超大規(guī)模智算中心的建設并非易事。它需要突破一系列核心技術，其中異構算力的統(tǒng)籌和調度尤為關鍵。異構計算，即多種算力的混合使用，對于實現(xiàn)全國算力中心的大一統(tǒng)和優(yōu)化資源利用至關重要。在多個數(shù)據(jù)中心或智算中心互聯(lián)互通的復雜場景下，異構計算的挑戰(zhàn)前所未有。傳播內容認知全國重點實驗室研究員張冬明表示，在異構算力的建設和發(fā)展過程中，國產AI芯片必將扮演越來越重要的角色。然而就目前來說，受配套軟件、固件支持等生態(tài)系統(tǒng)方面的制約，真正能夠有效支撐大模型訓練的國產算力集群并不多。

這些情況已被有關部門敏銳捕捉到。今年年初，工業(yè)和信息化部等七部門聯(lián)合印發(fā)的《關于推動未來產業(yè)創(chuàng)新發(fā)展的實施意見》中提到：“加快突破GPU芯片、集群低時延互連網絡、異構資源管理等技術，建設超大規(guī)模智算中心，滿足大模型迭代訓練和應用推理需求?！?br style="color: rgb(102, 102, 102); font-family: 宋體; font-size: 12px; white-space: normal;"/>
專家認為，在當前階段，大部分算力性能的提升主要來自“系統(tǒng)集成”。既有基于小芯粒技術的芯片級集成，也有基于一卡多芯技術的板卡級集成，還有基于液冷和高互聯(lián)的機架級集成。因此，建議在加強單芯片能力的同時，應注重提升AI算力的系統(tǒng)集成能力，從單點突破轉向橫向拓展，對芯粒、液冷、互聯(lián)等相關技術持續(xù)投入，進一步實現(xiàn)AI算力系統(tǒng)的高算力、高效能、高穩(wěn)定、高性價比。

當前，智算中心正在成為通用人工智能發(fā)展的關鍵。而超大規(guī)模智算中心，正在成為智算中心持續(xù)演進的未來形態(tài)。隨著智算中心的發(fā)展成熟，“開箱即用”的智能計算服務有望成為主流。當然，這需要產業(yè)界、學術界和政府的通力合作。

在算力資源的統(tǒng)籌配置方面，業(yè)內人士建議，政府可以通過行政手段，以統(tǒng)籌建設的方式集中采購，通過“云化”將算力按P銷售，再以“算力券”等的方式補貼中小型科研機構，以促進AI的研究和應用發(fā)展。


中國AI算力生態(tài)或將發(fā)生巨變

綜合考慮美國禁令、當前國內各個公司的產品線布局，研發(fā)實力，產品進度等因素，我們認為未來中國AI算力生態(tài)或將發(fā)生較大改變，由現(xiàn)在的英偉達一家獨大，逐步演變?yōu)閲H生態(tài)（英偉達、AMD、Intel等）和國內生態(tài)分庭抗禮的局面。英偉達目前仍然有望憑借良好的CUDA生態(tài)，以及較好的集群性能占據(jù)一定的市場份額。但是由于其受制于美國禁令，對單卡性能的嚴格限制或將嚴重影響其在中國區(qū)的市場份額。

在國內生態(tài)中，華為昇騰目前在研發(fā)、產品能力以及生態(tài)閉環(huán)上保持領先，預計將成為國內第一份額；海光信息依托中科曙光和中科院系強大的后盾，具備“芯-端-云”的完整閉環(huán)，與華為“鯤鵬+昇騰”產業(yè)鏈對應，有望成為重要的國產算力生態(tài)。其他獨立第三方例如寒武紀、壁仞科技、摩爾線程、景嘉微等也將充分受益于算力國產化機會，有望憑借性價比優(yōu)勢分得一定的市場份額。整體看，隨著國產算力的不斷迭代，有望在未來實現(xiàn)彎道超車。


GPGPU技術路線或將取得更大市場份額

最初GPU的設計目標僅是提升計算機對圖像視頻等數(shù)據(jù)的處理性能，解決CPU的性能瓶頸。但是，隨著GPU在并行計算方面性能優(yōu)勢的逐步顯現(xiàn)，以及并行計算應用范圍的拓展，GPU演化出兩條分支：一條是傳統(tǒng)意義的GPU，延續(xù)專門用于圖形圖像處理用途，內置了視頻編解碼加速引擎、2D加速引擎、3D加速引擎、圖像渲染等專用運算模塊；另一條是作為運算協(xié)處理器的GPGPU，增加了專用向量、張量、矩陣運算指令，提升了浮點運算的精度和性能，可以滿足更多計算場景的需要。

隨著GPGPU的技術進步和生態(tài)完善，其應用領域不斷拓展，除了傳統(tǒng)的圖形圖像處理外，還涉及了商業(yè)計算、大數(shù)據(jù)處理、人工智能等多個領域。在人工智能領域，其優(yōu)勢主要體現(xiàn)在：

（1）訓練效率高，加快模型的迭代和優(yōu)化；

（2）能源消耗低，人工智能的運行成本；

（3）軟件生態(tài)豐富，支持主流的人工智能框架，便于已有應用程序的移植和新算法的開發(fā)。目前，GPGPU已成為人工智能相關解決方案的主流選擇。


總結：

AIGC帶動GPU需求激增，根據(jù)11月22日英偉達發(fā)布的2024Q3財報，3季度數(shù)據(jù)中心業(yè)務實現(xiàn)營收145.14億美元，同比增長 278.66%。美國商務部最新出口管制措施實施之前，英偉達數(shù)據(jù)中心業(yè)務2023年總營收預計約450億美元。按照中國區(qū)數(shù)據(jù)中心業(yè)務收入占比約為20%-25%，2023年中國區(qū)英偉達數(shù)據(jù)中心業(yè)務收入約為90-112.5億美元，中性估計2024年中國區(qū)數(shù)據(jù)中心需求同比增長15%，那么2024年中國區(qū)英偉達GPU替代空間約742-927億人民幣。

在國內生態(tài)中，華為昇騰目前在研發(fā)、產品能力以及生態(tài)閉環(huán)上保持領先，預計將成為國內第一份額；海光信息依托中科曙光和中科院系強大的后盾，具備“芯-端-云”的完整閉環(huán)，與華為“鯤鵬+昇騰”產業(yè)鏈對應，有望成為重要的國產算力生態(tài)。其他獨立第三方例如寒武紀、壁仞科技、摩爾線程、景嘉微等也將充分受益于算力國產化機會，有望憑借性價比優(yōu)勢分得一定的市場份額。整體看，隨著國產算力的不斷迭代，有望在未來實現(xiàn)彎道超車。