近日，2023年世界人工智能大會(huì)落下帷幕，這場(chǎng)“有史以來(lái)”最受矚目的AI盛會(huì)，齊聚30多款大模型，除了阿里通義、百度文心、復(fù)旦MOSS等通用大模型，垂直行業(yè)的大模型應(yīng)用也紛紛亮相，標(biāo)志著行業(yè)進(jìn)入了大模型主導(dǎo)的新階段。

只不過(guò)對(duì)于大模型公司而言，發(fā)布模型只是開始。硅谷風(fēng)險(xiǎn)資本的調(diào)查顯示，初創(chuàng)大模型公司普遍需要支付一筆“AI稅”，即拿出早期融資金額的80%-90%用于購(gòu)買AI芯片，以此為大模型提供算力支撐，可見(jiàn)算力對(duì)于大模型發(fā)展是尤為重要的。只不過(guò)目前為國(guó)內(nèi)大模型提供算力的英偉達(dá)A100 GPU，由于種種原因?qū)⑹艿较拗?。因此?guó)內(nèi)大模型公司將目光轉(zhuǎn)向國(guó)內(nèi)的AI芯片廠商，寄希望于它們能夠提供國(guó)產(chǎn)替代的算力新選擇。

AI芯片競(jìng)爭(zhēng)路線

目前，隨著人工智能的發(fā)展逐步深入后，算力成了AI發(fā)展的核心資源。必然導(dǎo)致許多公司都在開發(fā)自己的AI芯片，在AI算力領(lǐng)域能搶占至高點(diǎn)。一些傳統(tǒng)的芯片制造商，如英特爾、三星、博通和高通，正在投入大量資金開發(fā)這項(xiàng)技術(shù)。當(dāng)然，一些大型科技公司，如蘋果和谷歌，也在努力創(chuàng)新AI芯片領(lǐng)域。

TPU(Tensor Processing Unit)：這是谷歌專門為機(jī)器學(xué)習(xí)設(shè)計(jì)的AI加速芯片,用于加速tensor(張量)相關(guān)的運(yùn)算,尤其對(duì)大規(guī)模神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和推理有非常好的加速效果。TPU采用了專門的矩陣運(yùn)算單元,數(shù)據(jù)流水線等架構(gòu)。谷歌使用TPU獲得了很大的AI計(jì)算優(yōu)勢(shì)。

NPU(Neural Processing Unit)：這是用于加速神經(jīng)網(wǎng)絡(luò)模型運(yùn)算的專用芯片。通常被集成在部分智能手機(jī)、IoT設(shè)備中,用于本地的神經(jīng)網(wǎng)絡(luò)推理。主要由移動(dòng)芯片廠商設(shè)計(jì),如高通、蘋果、華為的自研NPU。優(yōu)化了針對(duì)移動(dòng)端AI算法的算力、功耗、成本等指標(biāo)。

GPU(Graphics Processing Unit)：圖形處理器,具有大規(guī)模并行計(jì)算能力,被廣泛應(yīng)用于AI模型訓(xùn)練中。知名的有NVIDIA Tesla系列GPU,針對(duì)深度學(xué)習(xí)進(jìn)行了架構(gòu)優(yōu)化。AMD、Intel等也有專門的AI加速GPU?？梢蕴峁┖軓?qiáng)的算力來(lái)訓(xùn)練復(fù)雜的AI模型。

FPGA(Field-Programmable Gate Array)：現(xiàn)場(chǎng)可編程門陣列,可在場(chǎng)地靈活編程,覆蓋面廣。英特爾、賽靈思等公司提供了專用于AI加速的FPGA解決方案?？梢跃幊虒?shí)現(xiàn)不同的加速功能,但編程復(fù)雜度較高。

ASIC(Application Specific Integrated Circuit)：應(yīng)用專用集成電路,專門針對(duì)特定應(yīng)用和算法設(shè)計(jì),如Graphcore和Cerebras的AI芯片。性能和效率可以做到極致optimization,但不靈活。

SoC(System on a Chip)：把CPU、GPU、NPU、DSP等多種處理器集成在一顆芯片上,如華為的麒麟系列芯片。SoC可以提供綜合算力,但設(shè)計(jì)和驗(yàn)證復(fù)雜。


英偉達(dá)的競(jìng)爭(zhēng)對(duì)手們

AI這個(gè)巨大的千億市場(chǎng)，不只是英偉達(dá)一家的游戲，AMD和英特爾也在加速追趕，希望分得一杯羹。

英特爾在2019年以約20億美元價(jià)格收購(gòu)了人工智能芯片制造商HABANA實(shí)驗(yàn)室，進(jìn)軍AI芯片市場(chǎng)。今年8月，在英特爾最近的財(cái)報(bào)電話會(huì)議上，英特爾首席執(zhí)行官Pat Gelsinger表示，英特爾正在研發(fā)下一代Falcon Shores AI超算芯片，暫定名為Falcon Shores 2，該芯片預(yù)計(jì)將于2026年發(fā)布。

除了Falcon Shores 2之外，英特爾還推出AI芯片Gaudi2，已經(jīng)開始銷售，而Gaudi3則正在開發(fā)中。業(yè)界認(rèn)為，目前Gaudi2芯片的熱度不及預(yù)期，這主要在于Gaudi2性能難以對(duì)英偉達(dá)H100和A100形成有效競(jìng)爭(zhēng)。

英特爾研究院副總裁、英特爾中國(guó)研究院院長(zhǎng)宋繼強(qiáng)近日表示：“在這一波大模型浪潮當(dāng)中，什么樣的硬件更好并沒(méi)有定論。”他認(rèn)為，GPU并非大模型唯一的硬件選擇，半導(dǎo)體廠商更重要的戰(zhàn)場(chǎng)在軟件生態(tài)上。芯片可能花兩三年時(shí)間就做出來(lái)了，但是要打造芯片生態(tài)需要花兩倍甚至三倍的時(shí)間。英特爾的開源生態(tài)oneAPI比閉源的英偉達(dá)CUDA發(fā)展可能更快。

AMD也在加速追趕。今年6月，AMD舉行了新品發(fā)布會(huì)，發(fā)布了面向下一代數(shù)據(jù)中心的APU加速卡產(chǎn)品Instinct MI300，直接對(duì)標(biāo)H100。這顆芯片將CPU、GPU和內(nèi)存全部封裝為一體，從而大幅縮短了DDR內(nèi)存行程和CPU-GPU PCIe行程，從而大幅提高了其性能和效率。

Instinct MI300將于2023年下半年上市。AMD稱Instinct MI300可帶來(lái)MI250加速卡8倍的AI性能和5倍的每瓦性能提升（基于稀疏性FP8基準(zhǔn)測(cè)試），可以將ChatGPT和DALL-E等超大型AI模型的訓(xùn)練時(shí)間從幾個(gè)月減少到幾周，從而節(jié)省數(shù)百萬(wàn)美元的電費(fèi)。

此外，谷歌、亞馬遜、特斯拉等也都在設(shè)計(jì)自己的定制人工智能推理芯片。除了國(guó)外大廠，國(guó)內(nèi)的芯片企業(yè)也迅速入局，其中，昆侖芯AI加速卡RG800、天數(shù)智芯的天垓100加速卡、燧原科技第二代訓(xùn)練產(chǎn)品云燧T20/T21均表示能夠具有支持大模型訓(xùn)練的能力。


國(guó)產(chǎn)替代者有望出現(xiàn)

與此同時(shí)，國(guó)內(nèi)AI芯片產(chǎn)業(yè)進(jìn)入快速發(fā)展階段，產(chǎn)業(yè)前行者們正在快研發(fā)進(jìn)程，新興廠商也不斷涌現(xiàn)。這也導(dǎo)致國(guó)內(nèi)AI芯片廠商在架構(gòu)選擇上有了不同的看法，國(guó)內(nèi)AI芯片產(chǎn)業(yè)也由此劃分出多元的技術(shù)路線。

眼下最有機(jī)會(huì)實(shí)現(xiàn)國(guó)產(chǎn)替代的，當(dāng)屬以海光為代表選擇了GPGPU架構(gòu)的廠商。這不僅是因?yàn)镚PGPU大約占了90%的市場(chǎng)份額，更是因?yàn)镚PGPU是目前唯一能運(yùn)行大模型訓(xùn)練的架構(gòu)。而基于架構(gòu)的優(yōu)勢(shì)，海光也推出了國(guó)內(nèi)唯一支持全精度計(jì)算的——深算系列DCU產(chǎn)品。目前海光還正基于GPUGP架構(gòu)，加速DCU產(chǎn)品的自主創(chuàng)新迭代。

而另外一條路線就是以寒武紀(jì)為代表選擇ASIC架構(gòu)的廠商。因?yàn)锳SIC架構(gòu)的定制性，讓它具備特定場(chǎng)景下具有計(jì)算快，能耗低的優(yōu)勢(shì)。但定制化也導(dǎo)致ASIC芯片的通用性差，在硬件架構(gòu)強(qiáng)相關(guān)場(chǎng)景中存在限制。因此寒武紀(jì)、昇騰等ASIC芯片目前還只是在深度調(diào)優(yōu)后適用于相對(duì)成熟、場(chǎng)景固化的模型，難以作為核心算力支撐眾多新興大模型。

國(guó)內(nèi)大模型目前多處于發(fā)展階段，而GPGPU架構(gòu)依然是首選的最優(yōu)解。而且隨著未來(lái)AI在視頻、圖片、語(yǔ)音等多模態(tài)領(lǐng)域的應(yīng)用逐步深入，GPGPU架構(gòu)的通用性優(yōu)勢(shì)也將更加突顯。