ChatGPT的現(xiàn)象級爆紅,可帶來哪些半導(dǎo)體產(chǎn)業(yè)鏈機遇?
關(guān)鍵詞: ChatGPT 半導(dǎo)體 芯片
當前,最火的人工智能(AI)應(yīng)用當屬ChatGPT,它是OpenAI發(fā)布的聊天機器人程序。ChatGPT與用戶對話時可結(jié)合上下文做出反應(yīng),還支持寫代碼、寫郵件、寫腳本、寫文案等文字輸出型任務(wù)。
由于ChatGPT在問答環(huán)節(jié)的優(yōu)異表現(xiàn),該程序一經(jīng)推出就受到了全球市場的關(guān)注,上線兩個月后注冊用戶人數(shù)就突破一億。在此背景下,ChatGPT背后蘊含的巨大市場潛力還有待挖掘,該技術(shù)可望撬動海量的應(yīng)用場景。
AI領(lǐng)域的從業(yè)者認為,ChatGPT是AIGC(AI Generated Content,利用人工智能技術(shù)來生成內(nèi)容)應(yīng)用的新起點,隨著深度學(xué)習(xí)模型不斷完善、開源模式的推動、大模型探索商業(yè)化的可能,AIGC有望進入應(yīng)用爆發(fā)期。ChatGPT技術(shù)的商用落地,對半導(dǎo)體行業(yè)有哪些推動作用?
訓(xùn)練AI模型需海量算力資源
從本質(zhì)上而言,ChatGPT是一類AI語言模型。官方資料顯示,ChatGPT是在GPT 3.5模型基礎(chǔ)上微調(diào)而成。ChatGPT與InstructGPT是姊妹模型,它們均采用了大型語言模型(Large Language Model,LLM)生成領(lǐng)域的新訓(xùn)練范式——RLHF(Reinforcement Learning from Human Feedback),即以強化學(xué)習(xí)方式依據(jù)人類反饋優(yōu)化語言模型,兩者僅在數(shù)據(jù)收集設(shè)置上有細微區(qū)別。
根據(jù)ChatGPT向用戶的透露的信息,RLHF是一種使用了強化學(xué)習(xí)的方式,可直接優(yōu)化帶有人類反饋的語言模型。實際上,它涉及到多個模型和不同訓(xùn)練階段,其技術(shù)可大致分解為以下三點:第一,預(yù)訓(xùn)練一個語言模型(LM) ;第二,聚合問答數(shù)據(jù)并訓(xùn)練一個獎勵模型(Reward Model,RM);第三,用強化學(xué)習(xí)(RL)方式微調(diào)LM。總而言之,RLHF可增強人類對模型輸出結(jié)果的調(diào)節(jié),并且還能對結(jié)果進行更具理解性的排序。
關(guān)于ChatGPT的介紹 圖片來源:OpenAI官網(wǎng)
再觀察GPT 3.5之前的GPT-3模型,其參數(shù)量高達1,750億個,訓(xùn)練所需數(shù)據(jù)量達45TB。通過使用RLHF的訓(xùn)練方法,即使InstructGPT只有13億個參數(shù)量,它的輸出效果也依舊優(yōu)于GPT-3。OpenAI公布的資料顯示,InstructGPT與ChatGPT是姊妹模型,由此可猜測兩者的參數(shù)量可能相差不大。
也許有讀者對于參數(shù)量缺乏具體的概念,本文通過列舉一個通俗的例子來解釋——2020年9月,微軟獲得了OpenAI GPT-3的獨家授權(quán),該公司為訓(xùn)練GPT-3建設(shè)了一個超算中心,該中心的超級計算機裝載了一萬張英偉達GPU。而訓(xùn)練GPT-3消耗了微軟355個GPU年的算力(1塊GPU運行355年的算力),單次訓(xùn)練費用更是高達460萬美元。不過,截至發(fā)稿日,筆者未查詢到ChatGPT模型訓(xùn)練費用信息。
ChatGPT是一個AI模型,它離不開算力的支持——在訓(xùn)練階段,需要大量的語料數(shù)據(jù)來訓(xùn)練模型,在應(yīng)用階段,需要大算力服務(wù)器來支持模型的運行。即使ChatGPT的參數(shù)量可減少到數(shù)十億個,訓(xùn)練和運行它也需消耗很大的計算資源。
推動智能計算機進一步發(fā)展
OpenAI ChatGPT的現(xiàn)象級走紅,推動科技公司加快類ChatGPT產(chǎn)品的部署。近期,谷歌、微軟、百度等企業(yè)都宣布將提供AI模型服務(wù),其中谷歌將推出由LaMDA模型支持的對話式人工智能服務(wù)Bard,微軟在搜索引擎Bing中嵌入了OpenAI的GPT-3.5,百度將推大模型新項目“文心一言”,最初版本將嵌入搜索服務(wù)中。
隨著更多科技公司部署類ChatGPT服務(wù),為訓(xùn)練AI模型將需要巨大的算力,這種需求也讓一些企業(yè)看到了AI算力服務(wù)的商機。2023年2月10日,浪潮信息推出AI算力服務(wù)產(chǎn)品。該公司表示,將基于中國領(lǐng)先智算中心的算力基礎(chǔ)設(shè)施,為中國客戶提供AI算力資源和配套服務(wù),支撐AI模型構(gòu)建、訓(xùn)練和推理的業(yè)務(wù)全流程,賦力生成式AI產(chǎn)業(yè)創(chuàng)新。
當然,資金雄厚的科技巨頭可能會搭建自己的計算中心。例如,前文所述的微軟的超級計算機,該中心設(shè)備用于在Azure公有云上訓(xùn)練超大規(guī)模的AI模型。據(jù)了解,該中心裝載了超過28.5萬個CPU、1萬個GPU,其中單個GPU服務(wù)器的網(wǎng)絡(luò)連接能力達400Gb/s,該設(shè)備算力峰值達每秒可執(zhí)行23.5-61.4個萬億浮點運算。
購買AI算力服務(wù)和搭建計算中心,都需要大規(guī)模的計算機設(shè)備的支持。
表1:超級計算機和智能計算機的區(qū)別
在進一步討論時,首先要厘清一個概念——算力是代表處理數(shù)字化信息能力的強弱,不同類型的算力存在著較大的差別。比如,超級計算機的算力單位是FLOPS(每秒浮點運算能力),而智能計算機的算力單位是OPS(每秒操作次數(shù)),這是兩個不同的概念。
另外,衡量算力水平還要考慮算力精度。瞭望智庫指出,目前業(yè)界用于衡量超級計算的Linpack測試,測試的是超級計算機的“雙精度浮點運算能力”,即64位浮點數(shù)字的計算(FP64)。此外,在以二進制所表示數(shù)字精度中,還有單精度(32位,F(xiàn)P32)、半精度(16位,F(xiàn)P16)以及整數(shù)類型(如INT8、INT4)等。數(shù)字位數(shù)越高,意味著精度越高、可支持的運算復(fù)雜程度越高,其能適配應(yīng)用場景越廣。
智能計算機是一種專用算力設(shè)備,它在推理或訓(xùn)練等智能計算方面表現(xiàn)出色,但大多數(shù)智能計算機不具備高精度數(shù)值計算能力;超級計算機是一種通用算力設(shè)備,其設(shè)計目標是提供完備、復(fù)雜的計算能力,在高精度計算能力更強,應(yīng)用范圍更廣,主要被科研人員用于行星模擬、新材料開發(fā)、基因分析等科學(xué)計算和大數(shù)據(jù)處理。
AI模型訓(xùn)練只需用到智能計算機,但目前的智能計算機技術(shù)還不成熟,僅在模式識別、知識處理及開發(fā)智能等方面有應(yīng)用。盡管當前該類設(shè)備還未達到預(yù)期目標,但它在文字、語音、圖形圖像識別與理解,以及機器翻譯等領(lǐng)域取得了一些進展,同時相關(guān)初級產(chǎn)品也已經(jīng)問世。
推動更多AI細分市場的發(fā)展
如前文所述,AIGC的出現(xiàn)有望撬動AI大規(guī)模落地的場景。同時,相關(guān)企業(yè)在多個AI產(chǎn)業(yè)鏈的布局將更深入。比如,在硬件層包括芯片和傳感器,其中AI芯片主要有通用型的GPU、可定制的FPGA、專用的ASIC,以及類腦芯片。英偉達的Orin芯片基于通用GPU,地平線的征程5芯片,既是ASIC芯片,也是DSA(特定領(lǐng)域架構(gòu))芯片;類腦芯片有IBM的TrueNorth、英特爾的Loihi、高通的Zeroth、西井科技的DeepSouth、杭州電子科技大學(xué)的達爾文、aiCTX的DynapCNN處理器等。
整體而言,AI芯片供應(yīng)商主要有英偉達、AMD、Intel、VelociHOST、景嘉微、地平線、寒武紀、比特大陸、復(fù)旦微、賽靈思、Altera(英特爾旗下)、異構(gòu)智能、谷歌等;傳感器部分有舜宇光學(xué)、禾賽科技等供應(yīng)商;算法層有商湯科技、曠視科技、云從科技、依圖科技、第四范式等;應(yīng)用層有??低?、科大訊飛、銳明技術(shù)等。
雖然智能計算機并不追求太大的算力頻率,但是其對芯片的功耗和散熱要求較高,所以,低功耗的FPGA和ASIC芯片在智能計算機上有更大的用武之地。與此同時,AI芯片也將從面向廠商的訓(xùn)練場景為主,轉(zhuǎn)變?yōu)槊嫦蛳M者的推理場景為主。業(yè)內(nèi)AI專家對此評價稱,GPU的高并行計算能力和高通用性的協(xié)調(diào)統(tǒng)一,在消費者時代的統(tǒng)治力或許難以為繼,未來ASIC芯片、中國產(chǎn)GPGPU芯片或?qū)⒛芮腥隡aaS(出行即服務(wù))產(chǎn)業(yè)生態(tài)。
服務(wù)器產(chǎn)業(yè)鏈的發(fā)展會受益嗎?
或許會有讀者聯(lián)想到,理論上,更大的算力意味著更多的計算機設(shè)備,搭建這些設(shè)備也需要更多的核心器件。這是否意味著,企業(yè)對類ChatGPT技術(shù)的追求,對服務(wù)器產(chǎn)業(yè)鏈的發(fā)展起到積極的促進作用?
筆者在表2中列舉了一些全球服務(wù)器產(chǎn)業(yè)鏈信息,主要涉及到關(guān)鍵器件及整機供應(yīng)商。
表2:服務(wù)器核心器件及整機供應(yīng)商不完全盤點
·服務(wù)器主板供應(yīng)商
服務(wù)器主板是專門為滿足服務(wù)器應(yīng)用而開發(fā),要求具備高穩(wěn)定性、高性能、高兼容性的特點。本表列舉的服務(wù)器主板供應(yīng)商集中在中國和美國,比如美國的英特爾、超微;中國大陸的聯(lián)想等,以及中國臺灣的華碩、技嘉、微星、泰安(神達旗下)等。
·服務(wù)器CPU供應(yīng)商
圖1:x86服務(wù)器CPU與非x86服務(wù)器CPU的市場占比 制圖:國際電子商情 數(shù)據(jù)來源:綜合自各研報
截至2023年Q1,全球約有90%的服務(wù)器CPU采用x86架構(gòu),剩下的10%左右采用非x86架構(gòu)。目前,英特爾占據(jù)了x86服務(wù)器CPU 90%以上的市場份額,同為x86架構(gòu)陣營的AMD雖然近年來在PC CPU領(lǐng)域窮追猛打,但在服務(wù)器CPU方面其份額還難以撼動英特爾的地位。IBM的CPU采用Power架構(gòu),其全球市場占也比與英特爾低。另外,中國臺灣的Cyrix(被威盛電子收購),中國大陸的海思、中科院計算所、天津飛騰、申威科技等也有服務(wù)器CPU產(chǎn)品,但這些企業(yè)的市占比與英特爾有很大的差距。
·GPU供應(yīng)商
AI模型需要大量的深度學(xué)習(xí)和機器訓(xùn)練,比如參數(shù)量達1,750億個的GPT-3,需要用到大量的英偉達V100(32GB)、A100和H100(80G)GPU產(chǎn)品的支持。目前,英偉達A100、H100 GPU產(chǎn)品已經(jīng)被亞馬遜AWS、微軟Azure、谷歌云、甲骨文等公司采用。另據(jù)IDC統(tǒng)計資料顯示,在中國的GPU服務(wù)器領(lǐng)域,英偉達的市占率也高達95%,幾乎所有的云服務(wù)提供商和超算都采用英偉達的芯片來支持AI計算。
此外,AMD、Intel、VelociHOST等美資企業(yè)也生產(chǎn)GPU產(chǎn)品;中國的GPU供應(yīng)商則有景嘉微、長沙韶光(航景科技子公司)等。
·存儲相關(guān)供應(yīng)商
本表格列舉的存儲相關(guān)供應(yīng)商的業(yè)務(wù)涉及到內(nèi)存、外存(硬盤)和內(nèi)存接口芯片。
目前,內(nèi)存接口芯片已經(jīng)升級到DDR5世代,供應(yīng)商有瀾起科技、Rambus、IDT三家。雖然速率為4800MT/s的DDR5在PC筆電的滲透快于服務(wù)器,但是只有當傳輸速率達到6400MT/s時,PC端才需要搭載DDR5內(nèi)存接口芯片。因此,當前DDR5內(nèi)存接口芯片在服務(wù)器上的應(yīng)用更多,預(yù)計在2022-2024年三年期間,服務(wù)器端DDR5的滲透率分別為15%、40%、60%。
內(nèi)存供應(yīng)商有韓國的SK海力士、三星電子等,美國的美光科技、金士頓等,中國的金泰克、芝奇(臺灣)等;外存供應(yīng)商有美國的西部數(shù)據(jù)(含旗下閃迪)、希捷等,中國的聯(lián)想、金泰克等。
·服務(wù)器整機供應(yīng)商
在服務(wù)器整機部分,筆者主要列舉了中美兩國的供應(yīng)商。
美國有戴爾、HPE、IBM、思科等;中國有華為、新華三、浪潮、聯(lián)想、中科曙光、山東超越等。
超級計算機和智能計算機有多臺服務(wù)器組成??陀^上,科技企業(yè)對類ChatGPT服務(wù)的追捧,有利于全球服務(wù)器產(chǎn)業(yè)鏈的發(fā)展,但是這種作用恐怕難以在短期內(nèi)體現(xiàn)。據(jù)分析機構(gòu)的預(yù)測,2023年全球服務(wù)器整機市場的表現(xiàn)并不太好。
2023年1月底,集邦咨詢修正了對2023年全球服務(wù)器整機市場的預(yù)測數(shù)據(jù),增速下調(diào)至1.87%。該機構(gòu)表示,受全球經(jīng)濟持續(xù)疲軟影響,北美四大云端服務(wù)供應(yīng)商下修了2023年服務(wù)器采購量,且數(shù)字可能將持續(xù)下調(diào),下修幅度從大到小依次為Meta、微軟、谷歌、亞馬遜云科技。這四家企業(yè)的服務(wù)器采購量由原先預(yù)估的同比增長6.9%,降至4.4%,這將影響2023年全球服務(wù)器整機出貨年增率下降到1.87%。
其實,已確定部署類ChatGPT的企業(yè),主要是一些規(guī)模大、實力強的巨頭,畢竟部署這類業(yè)務(wù)需要極大的算力,訓(xùn)練和驗證模型的成本也非常昂貴。相信隨著更多此類技術(shù)進一步產(chǎn)業(yè)化,市場上還會出現(xiàn)不同的細分業(yè)務(wù)模式。
