AI需求大增，HBN從幕后走向臺前，年增長率將超50%
突破“內(nèi)存墻”瓶頸，HBM應運而生
HBM（High Bandwidth Memory）即高帶寬存儲器，按照JEDEC的分類，HBM屬于圖形DDR內(nèi)存的一種，其通過使用先進的封裝方法（如TSV硅通孔技術(shù)）垂直堆疊多個DRAM，并與GPU封裝在一起。
存儲器與處理器性能差異正隨時間發(fā)展逐漸擴大，當存儲器訪問速度跟不上處理器數(shù)據(jù)處理速度時，存儲與運算之間便筑起了一道“內(nèi)存墻”。而隨著人工智能、高性能計算等應用市場興起，數(shù)據(jù)爆炸式增長之下，“內(nèi)存墻”問題也愈發(fā)突出。為此，業(yè)界希望通過增加存儲器帶寬解決大數(shù)據(jù)時代下的“內(nèi)存墻”問題，HBM便應運而生。
存儲器帶寬是指單位時間內(nèi)可以傳輸?shù)臄?shù)據(jù)量，要想增加帶寬，最簡單的方法是增加數(shù)據(jù)傳輸線路的數(shù)量。據(jù)悉，典型的DRAM芯片中，每個芯片有八個DQ數(shù)據(jù)輸入/輸出引腳，組成DIMM模組單元之后，共有64個DQ引腳。而HBM通過系統(tǒng)級封裝（SIP）和硅通孔（TSV）技術(shù)，擁有多達1024個數(shù)據(jù)引腳，可顯著提升數(shù)據(jù)傳輸速度。
HBM技術(shù)之下，DRAM芯片從2D轉(zhuǎn)變?yōu)?D，可以在很小的物理空間里實現(xiàn)高容量、高帶寬、低延時與低功耗，因而HBM被業(yè)界視為新一代內(nèi)存解決方案。
自2014年首款硅通孔HBM產(chǎn)品問世至今，HBM技術(shù)已經(jīng)發(fā)展至第四代，分別是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代），HBM芯片容量從1GB升級至24GB，帶寬從128GB/s提升至819GB/s，數(shù)據(jù)傳輸速率也從1Gbps提高至6.4Gbps。
借AI東風，HBM需求激增
2021年的時候，HBM位元需求占整體DRAM市場只有不到1%。主要是因為HBM高昂的成本以及當時服務器市場中搭載相關(guān)AI運算卡的比重仍小于1%，且多數(shù)存儲器仍使用GDDR5(x)、GDDR6來支持其算力。
而到了今年年初，HBM的需求激增，并且業(yè)內(nèi)人士稱，與最高性能的 DRAM 相比，HBM3 的價格上漲了五倍，HBM“逆襲”的主要原因，就是AI服務器需求的爆發(fā)。
在ChatGPT火了之后，一下子點燃了AIGC（生成式AI）的熱潮，誰不追，誰就要被拋下，于是大廠們紛紛開始推出自己的類ChatGPT的大模型。據(jù)不完全統(tǒng)計，自3月16日百度率先公布“文心一言”以來，國內(nèi)已有超過30項大模型產(chǎn)品亮相。
而AI大模型的基礎，就是靠海量數(shù)據(jù)和強大算力來支撐訓練和推理過程。AI服務器作為算力基礎設施單元服務器的一種類型也來到了臺前，備受追捧。TrendForce集邦咨詢預估，2023年AI服務器（包含搭載GPU、FPGA、ASIC等）出貨量近120萬臺，同步上修2022-2026年AI服務器出貨量年復合成長率至22%。
HBM成本在AI服務器成本中占比排名第三，約占9%，單機ASP（單機平均售價）高達18,000美元。所以，AI服務器是HBM目前最矚目的應用領域。
AI服務器需要在短時間內(nèi)處理大量數(shù)據(jù)，包括模型訓練數(shù)據(jù)、模型參數(shù)、模型輸出等。要想讓AI更加“智能”，AI大模型龐大的參數(shù)量少不了，比如ChatGPT基于的GPT3.5大模型的參數(shù)量就高達135B。數(shù)據(jù)處理量和傳輸速率的大幅提升，讓AI服務器對帶寬提出了更高的要求，而HBM基本是AI服務器的標配 。
AI服務器GPU市場以NVIDIA H100、A100、A800以及AMD MI250、MI250X系列為主，基本都配備了HBM。2023 GTC大會發(fā)布的ChatGPT專用最新H100 NVL GPU，也配置了188GB HBM3e內(nèi)存。HBM方案目前已演進為較為主流的高性能計算領域擴展高帶寬的方案。
隨著高端GPU需求的逐步提升，TrendForce集邦咨詢預估2023年HBM需求量將年增58%，2024年有望再成長約30%。
除了AI服務器，汽車也是HBM值得關(guān)注的應用領域。汽車中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字，想要在車輛周圍快速傳輸大量數(shù)據(jù)，HBM具有很大的帶寬優(yōu)勢。但是最新的HBM3目前還沒有取得汽車認證，外加高昂的成本，所以遲遲還沒有“上車”。不過，Rambus的高管曾提出，HBM 絕對會進入汽車應用領域。
AR和VR也是HBM未來將發(fā)力的領域。因為VR和AR系統(tǒng)需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在 GPU 和內(nèi)存之間傳輸數(shù)據(jù)。而且，VR和AR也需要實時處理大量數(shù)據(jù)，這都需要HBM的超強帶寬來助力。
此外，智能手機、平板電腦、游戲機和可穿戴設備的需求也在不斷增長，這些設備需要更先進的內(nèi)存解決方案來支持其不斷增長的計算需求，HBM也有望在這些領域得到增長。并且，5G 和物聯(lián)網(wǎng) (IoT) 等新技術(shù)的出現(xiàn)也進一步推動了對 HBM 的需求。
不過，目前來講，HBM還是主要應用于服務器、數(shù)據(jù)中心等領域，消費領域?qū)Τ杀颈容^敏感，因此HBM的使用較少。
可以肯定的是，對帶寬的要求將不斷提高，HBM也將持續(xù)發(fā)展。市場調(diào)研機構(gòu)Omdia預測，2025年HBM市場的總收入將達到25億美元。據(jù)新思界發(fā)布的分析報告顯示，預計2025年中國HBM需求量將超過100萬顆。
HBM市場格局：SK海力士、三星、美光三分天下
HBM是新一代內(nèi)存解決方案，其市場被三大DRAM原廠牢牢占據(jù)。集邦咨詢調(diào)查顯示，2022年三大原廠HBM市占率分別為SK海力士50%、三星約40%、美光約10%。
公開資料顯示，SK海力士是HBM市場的先行者，也是全面布局四代HBM的廠商。2014年，SK海力士與AMD聯(lián)合開發(fā)第一代硅通孔HBM產(chǎn)品；2018年SK海力士發(fā)布第二代HBM產(chǎn)品HBM2；隨后2020年SK海力士發(fā)布第三代HBM——HBM2E，作為HBM2的擴展版本，性能與容量進一步提升；2021年10月SK海力士成功開發(fā)出第四代產(chǎn)品HBM3，并于2022年6月開始量產(chǎn)，今年4月，該公司進一步宣布，已經(jīng)全球率先研發(fā)出12層堆疊的HBM3內(nèi)存，單顆容量可達24GB。
三星對HBM的布局從HBM2開始，目前，三星已經(jīng)向客戶提供了HBM2和HBM2E產(chǎn)品。2016年三星量產(chǎn)HBM2；2020年三星推出了HBM2；2021年2月，三星推出了HBM-PIM（存算一體），將內(nèi)存半導體和AI處理器合二為一；2022年三星表示HBM3已量產(chǎn)。另據(jù)媒體報道，三星已于今年4月26日向韓國專利信息搜索服務提交“Snowbolt”商標申請，預估該商標將于今年下半年應用于DRAM HBM3P產(chǎn)品。
美光進軍HBM相對較晚，相關(guān)產(chǎn)品公開報道不多。2020年美光表示將開始提供HBM2產(chǎn)品，用于高性能顯卡，服務器處理器產(chǎn)品。另據(jù)業(yè)界透露，美光亦在發(fā)力最新HBM3產(chǎn)品。
集邦咨詢指出，2023下半年伴隨NVIDIA H100與AMD MI300的搭載，三大原廠也已規(guī)劃相對應規(guī)格HBM3的量產(chǎn)。其中，在今年將有更多客戶導入HBM3的預期下，SK海力士作為目前唯一量產(chǎn)新世代HBM3產(chǎn)品的供應商，其整體HBM市占率可望藉此提升至53%，而三星、美光則預計陸續(xù)在今年底至明年初量產(chǎn)，HBM市占率分別為38%及9%。
HBM未來潛力與演進方向
對于接下來的規(guī)劃策略和技術(shù)進步，業(yè)界旨在突破目前HBM在速度、密度、功耗、占板空間等方面的極限。
首先，為了打破速度極限，SK海力士正在評估提高引腳數(shù)據(jù)速率的傳統(tǒng)方法的利弊，以及超過1024個數(shù)據(jù)的I/O總線位寬，以實現(xiàn)更好的數(shù)據(jù)并行性和向后設計兼容性。簡單來講，即用最少的取舍獲得更高的帶寬性能。
針對更大數(shù)據(jù)集、訓練工作負載所需的更高內(nèi)存密度要求，存儲廠商開始著手研究擴展Die堆疊層數(shù)和物理堆疊高度，以及增加核心Die密度以優(yōu)化堆疊密度。
另一方面也在致力于提高功耗效率，通過評估從最低微結(jié)構(gòu)級別到最高Die堆疊概念的內(nèi)存結(jié)構(gòu)和操作方案，最大限度地降低每帶寬擴展的絕對功耗。由于現(xiàn)有中介層光罩尺寸的物理限制以及支持處理單元和HBM Cube的其他相關(guān)技術(shù)，實現(xiàn)總內(nèi)存Die尺寸最小化尤為重要。因此，行業(yè)廠商需要在不擴大現(xiàn)有物理尺寸的情況下增加存儲單元數(shù)量和功能，從而實現(xiàn)整體性能的飛躍。
但從產(chǎn)業(yè)發(fā)展歷程來看，完成上述任務的前提是：存儲廠商要與上下游生態(tài)系統(tǒng)合作伙伴攜手合作和開放協(xié)同，將HBM的使用范圍從現(xiàn)有系統(tǒng)擴展到潛在的下一代應用。
此外，新型HBM-PIM（存內(nèi)計算）芯片將AI引擎引入每個存儲庫，從而將處理操作轉(zhuǎn)移到HBM。
在傳統(tǒng)架構(gòu)下，數(shù)據(jù)從內(nèi)存單元傳輸?shù)接嬎銌卧枰墓氖怯嬎惚旧淼募s200倍，數(shù)據(jù)的搬運耗費的功耗遠大于計算，因此真正用于計算的能耗和時間占比很低，數(shù)據(jù)在存儲器與處理器之間的頻繁遷移帶來嚴重的傳輸功耗問題，稱為“功耗墻”。新型的內(nèi)存旨在減輕在內(nèi)存和處理器之間搬運數(shù)據(jù)的負擔。
過去幾年來，HBM產(chǎn)品帶寬增加了數(shù)倍，目前已接近或達到1TB/秒的里程碑節(jié)點。相較于同期內(nèi)其他產(chǎn)品僅增加兩三倍的帶寬增速，HBM的快速發(fā)展歸功于存儲器制造商之間的競爭和比拼。
