5月7日，以“數(shù)據(jù)覺醒，構建AI-Ready的領先數(shù)據(jù)基礎設施”為主題的2024創(chuàng)新數(shù)據(jù)基礎設施論壇在柏林舉行。華為公司副總裁、數(shù)據(jù)存儲產品線總裁周躍峰博士發(fā)表題為“數(shù)據(jù)覺醒時代，華為重新定義數(shù)據(jù)存儲”主題演講，他表示，具備極致性能、數(shù)據(jù)韌性、全新數(shù)據(jù)范式、高擴展性、綠色節(jié)能、數(shù)據(jù)編織能力的數(shù)據(jù)存儲是AI時代存儲演進的必由之路。


數(shù)據(jù)存儲的新要求

AI大模型集群規(guī)模已邁入萬卡、十萬卡時代，集群規(guī)模增加帶來更加頻繁的故障和訓練中斷，重復的CheckPoint數(shù)據(jù)寫入、斷點續(xù)訓導致算力資源閑置，集群可用度不足50%。此外，到2026年，全球數(shù)據(jù)中心的耗電量預計將達到2022年的2.3倍，相當于日本一個國家全年的耗電量，其中數(shù)據(jù)中心一半以上的電力消耗都將被AI占據(jù)。

AI時代呼喚新一代數(shù)據(jù)存儲。過去的數(shù)據(jù)存儲主要關注性能、可靠、數(shù)據(jù)范式三個方面；面向未來，AI存儲還應增加三個維度：高擴展性、綠色節(jié)能與數(shù)據(jù)編織。數(shù)據(jù)覺醒時代，華為將重新定義數(shù)據(jù)存儲，聚焦于六個方面的創(chuàng)新，持續(xù)引領：

極致性能：超越傳統(tǒng)存儲10倍的性能，支持PB級帶寬以及億級IOPS，極大提升生成式AI全流程效率；

數(shù)據(jù)韌性：通過架構和技術創(chuàng)新，實現(xiàn)99.9999%高可靠性，通過內置防勒索引擎，實現(xiàn)偵測準確率提升至99.99%，并將AI訓練過程中CheckPoint恢復時間縮至1分鐘以內；

全新數(shù)據(jù)范式：使能多維“張量”格式的數(shù)據(jù)，通過智能檢索引擎，具備快速的張量數(shù)據(jù)檢索能力；通過內嵌知識庫，利用RAG技術消除AI大模型幻覺；

高擴展性：存儲集群支持EB級容量橫向擴展；每個引擎可支持多GPU、DPU或NPU縱向擴展，以支持近存計算；

綠色節(jié)能：通過存儲介質應用創(chuàng)新和整機硬件創(chuàng)新，實現(xiàn)小于1Watt/TB的存儲能效和1PB/U的存儲密度；

數(shù)據(jù)編織：基于存儲元數(shù)據(jù)管理及檢索能力，實現(xiàn)全局數(shù)據(jù)可視、可管，并支持10倍的數(shù)據(jù)流動效率提升。

基于以上創(chuàng)新，華為推出全新A系列高性能存儲OceanStor A800，專為AI而生，可有效提升AI集群可用度30%。性能方面，OceanStor A800帶寬是友商同類產品的4倍，IOPS達友商的8倍；支持EB級容量擴展，最大支持擴容至4096張算力卡，512個存儲控制器；從空間能耗來看，密度高達1PB/U，能耗低至0.7Watt/TB；結合向量化索引、張量格式數(shù)據(jù)、RAG知識庫，使能全新數(shù)據(jù)范式；數(shù)據(jù)韌性方面，勒索攻擊偵測準確率從99.9%提升至99.99%；通過數(shù)據(jù)編織能力，實現(xiàn)數(shù)據(jù)資產管理。


數(shù)據(jù)爆炸來臨

國產替代加速

在新興技術驅動下，存儲主要面對的是云計算、大數(shù)據(jù)和人工智能等大規(guī)模數(shù)據(jù)應用場景。相較于傳統(tǒng)存儲，源于大型互聯(lián)網(wǎng)數(shù)據(jù)中心的“軟件定義存儲”技術，天生具有的可擴展性以及靈活性，數(shù)據(jù)存儲行業(yè)為新基建時代帶來了革命性的數(shù)據(jù)儲存手段。

伴隨著信息產業(yè)的迅猛發(fā)展和普及，數(shù)據(jù)存儲技術已成為現(xiàn)代信息產業(yè)架構中不可或缺的底層基座。然而，日益增長的數(shù)據(jù)存儲需求，要求數(shù)據(jù)存儲技術在介質、架構、協(xié)議、應用與運維模式等數(shù)據(jù)存儲行業(yè)方面不斷發(fā)展演進。

當前數(shù)據(jù)資源已成為關鍵生產要素，更多的產業(yè)通過利用物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、電商等結構或非結構化數(shù)據(jù)資源來提取有價值信息;而海量數(shù)據(jù)的處理與分析均要求構建大數(shù)據(jù)中心。

近年來，伴隨著互聯(lián)網(wǎng)的快速發(fā)展以及在各行業(yè)的滲透，互聯(lián)網(wǎng)行業(yè)的IDC需求仍是推動中國數(shù)據(jù)中心(IDC)業(yè)務市場規(guī)模絕對值增長的主要驅動力，數(shù)據(jù)存儲行業(yè)市場始終保持市場規(guī)模量級的增長。


1、大數(shù)據(jù)時代來臨，數(shù)據(jù)量和數(shù)據(jù)價值陡升，催生存儲需求

隨著半導體和云計算的發(fā)展解決計算成本和計算能力問題，神經網(wǎng)絡和深度學習在算法效率上實現(xiàn)突破，以人工智能、物聯(lián)網(wǎng)等為代表的萬物智能應用將使各行各業(yè)的數(shù)據(jù)量以遠超摩爾定律的速率爆發(fā)增長。

目前近六成的企業(yè)已成立數(shù)據(jù)分析相關部門，超過 1/3 的企業(yè)已實際應用大數(shù)據(jù)。隨著數(shù)據(jù)集中、數(shù)據(jù)挖掘、商業(yè)智能、協(xié)同作業(yè)等大數(shù)據(jù)處理技術的日趨成熟，數(shù)據(jù)價值呈指數(shù)上升趨勢，數(shù)據(jù)逐漸成為企業(yè)越來越重要的無形資產，因此使得存儲行業(yè)快速升溫。

預計未來大數(shù)據(jù)引出的存儲增量需求主要有三方面，一是數(shù)據(jù)量擴大引起的擴容需求，二是數(shù)據(jù)分析和處理產生的倍增數(shù)據(jù)存儲需求，三是數(shù)據(jù)價值被發(fā)掘后，企業(yè)會對數(shù)據(jù)的安全保障投入更大的精力，進而產生更多的容災需求和備份需求。


2、國家實行信息化安全戰(zhàn)略，極大促進國內數(shù)據(jù)存儲廠商的發(fā)展

近年來隨著互聯(lián)網(wǎng)+、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算的快速發(fā)展，數(shù)據(jù)逐漸成為用戶的核心信息資產。2013 年“美國棱鏡門”事件和“RSA 后門”事件的影響持續(xù)發(fā)酵，個人隱私意識和企業(yè)數(shù)據(jù)安全意識不斷提升，國家已將核心 IT 產品自主可控提升到戰(zhàn)略高度，近年來相繼出臺了一系列鼓勵信息產業(yè)自主可控的法律法規(guī)和產業(yè)政策，隨著國家對信息基礎設施的重視程度日益提高，相關市場的空間日益擴大，信息產業(yè)核心基礎設施的國產化替代趨勢正在加快。


3、中高端市場增速明顯，國產化替代空間較大

近年中國外部存儲市場為例，進入高端市場排名的廠商中，國外廠商占據(jù) 56.5%的市場份額，國內廠商以華為、曙光、DCN、宏杉為代表，占據(jù) 39.4%的市場份額；進入中端市場排名的廠商中，國外廠商占據(jù) 38.0%的市場份額，國內廠商以華為、浪潮、宏杉、同有、宇視、曙光、聯(lián)想、DCN 為代表，占據(jù) 53.0%的市場份額。因此，中國存儲市場的國產化程度仍有較大的提升空間。

近年來國內中高端存儲市場發(fā)展較快，市場規(guī)模在不斷擴大，且國產化替代仍有較大空間，在政策面的大力支持下，國內廠商正在逐步擴大自身的市場份額。公司在中高端存儲產品方面擁有完全的自主知識產權且已形成成熟豐富的產品組合，因此有望在未來中高端存儲市場領域進一步擴大自身銷售規(guī)模。

分布式存儲“漸當大任”

面向非結構化數(shù)據(jù)量爆炸式增長和存儲需求的持續(xù)升級，各廠商紛紛推出分布式存儲新品，其高性能、大容量、綠色低碳等特質，將加速海量非結構化數(shù)據(jù)進入各行各業(yè)的生產決策系統(tǒng)，提升生產決策效率和業(yè)務體驗。

與傳統(tǒng)的集中式存儲技術不同，分布式存儲沒有將數(shù)據(jù)存儲在某個特定節(jié)點上，而是通過網(wǎng)絡將各個節(jié)點分散的存儲資源匯聚成一個虛擬的存儲設備，將數(shù)據(jù)分散在各處。相較于集中存儲，分布式存儲成本低，擴展性好，弱化了關系數(shù)據(jù)模型，可以得到高并發(fā)和高性能。

眾所周知，傳統(tǒng)的網(wǎng)絡存儲系統(tǒng)采用集中的存儲服務器存放所有數(shù)據(jù)，存儲服務器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規(guī)模存儲應用的需要。隨著各行業(yè)數(shù)字化轉型的加速，越來越多的數(shù)據(jù)被生產出來，分布式存儲成為企業(yè)應對海量數(shù)據(jù)挑戰(zhàn)的重要助力。

而且，不同類型的數(shù)據(jù)需要用不同的分布式存儲系統(tǒng)去處理。圖片、視頻等非結構化數(shù)據(jù)，由于個體相互之間沒有關聯(lián)，體積大，采用二級制，通常使用分布式文件系統(tǒng)進行存儲；自描述的數(shù)據(jù)結構和內容混在一起的半結構化數(shù)據(jù)，比較簡單的可以用分布式鍵值系統(tǒng)存儲，較為復雜的一般采用分布式表格系統(tǒng)來存儲區(qū)；結構化數(shù)據(jù)由分布式數(shù)據(jù)庫存儲。

分布式云存儲技術在數(shù)據(jù)存儲領域得到了廣泛應用，并為云計算技術的迅速發(fā)展提供了堅實的基礎。在云環(huán)境下，分布式存儲系統(tǒng)能夠實現(xiàn)計算資源和存儲資源的單獨橫向擴展，計算資源不足時直接擴容計算節(jié)點，存儲空間不足時只需擴容存儲節(jié)點，極大地節(jié)省硬件資源降低成本。


市場需求強烈，廠商紛紛推出分布式存儲方案

面對著市場上對于分布式存儲產品的需求，不少廠商已經在布局該賽道，其中不乏騰訊云、字節(jié)跳動和天翼云等國內云計算大廠，紛紛推出相應產品賦能企業(yè)加速數(shù)字化進程。

作為騰訊云的分布式存儲服務，騰訊云COS具有高擴展性、低成本、高可靠性和安全性等特點，在架構上，騰訊云COS推出新一代同城多活存儲系統(tǒng)，利用EC編碼技術，將數(shù)據(jù)分塊、分機房存儲，將存儲的可靠性提升了10倍，并通過新一代高可用機制，保障機房故障時，能夠讓讀寫請求正常執(zhí)行，使得業(yè)務訪問可用性提升了10倍。

在智能分層存儲領域，騰訊云COS此次也推出了新的探索，其在標準層與低頻層的基礎上，將歸檔層、深度歸檔層也加入智能分層存儲的納管范圍內，實現(xiàn)了更大范圍、更完善的數(shù)據(jù)自動分層，從而幫助用戶選擇更合理、與業(yè)務更匹配的存儲類型，進一步降本增效。

另外一家互聯(lián)網(wǎng)廠商字節(jié)跳動也“不甘人后”，推出了自研分布式存儲系統(tǒng)ByteGraph。針對非結構化數(shù)據(jù)，ByteGraph支持數(shù)據(jù)模型，支持Gremlin查詢語言，支持靈活豐富的寫入和查詢接口，讀寫吞吐可擴展到千萬QPS，延遲毫秒級。另外，ByteGraph主要用于在線OLTP場景，而在離線場景下，非結構式數(shù)據(jù)的分析和計算需求也逐漸顯現(xiàn)。

目前，ByteGraph支持了頭條、抖音、 TikTok、西瓜、火山等幾乎字節(jié)跳動全部產品線，遍布全球機房。