突破數(shù)據(jù)瓶頸，浪潮高性能存儲平臺加速產(chǎn)業(yè)數(shù)智化變革

(相關資料圖)

當前，AIGC技術的爆發(fā)，讓產(chǎn)業(yè)智能化和智能產(chǎn)業(yè)化進入高速發(fā)展期，數(shù)據(jù)作為關鍵生產(chǎn)要素，正在成為這輪全球增長和科技創(chuàng)新的引擎。近日，浪潮參加由百易傳媒舉辦的2023全球閃存峰會，并在會上重磅發(fā)布高性能分布式存儲平臺AS15000G7，以在性能、管理、融合和效率方面追求極致的智慧存儲新品，構筑智慧世界基石，推進AI產(chǎn)業(yè)化變革。

AI大模型對數(shù)據(jù)存儲產(chǎn)業(yè)帶來的機遇與挑戰(zhàn)

AIGC是當前通用人工智能產(chǎn)業(yè)發(fā)展創(chuàng)新的核心技術，其具備強大的認知智能，在搜索引擎、藝術創(chuàng)作、影音游戲，以及金融、教育、醫(yī)療、工業(yè)等領域有著廣闊的應用前景。Gartner預測，到2023年將有20%的內(nèi)容被AIGC所創(chuàng)建；到2025 年人工智能生成數(shù)據(jù)占比將達到10%。據(jù)分析師預測，到2032年，生成式AI市場規(guī)模將達到2,000億美元，占據(jù)人工智能支出總額的約20%，明顯高出當前的5%。換言之，未來十年市場規(guī)模可能每兩年就會翻一番。

AIGC的爆發(fā)，源自于大模型的逐漸成熟，大模型成熟的先決條件是大規(guī)模高質(zhì)量的數(shù)據(jù)、強大的算力和成熟優(yōu)化的算法，而其中，數(shù)據(jù)質(zhì)量和數(shù)量決定了算法的效果和性能。隨著參數(shù)量和數(shù)據(jù)量的極速膨脹，數(shù)據(jù)存儲與管理正在成為制約AIGC產(chǎn)業(yè)發(fā)展的瓶頸：一是要支撐基于海量多元異構數(shù)據(jù)的歸集、標注、訓練、推理和歸檔全生命周期管理；二是要承載AIGC數(shù)據(jù)訓練推理時的高性能、低延時、大容量、易擴展、自由流動的嚴苛需求。大模型訓練數(shù)據(jù)多元、數(shù)據(jù)作業(yè)流程長、多態(tài)大模型數(shù)據(jù)量持續(xù)增長、多模計算大模型性能要求高，對當前AI數(shù)據(jù)存儲基礎設施提出了新挑戰(zhàn)：

數(shù)據(jù)歸集與準備：大模型的數(shù)據(jù)包括從互聯(lián)網(wǎng)及數(shù)字圖書館上收集的海量文本型數(shù)據(jù)，以及多渠道獲取的圖片型和視頻型數(shù)據(jù)，對這些多元異構海量數(shù)據(jù)預處理后才能用于大模型訓練，在此作業(yè)流程中數(shù)據(jù)的搬運和加載，要去存儲系統(tǒng)多協(xié)議互訪互通，存儲成為應用平臺的關鍵瓶頸；

數(shù)據(jù)訓練：大模型海量多元異構數(shù)據(jù)的訓練，通常采用將數(shù)據(jù)加載到成百上千個節(jié)點內(nèi)存中并行計算的方法，此過程中頻繁地從數(shù)據(jù)集取Token，每個Token一般4字節(jié)，實時高并發(fā)小IO性能需要極低的延遲，對數(shù)據(jù)存儲系統(tǒng)的吞吐性能提出了嚴苛的要求；

數(shù)據(jù)推理：機器學習大模型要求頻繁的參數(shù)調(diào)優(yōu)，當服務器故障、網(wǎng)絡故障造成節(jié)點中斷時，需要數(shù)據(jù)存儲提供高帶寬，確保Checkpoint機制可以快速訪問數(shù)據(jù)，使數(shù)據(jù)能夠重新加載，訓練能夠快速恢復；

數(shù)據(jù)歸檔：越多的數(shù)據(jù)投喂結果越精準的工作原理，決定了大模型訓練存在深度學習網(wǎng)絡層數(shù)多、連接多、參數(shù)和數(shù)據(jù)集種類復雜、數(shù)據(jù)量大的特征，大模型訓練過程中快速迭代，產(chǎn)生大量訓練數(shù)據(jù)和人工標注數(shù)據(jù)，對這些資產(chǎn)高效存儲與管理，且最大化數(shù)據(jù)基礎設施投資回報比，成為數(shù)據(jù)基礎設施廠商必須解決的問題。

浪潮高性能分布式存儲平臺AS15000G7

產(chǎn)業(yè)發(fā)展的根本在于科技創(chuàng)新。浪潮作為最早布局AI產(chǎn)業(yè)的企業(yè)之一，圍繞智算中心業(yè)務布局，打造了算力、算法、數(shù)據(jù)全棧解決方案。在數(shù)據(jù)存儲領域，浪潮秉承"存儲即平臺"的產(chǎn)品理念，準確識別客戶痛點積極布局面向AIGC應用場景的數(shù)據(jù)全生命周期存儲解決方案，并基于業(yè)界對大模型訓練的數(shù)據(jù)存儲在性能、管理、融合和效率方面更極致的需求，重磅發(fā)布高性能分布式存儲AS15000G7平臺，助力AIGC在金融、教育、醫(yī)療等領域突破海量多元異構數(shù)據(jù)存力瓶頸，加速釋放數(shù)據(jù)價值。

關鍵詞：