“百模大戰(zhàn)”一觸即發(fā)!華為發(fā)布大模型時代AI存儲新品
通信世界網(wǎng)消息(CWW)數(shù)據(jù)作為數(shù)字經(jīng)濟(jì)時代最核心、最具價值的生產(chǎn)要素正在加速滲透,成為全球經(jīng)濟(jì)增長的新動力和新引擎。尤其是AI大模型爆火以來,數(shù)據(jù)呈指數(shù)級速度增長,數(shù)據(jù)流動加速,在“百模大戰(zhàn)”的角逐中,作為基礎(chǔ)設(shè)施的存力,其重要性也日益凸顯。 AI大模型面臨四大挑戰(zhàn) 數(shù)據(jù)存儲是算力基礎(chǔ)設(shè)施的核心組成,是信息的起始和重點(diǎn),優(yōu)質(zhì)的數(shù)據(jù)存儲不僅會賦能數(shù)據(jù)存力發(fā)展,而且還會驅(qū)動AI大模型的建設(shè)和發(fā)展
2023-07-17 10:10:30
來源:通信世界全媒體 蓋貝貝??

通信世界網(wǎng)消息(CWW)數(shù)據(jù)作為數(shù)字經(jīng)濟(jì)時代最核心、最具價值的生產(chǎn)要素正在加速滲透,成為全球經(jīng)濟(jì)增長的新動力和新引擎。尤其是AI大模型爆火以來,數(shù)據(jù)呈指數(shù)級速度增長,數(shù)據(jù)流動加速,在“百模大戰(zhàn)”的角逐中,作為基礎(chǔ)設(shè)施的存力,其重要性也日益凸顯。

AI大模型面臨四大挑戰(zhàn)

數(shù)據(jù)存儲是算力基礎(chǔ)設(shè)施的核心組成,是信息的起始和重點(diǎn),優(yōu)質(zhì)的數(shù)據(jù)存儲不僅會賦能數(shù)據(jù)存力發(fā)展,而且還會驅(qū)動AI大模型的建設(shè)和發(fā)展。

今年以來,自ChatGPT發(fā)布后,多家企業(yè)先后發(fā)布了自己的大模型產(chǎn)品,據(jù)不完全統(tǒng)計,全球已發(fā)布數(shù)百個大模型,僅在中國就發(fā)布了80多個。AI大模型儼然成為互聯(lián)網(wǎng)的“新風(fēng)口”,在這場AI帶來的新變革中,企業(yè)紛紛緊跟時代浪潮,建立自己的大模型。

而企業(yè)在開發(fā)及實(shí)施大模型應(yīng)用過程中,通常會面臨著諸多挑戰(zhàn)。首先,數(shù)據(jù)準(zhǔn)備時間長,數(shù)據(jù)來源分散、歸集慢,預(yù)處理百TB數(shù)據(jù)需10天左右;其次,多模態(tài)大模型以海量文本、圖片為訓(xùn)練集,當(dāng)前海量小文件的加載速度不足100MB/s,訓(xùn)練集加載效率低;再次,大模型參數(shù)頻繁調(diào)優(yōu),訓(xùn)練平臺不穩(wěn)定,平均約2天出現(xiàn)一次訓(xùn)練中斷,需要Checkpoint機(jī)制恢復(fù)訓(xùn)練,故障恢復(fù)耗時超過一天;最后,大模型實(shí)施門檻高,系統(tǒng)搭建繁雜,資源調(diào)度難,GPU資源利用率通常不到40%。

更為嚴(yán)重的是,甚至有些企業(yè)目前對數(shù)據(jù)存儲重視程度還尚顯不足。隨著AI大模型的升溫,各地紛紛投入建設(shè)AI算力中心,加大了對算力的重視程度。但是算力中心的起步離不開數(shù)據(jù)存儲能力作為基礎(chǔ),如果沒有適當(dāng)?shù)拇媪ε浜?,那么算力的作用就得到不到充分發(fā)揮。

兩款A(yù)I存儲新品發(fā)布,助推AI賦能千行百業(yè)

日前,華為順應(yīng)大模型時代AI發(fā)展趨勢,針對不同行業(yè)、不同場景大模型應(yīng)用,推出OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲與FusionCube A3000訓(xùn)/推超融合一體機(jī)。

其中,OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲,面向基礎(chǔ)/行業(yè)大模型數(shù)據(jù)湖場景,實(shí)現(xiàn)從數(shù)據(jù)歸集、預(yù)處理到模型訓(xùn)練、推理應(yīng)用的AI全流程海量數(shù)據(jù)管理。OceanStor A310單框5U支持業(yè)界最高的400GB/s帶寬以及1200萬IOPS的最高性能,可線性擴(kuò)展至4096節(jié)點(diǎn),實(shí)現(xiàn)多協(xié)議無損互通。全局文件系統(tǒng)GFS實(shí)現(xiàn)跨地域智能數(shù)據(jù)編織,簡化數(shù)據(jù)歸集流程;通過近存計算實(shí)現(xiàn)近數(shù)據(jù)預(yù)處理,減少數(shù)據(jù)搬移,預(yù)處理效率提升30%。

FusionCube A3000訓(xùn)/推超融合一體機(jī),則面向行業(yè)大模型訓(xùn)練/推理場景,針對百億級模型應(yīng)用,集成OceanStor A300高性能存儲節(jié)點(diǎn)、訓(xùn)/推節(jié)點(diǎn)、交換設(shè)備、AI平臺軟件與管理運(yùn)維軟件,為大模型伙伴提供拎包入住式的部署體驗(yàn),實(shí)現(xiàn)一站式交付。開箱即用,2小時內(nèi)即可完成部署。訓(xùn)/推節(jié)點(diǎn)與存儲節(jié)點(diǎn)均可獨(dú)立水平擴(kuò)展,以匹配不同規(guī)模的模型需求。同時FusionCube A3000通過高性能容器實(shí)現(xiàn)多個模型訓(xùn)練推理任務(wù)共享GPU,將資源利用率從40%提升到70%以上。FusionCube A3000支持兩種靈活的商業(yè)模式,包括華為昇騰一站式方案,以及開放計算、網(wǎng)絡(luò)、AI平臺軟件的第三方伙伴一站式方案。

此外,如何保證數(shù)據(jù)的安全流轉(zhuǎn)也是大模型時代企業(yè)廣泛關(guān)注的問題。數(shù)據(jù)存儲是數(shù)據(jù)安全的第一道防線,在AI大模型的數(shù)據(jù)歸集過程中,企業(yè)需要安全地將不同地點(diǎn)、不同節(jié)點(diǎn)的數(shù)據(jù)歸集到一個地方,這在安全性上有著非常大的挑戰(zhàn)。面對企業(yè)的大模型數(shù)據(jù)安全需求,華為透露正在研發(fā)一種數(shù)據(jù)方艙技術(shù),通過將數(shù)據(jù)及其相關(guān)憑證、隱私、權(quán)限等信息共同流轉(zhuǎn),從而對數(shù)據(jù)產(chǎn)生極致保護(hù)。

“大模型時代,數(shù)據(jù)決定AI智能的高度。”華為數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰在新品發(fā)布會現(xiàn)場表示,作為數(shù)據(jù)的載體,數(shù)據(jù)存儲成為AI大模型的關(guān)鍵基礎(chǔ)設(shè)施。華為數(shù)據(jù)存儲未來將持續(xù)創(chuàng)新,面向AI大模型時代提供多樣化的方案與產(chǎn)品,攜手伙伴共同推進(jìn)AI賦能千行百業(yè)。

最新文章
1
年末家電消費(fèi)觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?
2
信通院何寶宏:大模型“卷”向下半場,需要新打法
3
Mini LED技術(shù)再升級,從背光引領(lǐng)顯示行業(yè)實(shí)現(xiàn)技術(shù)迭代
4
1~11月彩電零售量同比下降2%,2025年有望達(dá)到3150萬臺
5
這家清潔電器品牌突然停運(yùn) 背后投資者都是大腕+明星
6
兩新政策加力,2025年國債補(bǔ)貼預(yù)計超過3000億
7
國產(chǎn)DDR5內(nèi)存首次拆解:基本鎖定來自長鑫
8
曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元
9
索尼中國副總裁金燕敏榮登2024年《財富》 中國最具影響力商界女性未來榜
10
“碳索”美好“視界”,京東方用“科技+綠色”凝聚可持續(xù)生命力
11
智慧健康再進(jìn)化,TCL小藍(lán)翼C7新風(fēng)空調(diào)震撼發(fā)布,開創(chuàng)AI空調(diào)發(fā)展新時代!
12
乘冰雪經(jīng)濟(jì)“冬”風(fēng),中國品牌跨越式“走出去”
13
2024《世界品牌500強(qiáng)》,長虹排名再升2位創(chuàng)歷史新高
14
這些家電巨頭,都有一顆“造芯”的心
15
11月中國家電出口量已公布,空調(diào)同比增長41.3%
16
大尺寸OLED市場迎來發(fā)展機(jī)遇,但是依然有很多問題待解決
17
美的鮮為人知的一面 絢麗的B端千億矩陣
18
一加Ace 5今天官宣:外觀大曝光 全新鈦色搶眼
19
中國電競顯示器線上銷量TOP10出爐:聯(lián)想升至第六 小米第七
20
英偉達(dá)CEO黃仁勛:GB200正滿載生產(chǎn) 進(jìn)展順利
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512