新三樣的數(shù)據(jù)挑戰(zhàn)：規(guī)模、性能、共享與管理

時(shí)間：2022-03-06 12:36:01 | 來源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-03-06 12:36:01 來源：行業(yè)動(dòng)態(tài)

老三樣應(yīng)用促使傳統(tǒng)存儲(chǔ)在性能、安全性、可靠性上有了比較好的解決方案，新三樣應(yīng)用對存儲(chǔ)提出了更多的要求。

在智能時(shí)代，數(shù)據(jù)成為核心資產(chǎn)和基礎(chǔ)生產(chǎn)資料，企業(yè)期望能做到數(shù)據(jù)及其所蘊(yùn)藏信息的最大化共享。因此，李輝認(rèn)為："新三樣應(yīng)用不僅是把基礎(chǔ)設(shè)施的資源價(jià)值最大化地挖掘出來，更需要把整個(gè)數(shù)據(jù)資源--無論是關(guān)鍵數(shù)據(jù)，還是以前認(rèn)為沒有價(jià)值的數(shù)據(jù)，價(jià)值都能夠最大化地挖掘出來、貢獻(xiàn)出來。其本質(zhì)上是基礎(chǔ)設(shè)施和數(shù)據(jù)資源在超大規(guī)模應(yīng)用下進(jìn)行共享的問題。"

這首先對存儲(chǔ)規(guī)模提出了挑戰(zhàn)。從云計(jì)算來看，云計(jì)算的應(yīng)用多達(dá)幾十種、上百種，客戶可能有幾百個(gè)、甚至上千個(gè)虛擬機(jī)，承載成千上萬個(gè)虛擬桌面。作為它的整個(gè)后臺(tái)，存儲(chǔ)集群會(huì)規(guī)模很大。從大數(shù)據(jù)或者AI來看，其數(shù)據(jù)量非常之龐大，可能擁有十億或者百億的文件，構(gòu)成一個(gè)龐大的數(shù)據(jù)鏈。這就決定了，大數(shù)據(jù)或AI需要借助一個(gè)很大的集群，包括服務(wù)器集群、存儲(chǔ)集群或GPU集群來服務(wù)上層業(yè)務(wù)。

其次，新三樣應(yīng)用對存儲(chǔ)性能提出了更大的挑戰(zhàn)。無論是面向文件和對象的OPS的性能，還是面向云虛擬機(jī)環(huán)境下IOPS的性能，新三樣應(yīng)用都帶來了第二個(gè)非常大的挑戰(zhàn)，就是性能一定要足夠高。比如現(xiàn)在一些應(yīng)用，已經(jīng)到了百萬級(jí)的IOPS，已經(jīng)到了TB級(jí)的帶寬。

第三，云、大數(shù)據(jù)、AI需要在設(shè)施資源和數(shù)據(jù)資源的共享基礎(chǔ)上進(jìn)行再利用，這對數(shù)據(jù)的共享與管理帶來挑戰(zhàn)?，F(xiàn)在及未來，客戶追求的是全局最大化共享，而不僅僅是局部或內(nèi)部共享。Stanley表示，"大數(shù)據(jù)或AI應(yīng)用實(shí)際上需要把一些之前扔掉的數(shù)據(jù)重新拿回來做分析，扔掉的數(shù)據(jù)反而會(huì)產(chǎn)生很大的價(jià)值。"李輝表示，"數(shù)據(jù)要實(shí)現(xiàn)共享、要流動(dòng)的話，可能牽扯到幾百個(gè)乃至更多的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，涉及數(shù)萬個(gè)數(shù)據(jù)卷或者數(shù)百萬個(gè)文件。這些數(shù)據(jù)資源，需要通過統(tǒng)一架構(gòu)來支撐、統(tǒng)一管理平臺(tái)來調(diào)度和組織，在共享和管理上有很多技術(shù)上的挑戰(zhàn)。"