智能時代產(chǎn)生海量非結(jié)構(gòu)化數(shù)據(jù)

時間：2022-03-17 06:09:01 | 來源：行業(yè)動態(tài)

時間：2022-03-17 06:09:01 來源：行業(yè)動態(tài)

信息技術(shù)的飛速發(fā)展，特別是移動互聯(lián)網(wǎng)應(yīng)用、數(shù)據(jù)智能挖掘技術(shù)的快速發(fā)展，使眾多相關(guān)行業(yè)面臨業(yè)務(wù)數(shù)據(jù)量指數(shù)級增長的趨勢。例如：智能手機的普及，使移動手機用戶可以隨心所欲拍攝高清照片、視頻以記錄自己生活的點滴，并可以方便地把影音資料存儲在云端，這類新的生活習慣必然產(chǎn)生大量數(shù)據(jù)。再如，中國公共安全領(lǐng)域的"雪亮工程"等關(guān)系國計民生視頻監(jiān)控項目的開展，使得公共安全視頻監(jiān)控覆蓋范圍從原來的城市中心地帶擴展到了鄉(xiāng)村，這也將產(chǎn)生大量的數(shù)據(jù)。而在互聯(lián)網(wǎng) 商業(yè)領(lǐng)域，對用戶信息的掌握，更成為互聯(lián)網(wǎng)企業(yè)生存的根本，之前大量不需要存儲的用戶網(wǎng)絡(luò)瀏覽軌跡等中間信息，如今由于成為大數(shù)據(jù)分析的數(shù)據(jù)來源，也需要進行數(shù)據(jù)存儲。



面對各種海量數(shù)據(jù)、尤其是海量非結(jié)構(gòu)化數(shù)據(jù)的存儲需求，傳統(tǒng)數(shù)據(jù)存儲方式在成本和性能兩個維度均已無法滿足。

傳統(tǒng)存儲方式之一是使用本地文件系統(tǒng)存儲數(shù)據(jù)，而由于其架構(gòu)所限制，控制器一般為一臺，即本地操作系統(tǒng)主機和生產(chǎn)業(yè)務(wù)共用CPU及內(nèi)存等系統(tǒng)資源，所以在實際操作中大多僅僅能擴展至幾個TB的可用容量，這和"海量"存儲的需求相差甚遠。

另外一種把計算和存儲分離的集中式存儲方案--NAS方案亦差強人意。NAS屬于外部集中式存儲方案，架構(gòu)擴展性相比本地文件系統(tǒng)有較明顯優(yōu)勢。其控制器一般為兩臺至多臺，在數(shù)據(jù)規(guī)模稍微"大"一點的業(yè)務(wù)場景，用戶往往使用NAS存儲方案。但NAS在海量數(shù)據(jù)時代到來之前已經(jīng)存在，當初設(shè)計時重點考慮的并非是"海量"非結(jié)構(gòu)化數(shù)據(jù)的存儲，所以在大多數(shù)生產(chǎn)環(huán)境中都是采用雙控設(shè)備，如果數(shù)據(jù)量增大，一般做法是再配置一套而已。這樣的處理方式使得用戶的生產(chǎn)環(huán)境形成大量數(shù)據(jù)孤島，且單套NAS由于其軟硬件設(shè)計架構(gòu)的局限性，在實際項目中的容量擴展往往不超過100~200TB，即使雙控系統(tǒng)，一般對外最多也只能提供4GB/s帶寬，因此其容量與性能均無法匹配海量數(shù)據(jù)時代的存儲要求。