海量非結(jié)構(gòu)化數(shù)據(jù)帶來(lái)的挑戰(zhàn)

時(shí)間：2022-03-17 05:33:01 | 來(lái)源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-03-17 05:33:01 來(lái)源：行業(yè)動(dòng)態(tài)

對(duì)業(yè)務(wù)部門(mén)來(lái)說(shuō)，海量小文件的訪(fǎng)問(wèn)性能至關(guān)重要，直接關(guān)系到終端用戶(hù)的體驗(yàn)，而一個(gè)股份制銀行省分行的柜臺(tái)系統(tǒng)、信貸系統(tǒng)每年會(huì)新增上億個(gè)文件，大量小文件對(duì)文件存儲(chǔ)是一大挑戰(zhàn)，而很多銀行已經(jīng)在考慮如何實(shí)現(xiàn)文件大集中。

而隨著VTM(遠(yuǎn)程虛擬銀行服務(wù)系統(tǒng))、雙錄系統(tǒng)的上線(xiàn)，存儲(chǔ)容量需求高速增長(zhǎng)，如保險(xiǎn)公司銀保的雙錄數(shù)據(jù)半年即可增加數(shù)百TB數(shù)據(jù)，存儲(chǔ)是否能夠提供高吞吐能力，來(lái)保障音視頻文件的讀寫(xiě)性能是重要的關(guān)注點(diǎn)。

大多數(shù)金融機(jī)構(gòu)已經(jīng)采用分布式數(shù)據(jù)庫(kù)、大數(shù)據(jù)技術(shù)，來(lái)實(shí)現(xiàn)歷史數(shù)據(jù)的在線(xiàn)統(tǒng)一存儲(chǔ)和查詢(xún)，而非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)規(guī)?？赡軙?huì)達(dá)到PB級(jí)甚至EB級(jí)，在這種情況下如何實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)和管理、歷史數(shù)據(jù)的實(shí)時(shí)查詢(xún)、未來(lái)的大數(shù)據(jù)分析，對(duì)存儲(chǔ)高度智能化的管理能力提出了更高的要求。

當(dāng)前IaaS層云化是大趨勢(shì)，私有云實(shí)現(xiàn)了計(jì)算和存儲(chǔ)資源的云化，分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn)了結(jié)構(gòu)化數(shù)據(jù)的云化，云化后的資源可按需分配、彈性擴(kuò)展。而非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的云化卻缺乏很好的解決方案，尤其是隨著音視頻數(shù)據(jù)的加入，占用的存儲(chǔ)空間越來(lái)越大，而這些數(shù)據(jù)的單位價(jià)值不高，如何降低單位存儲(chǔ)成本也需重點(diǎn)考量。

為了解決銀行、保險(xiǎn)關(guān)鍵系統(tǒng)(如：柜臺(tái)、信貸、承保、理賠等)的海量票據(jù)、證件、合同等文件數(shù)量龐大且不斷累積導(dǎo)致的存儲(chǔ)性能和擴(kuò)展性瓶頸問(wèn)題，金融行業(yè)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的技術(shù)發(fā)展經(jīng)歷了四個(gè)階段：