為什么青云發(fā)布新一代分布式文件存儲(chǔ)系統(tǒng)？

時(shí)間：2022-04-29 13:36:01 | 來源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-04-29 13:36:01 來源：行業(yè)動(dòng)態(tài)

青云QingCloud 發(fā)布的QingStor文件存儲(chǔ)，首先是云計(jì)算市場(chǎng)對(duì)于分布式文件存儲(chǔ)的需求旺盛。Gartner的市場(chǎng)分析報(bào)告，談到文件存儲(chǔ)在當(dāng)前市場(chǎng)需求中占據(jù)主流，像媒體領(lǐng)域、高性能計(jì)算領(lǐng)域，都需要文件存儲(chǔ)，文件存儲(chǔ)市場(chǎng)應(yīng)用場(chǎng)景非常廣泛。



其次，過去十幾年出現(xiàn)的分布式文件存儲(chǔ)系統(tǒng)在使用過程中面臨了各種挑戰(zhàn)和瓶頸。2000年以后出現(xiàn)了分布式文件系統(tǒng)，分為兩種架構(gòu)：一種是以Hadoop HDFS和LusterFS為代表的集中式索引架構(gòu)，這種架構(gòu)的缺點(diǎn)在于文件數(shù)量會(huì)受到單節(jié)點(diǎn)和索引節(jié)點(diǎn)容量限制；二是全對(duì)等Hash架構(gòu)，完全拋棄單獨(dú)的索引節(jié)點(diǎn)，其代表是GLuster和Ceph，這種架構(gòu)的問題在于擴(kuò)展擴(kuò)容不方便，一致性較差。

因此，下一代分布式文件存儲(chǔ)需要全面支持云應(yīng)用，無縫兼容傳統(tǒng)應(yīng)用、按需使用，彈性擴(kuò)容、智能管理與運(yùn)維，避免人工運(yùn)維帶來的很多成本問題、以及高可用，7*24小時(shí)可用等新的需求。

那么QingStor文件存儲(chǔ)如何做到架構(gòu)創(chuàng)新，從而避免之前的問題呢？



首先，基于分布式塊存儲(chǔ)NeonSAN。它是具有高性能、強(qiáng)一致的塊存儲(chǔ)，沒有本地文件系統(tǒng)在里面。如圖有兩種節(jié)點(diǎn)：分布式網(wǎng)關(guān)和NeonSAN。

第二，無限水平擴(kuò)展。通過目錄和文件分離存儲(chǔ)的架構(gòu)，元數(shù)據(jù)層存儲(chǔ)所有索引目錄，可以定位文件具體位置；還有一個(gè)組件是控制層，負(fù)責(zé)下層塊設(shè)備的空間分配和事務(wù)管理。

第三，并行處理架構(gòu)。所有的網(wǎng)關(guān)節(jié)點(diǎn)和NeonSAN節(jié)點(diǎn)是全互聯(lián)的關(guān)系，每個(gè)節(jié)點(diǎn)之間都可以相互訪問，且是通過最短路徑。集群內(nèi)數(shù)據(jù)復(fù)制與業(yè)務(wù)訪問分離，分別通過不同的網(wǎng)絡(luò)，因此在數(shù)據(jù)遷移和擴(kuò)容時(shí)，不會(huì)對(duì)業(yè)務(wù)有任何影響。

采用了下一代分布式文件系統(tǒng)的QingStor分布式文件存儲(chǔ)能做到安全可靠、強(qiáng)一致、高可用，并且具有超高性能、彈性可調(diào)等企業(yè)級(jí)特性，并且對(duì)成本做出了優(yōu)化。