Q3、分布式存儲(chǔ)市場(chǎng)的現(xiàn)狀？

時(shí)間：2022-03-29 03:45:01 | 來源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-03-29 03:45:01 來源：行業(yè)動(dòng)態(tài)

分布式存儲(chǔ)是一個(gè)技術(shù)難度被顯著低估的領(lǐng)域。隨著HDFS、Lustre、GlusterFS、Ceph等開源分布式軟件項(xiàng)目的興起，一個(gè)普通軟件工程師可以在一天或一周時(shí)間內(nèi)搭建一個(gè)PoC分布式存儲(chǔ)系統(tǒng)。包括華為、新華三、以及一些初創(chuàng)公司，在開源項(xiàng)目上優(yōu)化，推出各自分布式存儲(chǔ)產(chǎn)品，同質(zhì)化現(xiàn)象嚴(yán)重，同時(shí)給行業(yè)帶來假象，似乎分布式存儲(chǔ)沒有什么技術(shù)門檻。然而，無論是互聯(lián)網(wǎng)公司，還是在企事業(yè)單位，由于使用分布式存儲(chǔ)導(dǎo)致的業(yè)務(wù)中斷、甚至數(shù)據(jù)丟失的報(bào)導(dǎo)屢見不鮮。





為什么（分布式）存儲(chǔ)是一個(gè)技術(shù)壁壘很高的行業(yè)？這是由于存儲(chǔ)最基本的核心訴求是數(shù)據(jù)不丟失、業(yè)務(wù)不中斷。一個(gè)典型的存儲(chǔ)系統(tǒng)包含上百萬個(gè)電子元器件、上億行軟件代碼，里面任何一個(gè)元器件老化失效、電子信號(hào)干擾、軟件Bug、系統(tǒng)意外掉電，都有可能導(dǎo)致數(shù)據(jù)丟失。由此可見，要打造一個(gè)高可靠、高性能的分布式存儲(chǔ)系統(tǒng)絕非易事。

三副本和ＥＣ糾刪碼是分布式存儲(chǔ)中常見的兩種數(shù)據(jù)保護(hù)機(jī)制。由于ＥＣ糾刪碼存在比較嚴(yán)重的寫放大問題，小塊數(shù)據(jù)的寫性能嚴(yán)重不足，通常僅適用于視頻、備份、容災(zāi)等對(duì)ＩＯ性能要求不高的業(yè)務(wù)場(chǎng)景。在虛擬化、私有云、數(shù)據(jù)庫等塊存儲(chǔ)場(chǎng)景，最常見的是三副本機(jī)制，即數(shù)據(jù)塊按某種隨機(jī)規(guī)則，保持在三個(gè)不同節(jié)點(diǎn)上的不同磁盤上。

三副本分布式存儲(chǔ)多節(jié)點(diǎn)硬盤損壞導(dǎo)致數(shù)據(jù)丟失



三副本分布式存儲(chǔ)的數(shù)據(jù)可靠性可應(yīng)對(duì)比較小的規(guī)模場(chǎng)景，但當(dāng)存儲(chǔ)規(guī)模擴(kuò)大，或硬件老化時(shí)，系統(tǒng)可能出現(xiàn)兩個(gè)、甚至多個(gè)磁盤同時(shí)發(fā)生故障的情況，可能導(dǎo)致業(yè)務(wù)中斷和數(shù)據(jù)丟失。此外，由于數(shù)據(jù)修復(fù)依賴于網(wǎng)絡(luò)帶寬，網(wǎng)絡(luò)的狀態(tài)不穩(wěn)定容易導(dǎo)致次生故障。因此，三副本分布式存儲(chǔ)對(duì)運(yùn)維的要求非?？量?，隱形成本極高。