列式數(shù)據(jù)庫舉例

時(shí)間：2023-02-25 04:42:01 | 來源：營銷百科

時(shí)間：2023-02-25 04:42:01 來源：營銷百科

列式數(shù)據(jù)庫舉例：下面以GBase 8a分析型數(shù)據(jù)庫為例，描述列存儲對數(shù)據(jù)存儲與管理的作用。

nn面對海量數(shù)據(jù)分析的 I/O 瓶頸，GBase 8a 把表數(shù)據(jù)按列的方式存儲，其優(yōu)勢體現(xiàn)在以下幾個(gè)方面。

n不讀取無效數(shù)據(jù)：降低 I/O 開銷，同時(shí)提高每次 I/O 的效率，從而大大提高查詢性能。查詢語句只從磁盤上讀取所需要的列，其他列的數(shù)據(jù)是不需要讀取的。例如，有兩張表，每張表100GB 且有100 列，大多數(shù)查詢只關(guān)注幾個(gè)列，采用列存儲，不需要像行存數(shù)據(jù)庫一樣，將整行數(shù)據(jù)取出，只取出需要的列。磁盤 I/0 是行存儲的 1/10或更少，查詢響應(yīng)時(shí)間提高 10 倍以上。

n高壓縮比：壓縮比可以達(dá)到 5 ~ 20 倍以上，數(shù)據(jù)占有空間降低到傳統(tǒng)數(shù)據(jù)庫的1/10 ，節(jié)省了存儲設(shè)備的開銷。

n當(dāng)數(shù)據(jù)庫的大小與數(shù)據(jù)庫服務(wù)器內(nèi)存大小之比達(dá)到或超過 2:1 （典型的大型系統(tǒng)配置值）時(shí)，列存的 I/O 優(yōu)勢就顯得更加明顯；

nGBase 8a 分析型數(shù)據(jù)庫的獨(dú)特列存儲格式，對每列數(shù)據(jù)再細(xì)分為'數(shù)據(jù)包'。這樣可以達(dá)到很高的可擴(kuò)展性：無論一個(gè)表有多大，數(shù)據(jù)庫只操作相關(guān)的數(shù)據(jù)包，性能不會隨著數(shù)據(jù)量的增加而下降。通過以數(shù)據(jù)包為單位進(jìn)行 I/O 操作提升數(shù)據(jù)吞吐量，從而進(jìn)一步提高I/O效率。

n由于采用列存儲技術(shù)，還可以實(shí)現(xiàn)高效的透明壓縮。

n由于數(shù)據(jù)按列包存儲，每個(gè)數(shù)據(jù)包內(nèi)都是同構(gòu)數(shù)據(jù)，內(nèi)容相關(guān)性很高，這使得GBase 8a 更易于實(shí)現(xiàn)壓縮，壓縮比通常能夠達(dá)到 1:10 甚至更優(yōu)。這使得能夠同時(shí)在磁盤 I/O 和 Cache I/O 上都提升數(shù)據(jù)庫的性能，使 GBase 8a 在某些場景下的運(yùn)算性能比傳統(tǒng)數(shù)據(jù)庫快 100 倍以上。

nGBase 8a 允許用戶根據(jù)需要設(shè)置配置文件，選擇是否進(jìn)行壓縮。在啟用壓縮的情況下GBase 8a 根據(jù)數(shù)據(jù)的不同特性以及不同的分布狀況，自動采用相應(yīng)的壓縮算法，如：

n行程編碼（適用于大量連續(xù)重復(fù)的數(shù)據(jù)，特別是排序數(shù)據(jù)）；

n基于數(shù)據(jù)的差值編碼（適用于重復(fù)率低，但彼此差值較小的數(shù)據(jù)列）；

n基于位置的差值編碼（適用于重復(fù)率高，但分布比較隨機(jī)的數(shù)據(jù)列）。