2.MPP技術(shù)框架的調(diào)研
時(shí)間:2022-03-09 14:33:01 | 來(lái)源:行業(yè)動(dòng)態(tài)
時(shí)間:2022-03-09 14:33:01 來(lái)源:行業(yè)動(dòng)態(tài)
為解決實(shí)時(shí)分析的時(shí)效性,同時(shí)又能保證數(shù)據(jù)快速寫(xiě)入,并且能夠?qū)ν馓峁┮粋€(gè)較為統(tǒng)一和簡(jiǎn)單的OLAP數(shù)據(jù)平臺(tái)。我們先后調(diào)研了ClickHouse、StarRocks、Kudu。并針對(duì)我們的業(yè)務(wù)分析和業(yè)務(wù)痛點(diǎn)做了以下測(cè)試。
ClickHouse:雖然具備較好的OLAP分析性能,但因其底層的架構(gòu)設(shè)計(jì),集群模式下數(shù)據(jù)寫(xiě)入需開(kāi)發(fā)人員手動(dòng)指定寫(xiě)入節(jié)點(diǎn)以及數(shù)據(jù)存儲(chǔ)目錄以保證集群數(shù)據(jù)平衡。同時(shí)集群擴(kuò)容后很難做到數(shù)據(jù)自平衡,對(duì)運(yùn)維人員提出較高要求,另一方面由于該數(shù)據(jù)庫(kù)不支持事務(wù)特性,在數(shù)據(jù)更新時(shí)容易出現(xiàn)數(shù)據(jù)重復(fù),且不易解決此問(wèn)題。
StarRocks:查詢(xún)分析性能強(qiáng)悍,多表關(guān)聯(lián)速度比其他產(chǎn)品快很多。與Clickhouse類(lèi)似,StarRocks目前不支持字段級(jí)別的數(shù)據(jù)更新,同時(shí)查詢(xún)性能與表的設(shè)計(jì)和集群性能密切相關(guān)。原則上集群性能隨數(shù)據(jù)節(jié)點(diǎn)線性增長(zhǎng)。另外,簡(jiǎn)便的運(yùn)維管理也是StarRocks的一大亮點(diǎn)。目前StarRocks開(kāi)發(fā)版本迭代快,需要及時(shí)跟進(jìn)官方的版本進(jìn)展。
Kudu:支持快速數(shù)據(jù)更新、快速數(shù)據(jù)分析與即席查詢(xún),但是數(shù)據(jù)量不宜過(guò)大,單表數(shù)據(jù)量不宜超過(guò)15億。
性能方面,批量寫(xiě)入性能Clickhouse略?xún)?yōu)于其他系統(tǒng),相同資源條件下明細(xì)查詢(xún)性能ClickHouse和StarRocks比Impala Kudu更快,StarRocks有比較方便的物化視圖(Rollup)可以滿(mǎn)足統(tǒng)計(jì)查詢(xún)的需求,另外StarRocks在關(guān)聯(lián)查詢(xún)方面性能有比較明顯的優(yōu)勢(shì)。
綜上所述,實(shí)時(shí)數(shù)倉(cāng)方案,采用Kudu StarRocks相結(jié)合,實(shí)現(xiàn)現(xiàn)有PGW實(shí)時(shí)會(huì)話業(yè)務(wù)。StarRocks作為主要技術(shù)組件,Kudu輔助實(shí)現(xiàn)字段級(jí)別更新業(yè)務(wù)場(chǎng)景。