Click" />

国产成人精品无码青草_亚洲国产美女精品久久久久∴_欧美人与鲁交大毛片免费_国产果冻豆传媒麻婆精东

18143453325 在線咨詢(xún) 在線咨詢(xún)
18143453325 在線咨詢(xún)
所在位置: 首頁(yè) > 營(yíng)銷(xiāo)資訊 > 行業(yè)動(dòng)態(tài) > 2.MPP技術(shù)框架的調(diào)研

2.MPP技術(shù)框架的調(diào)研

時(shí)間:2022-03-09 14:33:01 | 來(lái)源:行業(yè)動(dòng)態(tài)

時(shí)間:2022-03-09 14:33:01 來(lái)源:行業(yè)動(dòng)態(tài)

  為解決實(shí)時(shí)分析的時(shí)效性,同時(shí)又能保證數(shù)據(jù)快速寫(xiě)入,并且能夠?qū)ν馓峁┮粋€(gè)較為統(tǒng)一和簡(jiǎn)單的OLAP數(shù)據(jù)平臺(tái)。我們先后調(diào)研了ClickHouse、StarRocks、Kudu。并針對(duì)我們的業(yè)務(wù)分析和業(yè)務(wù)痛點(diǎn)做了以下測(cè)試。



  ClickHouse:雖然具備較好的OLAP分析性能,但因其底層的架構(gòu)設(shè)計(jì),集群模式下數(shù)據(jù)寫(xiě)入需開(kāi)發(fā)人員手動(dòng)指定寫(xiě)入節(jié)點(diǎn)以及數(shù)據(jù)存儲(chǔ)目錄以保證集群數(shù)據(jù)平衡。同時(shí)集群擴(kuò)容后很難做到數(shù)據(jù)自平衡,對(duì)運(yùn)維人員提出較高要求,另一方面由于該數(shù)據(jù)庫(kù)不支持事務(wù)特性,在數(shù)據(jù)更新時(shí)容易出現(xiàn)數(shù)據(jù)重復(fù),且不易解決此問(wèn)題。

  StarRocks:查詢(xún)分析性能強(qiáng)悍,多表關(guān)聯(lián)速度比其他產(chǎn)品快很多。與Clickhouse類(lèi)似,StarRocks目前不支持字段級(jí)別的數(shù)據(jù)更新,同時(shí)查詢(xún)性能與表的設(shè)計(jì)和集群性能密切相關(guān)。原則上集群性能隨數(shù)據(jù)節(jié)點(diǎn)線性增長(zhǎng)。另外,簡(jiǎn)便的運(yùn)維管理也是StarRocks的一大亮點(diǎn)。目前StarRocks開(kāi)發(fā)版本迭代快,需要及時(shí)跟進(jìn)官方的版本進(jìn)展。

  Kudu:支持快速數(shù)據(jù)更新、快速數(shù)據(jù)分析與即席查詢(xún),但是數(shù)據(jù)量不宜過(guò)大,單表數(shù)據(jù)量不宜超過(guò)15億。

  性能方面,批量寫(xiě)入性能Clickhouse略?xún)?yōu)于其他系統(tǒng),相同資源條件下明細(xì)查詢(xún)性能ClickHouse和StarRocks比Impala Kudu更快,StarRocks有比較方便的物化視圖(Rollup)可以滿(mǎn)足統(tǒng)計(jì)查詢(xún)的需求,另外StarRocks在關(guān)聯(lián)查詢(xún)方面性能有比較明顯的優(yōu)勢(shì)。

  綜上所述,實(shí)時(shí)數(shù)倉(cāng)方案,采用Kudu StarRocks相結(jié)合,實(shí)現(xiàn)現(xiàn)有PGW實(shí)時(shí)會(huì)話業(yè)務(wù)。StarRocks作為主要技術(shù)組件,Kudu輔助實(shí)現(xiàn)字段級(jí)別更新業(yè)務(wù)場(chǎng)景。

關(guān)鍵詞:技術(shù)

74
73
25
news

版權(quán)所有? 億企邦 1997-2022 保留一切法律許可權(quán)利。

為了最佳展示效果,本站不支持IE9及以下版本的瀏覽器,建議您使用谷歌Chrome瀏覽器。 點(diǎn)擊下載Chrome瀏覽器
關(guān)閉