構(gòu)建新型數(shù)據(jù)基礎(chǔ)設(shè)施

時間：2022-04-27 02:30:01 | 來源：行業(yè)動態(tài)

時間：2022-04-27 02:30:01 來源：行業(yè)動態(tài)

隨著企業(yè)數(shù)字化轉(zhuǎn)型的加速，企業(yè)日常運營中產(chǎn)生的數(shù)據(jù)量呈指數(shù)級增長，且數(shù)據(jù)的類型更加多樣化，數(shù)據(jù)的應(yīng)用場景日益繁雜，以及基于實時數(shù)據(jù)的快速決策越來越普及，單一的數(shù)據(jù)倉庫或者數(shù)據(jù)湖解決方案滿足不了用戶對數(shù)據(jù)挖掘和使用的需求。于是湖倉一體架構(gòu)成為云原生時代數(shù)據(jù)架構(gòu)演變的必然趨勢。

百度智能云湖倉一體架構(gòu)的優(yōu)勢主要體現(xiàn)在三個方面。

首先是云原生，它是數(shù)倉基礎(chǔ)架構(gòu)的一個基本的演變方向。百度智能云云原生湖倉架構(gòu)以云為基礎(chǔ)，為客戶提供彈性、低成本的數(shù)據(jù)存儲和按需伸縮的計算資源。在存儲上，百度智能云BOS是業(yè)界領(lǐng)先的數(shù)據(jù)湖對象存儲；在計算上，BMR是靈活、高性價比的托管大數(shù)據(jù)處理，憑借先進的計算存儲分離架構(gòu)、智能彈性伸縮技術(shù)確保高可靠的同時，真正幫助用戶實現(xiàn)用時高效獲取資源、閑時及時釋放資源，用最低的成本獲取最高的計算性能。

其次，百度智能云通過數(shù)據(jù)湖架構(gòu)為客戶提供全面的數(shù)據(jù)分析能力。百度Palo是數(shù)據(jù)湖分析能力的核心產(chǎn)品，是百度基于Apache Doris構(gòu)建的企業(yè)級MPP數(shù)據(jù)倉庫，專門應(yīng)對高并發(fā)、低延時的PB級實時數(shù)據(jù)倉庫使用場景，全面兼容MySQL協(xié)議，可以毫秒級、針對億萬級數(shù)據(jù)進行及時的多維分析透視和業(yè)務(wù)探查。

在架構(gòu)上來看，Palo與常見的分布式存儲系統(tǒng)的架構(gòu)有些不同。Palo主要有FE（Frontend）和BE（Backend）這兩類系統(tǒng)進程，其中FE可以理解為Palo的管控節(jié)點，主要負責用戶請求的介入、查詢計劃的解析、元數(shù)據(jù)的存儲以及集群管理等工作，BE主要負責數(shù)據(jù)存儲以及查詢計劃的執(zhí)行，這兩類系統(tǒng)進程都可以橫向拓展，而不需要依賴任何第三方系統(tǒng)（如HDFS、ZooKeeper等），這樣高度集成的架構(gòu)設(shè)計也極大簡化了一款分布式系統(tǒng)的運維成本。同時Palo在FE進程中實現(xiàn)了MySQL兼容協(xié)議層，這樣用戶通過標準MySQL客戶端或其他各類工具即可便捷連接到Palo，并且Palo還支持標準SQL語言，不論是簡單的單表聚合、排序過濾或復(fù)雜的多表關(guān)聯(lián)、子查詢、窗口函數(shù)、自定義函數(shù)等，都可以通過SQL快速完成，極大減少用戶的使用成本。

使用Palo時，可以從本地、RDS、BOS、百度智能云MapReduce等導(dǎo)入海量數(shù)據(jù)，進行大數(shù)據(jù)的多維分析。同時Palo還兼容主流BI工具，數(shù)據(jù)分析師可以通過可視化的方式分析和展示數(shù)據(jù)，快速獲取洞察以輔助決策。此外，Palo還提供了全新UI支持，5分鐘上手，輕松實現(xiàn)建庫建表、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)查詢。

最后，百度智能云利用數(shù)據(jù)湖管理與分析平臺EasyDAP，以統(tǒng)一元數(shù)據(jù)為抓手，一站式完成數(shù)據(jù)集成、治理、開發(fā)、分析、服務(wù)。EasyDAP是全場景、低門檻、兼容開放、安全可靠的一站式數(shù)據(jù)湖管理與分析平臺，其服務(wù)范圍覆蓋數(shù)據(jù)集成、數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)，實現(xiàn)采、存、管、用一體化。