現(xiàn)代數(shù)據(jù)倉庫的升級路徑

時間：2022-04-19 14:18:01 | 來源：行業(yè)動態(tài)

時間：2022-04-19 14:18:01 來源：行業(yè)動態(tài)

盡管將數(shù)據(jù)倉庫建立在大數(shù)據(jù)平臺上具有很多優(yōu)勢，比如成本節(jié)約、擴展更靈活，但不意味著企業(yè)就一定要將數(shù)據(jù)倉庫一步到位遷移到大數(shù)據(jù)平臺上，而是應該根據(jù)企業(yè)自己的實際應用情況決定是否要進行遷移，如果要進行這種遷移也應該漸進的，遷移路徑應根據(jù)企業(yè)所處的不同階段進行技術選擇。

一般而言，企業(yè)數(shù)據(jù)倉庫的建設分別處于如下三個階段：

起始階段：處于這一階段的大多數(shù)企業(yè)已采購MPP 硬件搭建數(shù)據(jù)倉庫。為了保證業(yè)務延續(xù)性，對于起始階段的企業(yè)建議以傳統(tǒng)技術為主，以大數(shù)據(jù)技術為輔。例如，ETL 處理主要部分仍然放在MPP 平臺，只是利用HDFS 做歷史數(shù)據(jù)歸檔并進行部分ETL流程改造，利用Spark Streaming 做小批量數(shù)據(jù)的實時處理。

發(fā)展階段：這一階段的企業(yè)用戶已經(jīng)掌握了大數(shù)據(jù)的核心技能，發(fā)展階段建議以大數(shù)據(jù)技術為主，以傳統(tǒng)技術為輔。例如：將ETL 處理全部轉移到Hadoop 平臺，而只將處理邏輯簡單的固定報表部分放在MPP 上。

成熟階段：建議使用Hadoop 平臺作為整體架構，將大數(shù)據(jù)技術應用到極致。

如果經(jīng)過認真評估，適合向新一代數(shù)據(jù)倉庫遷移，專家建議按照如下步驟來進行：建議先從歷史數(shù)據(jù)和日志數(shù)據(jù)的處理開始做技術驗證，利用大數(shù)據(jù)技術處理海量的混合結構數(shù)據(jù)，同時支持實時、在線和離線處理。然后逐步從客戶體驗、營銷為切入點，突出業(yè)務價值。利用大數(shù)據(jù)技術提供實時分析能力。第三，逐步把傳統(tǒng)數(shù)倉和大數(shù)據(jù)架構進行完全融合，讓全量數(shù)據(jù)可用 可視, 為業(yè)務人員提供自助式數(shù)據(jù)服務，培養(yǎng)數(shù)據(jù)思維。最后，從數(shù)據(jù)角度重構現(xiàn)有價值鏈，從用數(shù)據(jù)到養(yǎng)數(shù)據(jù)，再到數(shù)據(jù)經(jīng)濟，利用大數(shù)據(jù)技術建立企業(yè)數(shù)據(jù)資產(chǎn)。

值得一提的是，為了幫助用戶順利從傳統(tǒng)數(shù)據(jù)倉庫向新一代數(shù)據(jù)倉庫遷移，Cloudera提供了豐富的工具和服務。比如，Cloudera 推出了針對企業(yè)應用進行優(yōu)化并包含相應工具和售后服務的數(shù)據(jù)倉庫軟件版本。相較于免費版本，企業(yè)用戶可以獲得源碼級的技術支持服務。其次，Cloudera提供大數(shù)據(jù)咨詢和專業(yè)服務。Cloudera 擁有一支極富Hadoop 實踐經(jīng)驗的資深專家團隊，該團隊專門為數(shù)據(jù)倉庫項目提供最佳的現(xiàn)場服務。第三，Cloudera還提供人才培訓。Cloudera 大學是世界領先的培訓和認證的機構，提供業(yè)界最廣泛的Apache Hadoop 培訓和認證。

綜上所述，數(shù)據(jù)倉庫是企業(yè)邁向智能化的重要手段，基于Hadoop的大數(shù)據(jù)平臺代表了數(shù)據(jù)倉庫的未來發(fā)展趨勢。為了盡快加速智能企業(yè)的進程，助力企業(yè)的數(shù)字化轉型，企業(yè)有必要認真評估自己的數(shù)據(jù)倉庫戰(zhàn)略，并基于企業(yè)實際應用選擇最佳部署路徑，不失時機地完成數(shù)據(jù)倉庫的轉型。