ETL(數(shù)據(jù)庫(kù))

時(shí)間：2022-12-19 06:30:01 | 來(lái)源：信息時(shí)代

時(shí)間：2022-12-19 06:30:01 來(lái)源：信息時(shí)代

    ETL : 數(shù)據(jù)的抽取、轉(zhuǎn)換和加載的過(guò)程,是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要環(huán)節(jié)。ETL負(fù)責(zé)從數(shù)據(jù)源提取數(shù)據(jù)并加載到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中,按照統(tǒng)一的規(guī)則集成數(shù)據(jù)源的數(shù)據(jù),確保數(shù)據(jù)的一致性和完整性,有效提高數(shù)據(jù)的質(zhì)量和價(jià)值。在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目中,ETL是處于后臺(tái)的一項(xiàng)工作,但ETL規(guī)則的設(shè)計(jì)和實(shí)施是整個(gè)項(xiàng)目中工作量最大的部分,約占整個(gè)項(xiàng)目的70%。提供一個(gè)高效的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的過(guò)程是系統(tǒng)建設(shè)成敗的關(guān)鍵因素之一。
ETL的整個(gè)數(shù)據(jù)處理過(guò)程包括:
(1)數(shù)據(jù)抽取: 從數(shù)據(jù)源系統(tǒng)抽取數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)所需的數(shù)據(jù)。數(shù)據(jù)抽取可以從各種異構(gòu)的數(shù)據(jù)源中抽取數(shù)據(jù)。對(duì)于不同數(shù)據(jù)平臺(tái)、不同源數(shù)據(jù)格式、不同數(shù)據(jù)規(guī)模的業(yè)務(wù)系統(tǒng),可以采用不同的接口方式。增量和變化的數(shù)據(jù)捕獲是數(shù)據(jù)抽取中的重要技術(shù),目前主要采用數(shù)據(jù)復(fù)制和數(shù)據(jù)日志分析的方法。數(shù)據(jù)復(fù)制通過(guò)設(shè)置一個(gè)觸發(fā)器來(lái)捕獲數(shù)據(jù)的更新,事先標(biāo)記需要變化捕獲的屬性,一旦該數(shù)據(jù)發(fā)生改變,就將其捕獲; 數(shù)據(jù)日志分析方法是讀取系統(tǒng)日志來(lái)捕獲和確定數(shù)據(jù)的變化,這種方法具有效率高,資料全等特點(diǎn),但需要對(duì)日志文件格式和內(nèi)容具有深入的理解。
(2)數(shù)據(jù)轉(zhuǎn)換: 是指根據(jù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型的要求,對(duì)抽取來(lái)的源數(shù)據(jù)進(jìn)行清洗、格式轉(zhuǎn)換、去重、拆分、組合、匯總、導(dǎo)出數(shù)據(jù)、增加時(shí)間屬性、設(shè)定缺省值等處理,確保來(lái)自不同業(yè)務(wù)系統(tǒng)和外部數(shù)據(jù)源的數(shù)據(jù)一致性。
(3)數(shù)據(jù)加載: 是將轉(zhuǎn)換集成后的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中,數(shù)據(jù)加載可以采用專(zhuān)用的數(shù)據(jù)加載工具,也可以采用獨(dú)立編程。數(shù)據(jù)加載策略是數(shù)據(jù)加載過(guò)程的核心,主要包括加載周期的確定和數(shù)據(jù)追加方法的選擇。數(shù)據(jù)加載周期需要綜合考慮業(yè)務(wù)分析需求和數(shù)據(jù)加載的代價(jià),對(duì)不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)可以采用不同的數(shù)據(jù)加載周期,但必須保持同一時(shí)間點(diǎn)業(yè)務(wù)數(shù)據(jù)的完整性和一致性。
ETL作為數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中的重要環(huán)節(jié),越來(lái)越受到學(xué)術(shù)界和產(chǎn)業(yè)界的重視,目前關(guān)于ETL未來(lái)研究和發(fā)展的方向,主要包括: ETL工作流的并行處理機(jī)制、主動(dòng)ETL(active ETL)、復(fù)雜數(shù)據(jù)的ETL等。其中主動(dòng)ETL是針對(duì)主動(dòng)數(shù)據(jù)倉(cāng)庫(kù)的要求而提出來(lái)的,希望數(shù)據(jù)倉(cāng)庫(kù)能在盡可能短的時(shí)間內(nèi)反映數(shù)據(jù)源的變化。復(fù)雜數(shù)據(jù)的ETL主要是針對(duì)包含XML/HTML、空間和圖像等復(fù)雜類(lèi)型數(shù)據(jù)的數(shù)據(jù)源的抽取、轉(zhuǎn)化和加載。