中國石油數(shù)據(jù)倉庫(數(shù)據(jù)庫)

時間：2022-12-08 00:30:01 | 來源：信息時代

時間：2022-12-08 00:30:01 來源：信息時代

    中國石油數(shù)據(jù)倉庫 : 中國石油企業(yè)建立的一個集成、共享的企業(yè)級的數(shù)據(jù)倉庫系統(tǒng)。它能集成異構(gòu)數(shù)據(jù)源,按主題組織數(shù)據(jù),對數(shù)據(jù)進(jìn)行、提取、清洗、轉(zhuǎn)換、規(guī)格化和質(zhì)量控制,保存歷史數(shù)據(jù),發(fā)揮其價值,為企業(yè)提供多維數(shù)據(jù)分析與信息分析、數(shù)據(jù)挖掘與知識發(fā)現(xiàn)和動態(tài)查詢及報告生成工具,為管理層提供及時有效的決策信息。
中國石油企業(yè)作為綜合性特大型企業(yè),業(yè)務(wù)領(lǐng)域多、信息量大,應(yīng)用系統(tǒng)、數(shù)據(jù)庫系統(tǒng)和服務(wù)器型號的不同導(dǎo)致數(shù)據(jù)類型多、結(jié)構(gòu)不同、版本不統(tǒng)一,使信息共享成為難題?；趥鹘y(tǒng)數(shù)據(jù)庫的信息系統(tǒng)是一種操作型環(huán)境,不能進(jìn)行數(shù)據(jù)分析和用于管理決策。為加快業(yè)務(wù)領(lǐng)域的信息化建設(shè),中國石油于2000年11月制定了 《中國石油信息技術(shù)總體規(guī)劃》(簡稱總體規(guī)劃),提出了以石油數(shù)據(jù)倉庫建設(shè)為中心的IT實施項目和解決方案?？傮w規(guī)劃中的項目包括7條主線,共34個IT項目,基本勾畫出中國石油未來幾年IT和信息化發(fā)展的藍(lán)圖。IT總體規(guī)劃包括以下項目:
(1)上游項目應(yīng)用系統(tǒng): 包括地球科學(xué)與鉆井、上游生產(chǎn)系統(tǒng)、管道生產(chǎn)系統(tǒng)、地理信息系統(tǒng)。
(2)下游項目應(yīng)用系統(tǒng):包括煉油與化工運(yùn)行系統(tǒng)、先進(jìn)計劃系統(tǒng)、CRM客戶服務(wù)系統(tǒng)、加油站服務(wù)系統(tǒng)。
(3) ERP系統(tǒng):包括ERP選型、勘探與生產(chǎn)ERP、天然氣與管道ERP、煉油與化工ERP、銷售與市場ERP、總部ERP、質(zhì)量安全環(huán)境ERP。
(4) 電子商務(wù): 包括電子采購、電子市場。
(5)管理信息系統(tǒng):包括數(shù)據(jù)倉庫、企業(yè)信息門戶。
(6)基礎(chǔ)實施改進(jìn)項目: 包括企業(yè)廣域網(wǎng)改造、局域網(wǎng)標(biāo)準(zhǔn)制定、電子郵件服務(wù)、數(shù)據(jù)中心標(biāo)準(zhǔn)化、辦公自動化、企業(yè)系統(tǒng)管理、災(zāi)難恢復(fù)計劃、Internet網(wǎng)接入改造。
(7) IT組織改造項目: 包括建立IT信息職能部門、建立幫助熱線、制定安全標(biāo)準(zhǔn)、信息技術(shù)共享服務(wù)中心、信息技術(shù)專家小組。
按總體規(guī)劃,中國石油數(shù)據(jù)倉庫自2002年以來已分別實施了 《地球科學(xué)與鉆井信息系統(tǒng)》、《石油上游生產(chǎn)系統(tǒng)》、《科技管理信息系統(tǒng)》、《石油管道生產(chǎn)系統(tǒng)》、《石油煉化運(yùn)行系統(tǒng)》、《加油站管理系統(tǒng)》和《石油企業(yè)資源計劃ERP系統(tǒng)》等項目建設(shè),同時還開展了《廣域網(wǎng)技術(shù)改造》 《石油財務(wù)系統(tǒng)》等項目。目前,中國石油數(shù)據(jù)倉庫的用戶可采用B/S或C/S方式,使用OLAP等多維分析工具得到財務(wù)、統(tǒng)計、生產(chǎn)過程、銷售等方面的分析結(jié)果,并能按多維圖像、綜合報表等多種形式展現(xiàn)出來,同時還可采用數(shù)據(jù)挖掘技術(shù)獲取有用信息為管理層做出戰(zhàn)略決策。中國石油在IT建設(shè)上的這一重大戰(zhàn)略舉措,在于加快公司的發(fā)展,全面提升公司的價值,成為有競爭能力的跨國石油公司。
中國石油數(shù)據(jù)倉庫采用分布式結(jié)構(gòu),并按二級層次構(gòu)成。即總公司為一級數(shù)據(jù)倉庫,其中包括中國石油KPI分析等; 各業(yè)務(wù)單元為二級數(shù)據(jù)集市,包括勘探生產(chǎn)分析、煉油與化工生產(chǎn)分析、市場分析、天然氣與管道分析、財務(wù)與統(tǒng)計分析等六個數(shù)據(jù)集市。數(shù)據(jù)倉庫與數(shù)據(jù)集市間采用了操作數(shù)據(jù)存儲(operational data store,ODS)的邏輯構(gòu)架方案。ODS是一種新型數(shù)據(jù)倉庫結(jié)構(gòu),這是介于操作型和分析型之間的數(shù)據(jù)處理環(huán)境。ODS作為一個中間層次,既可進(jìn)行全局聯(lián)機(jī)操作型處理OLAP,同時它又是面向主題的、集成的數(shù)據(jù)環(huán)境,適合于輔助企業(yè)完成OLAP數(shù)據(jù)分析和管理決策。
中國石油數(shù)據(jù)倉庫建設(shè)采用中國石油統(tǒng)一的數(shù)據(jù)規(guī)范與標(biāo)準(zhǔn),所有數(shù)據(jù)按專業(yè)組織、統(tǒng)一驗證,并按主題建立和集成到中國石油數(shù)據(jù)倉庫。整個系統(tǒng)在基于TCP/IP和FTP協(xié)議的中國石油企業(yè)網(wǎng)下運(yùn)行。數(shù)據(jù)倉庫中的數(shù)據(jù)模型是多維數(shù)據(jù)模型,用于OLAP信息分析、數(shù)據(jù)挖掘、動態(tài)查詢和報表制作。它與中國石油的企業(yè)門戶(EIP)互聯(lián),支持信息分析與決策。中國石油數(shù)據(jù)倉庫具有數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、加載(ETL)工具,聯(lián)機(jī)分析工具OLAP,數(shù)據(jù)挖掘工具,報表生成工具等。其硬件系統(tǒng)包括數(shù)據(jù)倉庫服務(wù)器(UNIX系統(tǒng))、ODS數(shù)據(jù)服務(wù)器(UNIX系統(tǒng))、數(shù)據(jù)集市服務(wù)器(UNIX系統(tǒng))、大容量存儲系統(tǒng)、報表服務(wù)器(NT系統(tǒng))等。圖1為按照中國石油數(shù)據(jù)倉庫解決方案建立和實現(xiàn)的油田勘探開發(fā)數(shù)據(jù)倉庫的總體結(jié)構(gòu)示意圖。

圖1 油田勘探開發(fā)數(shù)據(jù)倉庫的總體結(jié)構(gòu)

大慶油田勘探開發(fā)數(shù)據(jù)倉庫采用Oracle8i作為底層DBMS。Oracle8i在性能、資源管理、分析能力、魯棒性以及伸縮性等方面都能滿足建立數(shù)據(jù)倉庫的需求,并易于與其他系統(tǒng)進(jìn)行集成。Oracle8i作為多用戶的DBMS,具有響應(yīng)時間快、運(yùn)行效率高、容錯性強(qiáng)、系統(tǒng)性能可靠,能夠存儲大容量數(shù)據(jù)等優(yōu)點。在建立油田勘探開發(fā)數(shù)據(jù)倉庫時,大慶油田研制了數(shù)據(jù)倉庫建立工具。該工具具有數(shù)據(jù)倉庫模型構(gòu)造和設(shè)計,數(shù)據(jù)的抽取、轉(zhuǎn)換和加載,元數(shù)據(jù)管理,分析工具的整合等管理功能模塊。
大慶油田勘探開發(fā)數(shù)據(jù)倉庫的建立流程包括倉庫定義、倉庫生成及倉庫管理三個階段。定義階段的主要任務(wù)是: ①根據(jù)主題確定相關(guān)的數(shù)據(jù)源、建立數(shù)據(jù)倉庫的數(shù)據(jù)模型,定義維表和事實表; ②源數(shù)據(jù)的檢查和整理(包括數(shù)據(jù)清洗等);③從源數(shù)據(jù)到數(shù)據(jù)倉庫的映射。由于大慶油田勘探開發(fā)數(shù)據(jù)倉庫的主要數(shù)據(jù)源來自各勘探部門和采油廠,數(shù)據(jù)量十分龐大,為此采用了多重粒度的分布式數(shù)據(jù)倉庫結(jié)構(gòu)。分布式指油田勘探開發(fā)的最新數(shù)據(jù)和細(xì)節(jié)數(shù)據(jù)存放在各勘探部門和采油廠的計算機(jī)中;多重粒度是指在每一維中都可以進(jìn)行重新劃分,這一點決定了數(shù)據(jù)倉庫能否進(jìn)行數(shù)據(jù)鉆取和基于概化的挖掘,也決定數(shù)據(jù)倉庫的性能和滿足用戶需求的程度。
在數(shù)據(jù)倉庫的生成階段,采用了面向?qū)ο?OO)及基于分布式的組件對象技術(shù)來實現(xiàn)配置數(shù)據(jù)倉庫對象的屬性。在管理階段,數(shù)據(jù)加載十分關(guān)鍵,而元數(shù)據(jù)管理的質(zhì)量和效率也直接影響數(shù)據(jù)倉庫的可用性,為此專門開發(fā)了數(shù)據(jù)抽取、轉(zhuǎn)換和加載工具。