打造全面的大數(shù)據(jù)能力

時間：2022-04-02 07:51:02 | 來源：行業(yè)動態(tài)

時間：2022-04-02 07:51:02 來源：行業(yè)動態(tài)

廣州供電局深感由于沒有全局統(tǒng)一的規(guī)范，導致每個部門對數(shù)據(jù)都像是盲人摸象，缺乏整體的把握帶來的不便，啟動了數(shù)據(jù)資產(chǎn)管理工作，其目的正是要建立統(tǒng)一的數(shù)據(jù)規(guī)范，包括數(shù)據(jù)標準和數(shù)據(jù)共享開放流程，從而規(guī)范數(shù)據(jù)的使用。

孫煜華介紹，數(shù)據(jù)資產(chǎn)管理工作主要是把所有數(shù)據(jù)庫的元數(shù)據(jù)進行整理，根據(jù)業(yè)務(wù)視角進行編排，形成數(shù)據(jù)資產(chǎn)目錄，并在數(shù)據(jù)資產(chǎn)管理系統(tǒng)固化。有了數(shù)據(jù)資產(chǎn)系統(tǒng)以后，所有數(shù)據(jù)共享開放可以實現(xiàn)在線申請；申請通過后，系統(tǒng)將自動提供數(shù)據(jù)接口借此改變了傳統(tǒng)的方式，不再需要分別針對具體的業(yè)務(wù)系統(tǒng)或者數(shù)據(jù)庫來調(diào)用數(shù)據(jù)，大大方便了新系統(tǒng)的開發(fā)，加快了新系統(tǒng)上線速度。

今天如果新的業(yè)務(wù)系統(tǒng)需要某些數(shù)據(jù)，可以在數(shù)據(jù)資產(chǎn)管理系統(tǒng)中瀏覽、檢索。按需將它們放到到購物車里，確認后發(fā)起一個數(shù)據(jù)使用的申請流程，經(jīng)過相關(guān)人的批準和授權(quán)，就可以使用需要的數(shù)據(jù)，進行后面的開發(fā)了。孫煜華說。

要全面梳理廣州供電公司所有的數(shù)據(jù)并不容易，多年的信息化歷程，廣州供電局擁有大大小小上百個業(yè)務(wù)系統(tǒng)，有的系統(tǒng)有超過數(shù)萬張數(shù)據(jù)庫表，因此這注定是一個長期的工作。目前，數(shù)據(jù)治理工作已經(jīng)進行了5年，還會持續(xù)進行下去。

孫煜華表示，好在數(shù)據(jù)資產(chǎn)管理為廣州供電局的電力大數(shù)據(jù)利用開了一個好頭。以此為起點，廣州供電局接著開展了更全面的數(shù)據(jù)治理，并采用大數(shù)據(jù)技術(shù)逐漸建成了一個完整的數(shù)據(jù)中心。這個數(shù)據(jù)中心基于星環(huán)科技的數(shù)據(jù)云產(chǎn)品打造，通過它實現(xiàn)了廣州供電局生產(chǎn)數(shù)據(jù)、計量數(shù)據(jù)、管理數(shù)據(jù)、試驗研究數(shù)據(jù)的匯聚。

這個數(shù)據(jù)中心是數(shù)據(jù)集中的共享中心，所有的數(shù)據(jù)都放上來，通過數(shù)據(jù)中心對數(shù)據(jù)進行分析和處理，在此基礎(chǔ)上我們形成了一些數(shù)據(jù)服務(wù)和數(shù)據(jù)創(chuàng)新能力，開放給大家。孫煜華表示。

這是以星環(huán)科技的全套技術(shù)和解決方案為基礎(chǔ)，并引入相關(guān)先進技術(shù)建立的數(shù)據(jù)管理系統(tǒng)。具體來說，在數(shù)據(jù)采集方面，廣州供電局利用TDT日志解析功能模塊來實現(xiàn)準實時的數(shù)據(jù)采集，并借助多種采集方式，打造內(nèi)部多通道并行的數(shù)據(jù)高速公路。在數(shù)據(jù)處理方面，進行海量數(shù)據(jù)存儲，然后利用Inceptor對PB級數(shù)據(jù)進行處理，還使用Kafka和實時流處理引擎Slipstream來支持內(nèi)部的實時流處理業(yè)務(wù)。在數(shù)據(jù)挖掘方面，使用Sophon提供的拖拽式建模工具來滿足了人工智能方面的需求。最后，在數(shù)據(jù)可視化方面利用了Tableau、Power BI等可視化工具來幫助內(nèi)部業(yè)務(wù)人員實現(xiàn)自助分析。

值得一提的是，受此項目啟發(fā)，讓孫煜華萌生了將傳統(tǒng)的軟件工程升級為以數(shù)據(jù)為核心的軟件工程的想法，以孫煜華稱之為智慧數(shù)字工程，其核心思想是建立統(tǒng)一的數(shù)據(jù)標準、數(shù)據(jù)使用規(guī)范以及定價方法，方便數(shù)據(jù)的用戶進行交易，為實現(xiàn)數(shù)字化轉(zhuǎn)型提供新的軟件工程方法論。