農(nóng)業(yè)信息系統(tǒng)數(shù)據(jù)中心(數(shù)據(jù)庫)

時間：2022-11-03 08:30:01 | 來源：信息時代

時間：2022-11-03 08:30:01 來源：信息時代

    農(nóng)業(yè)信息系統(tǒng)數(shù)據(jù)中心 : 架構(gòu)在網(wǎng)絡(luò)基礎(chǔ)平臺之上的為各應(yīng)用系統(tǒng)提供數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)交換、數(shù)據(jù)分析的硬件平臺和軟件平臺,是整個農(nóng)業(yè)信息系統(tǒng)的數(shù)據(jù)資源中心。數(shù)據(jù)中心主要包含對國家農(nóng)業(yè)數(shù)據(jù)中心、農(nóng)業(yè)科技數(shù)據(jù)分中心以及國家糧食流通數(shù)據(jù)中心的建設(shè),并且在省級農(nóng)業(yè)部門和糧食部門建立數(shù)據(jù)中心,通過兩級數(shù)據(jù)中心的建設(shè),形成立體的、成規(guī)模的信息資源存儲、備份、處理和交互的場所。
1. 解決方案定位
農(nóng)業(yè)信息系統(tǒng)數(shù)據(jù)中心解決方案適用于農(nóng)業(yè)行業(yè)內(nèi)信息的交換、共享、管理和使用,也適用于跨行業(yè)的應(yīng)用需求。不同系統(tǒng)的架構(gòu)和可復(fù)用構(gòu)件都是一樣的,區(qū)別主要在:
(1)數(shù)據(jù)來源和數(shù)據(jù)內(nèi)容。
(2)數(shù)據(jù)管理標(biāo)準(zhǔn)、數(shù)據(jù)使用方式、數(shù)據(jù)展現(xiàn)和信息服務(wù)模式。
解決方案采用的是標(biāo)準(zhǔn)開放的技術(shù),可以根據(jù)具體情況集成不同的ETL、OLAP、BI展現(xiàn)產(chǎn)品。
2. 需求設(shè)計的層次劃分
農(nóng)業(yè)信息系統(tǒng)數(shù)據(jù)中心需求從整體上可劃分為基礎(chǔ)需求和高端需求,一般說來,高端需求以基礎(chǔ)需求的滿足為前提。
基礎(chǔ)需求主要包括由低到高兩方面:
(1)數(shù)據(jù)交換: 一般是簡單的庫(數(shù)據(jù)文件)對庫交換,有時需要映射。
(2)數(shù)據(jù)管理:包括元數(shù)據(jù)管理、數(shù)據(jù)分類、數(shù)據(jù)清洗、數(shù)據(jù)維護(hù)、數(shù)據(jù)發(fā)布等。
高端需求主要包括平行的兩方面:
(1)應(yīng)用集成:包括數(shù)據(jù)的實時共享、流程集成等。
(2)數(shù)據(jù)挖掘與決策分析。
3. 需求分析
(1)功能需求分析: 可通過“職能區(qū)域-業(yè)務(wù)過程-業(yè)務(wù)活動”的層次結(jié)構(gòu)來表達(dá)農(nóng)業(yè)信息系統(tǒng)相關(guān)業(yè)務(wù)功能。
(2)數(shù)據(jù)需求分析: 基于傳統(tǒng)的“實體-聯(lián)系”圖的信息需求分析,建立穩(wěn)定的農(nóng)業(yè)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)模型;通過數(shù)據(jù)流程圖(data flow diagram,DFD)進(jìn)行數(shù)據(jù)流量化分析。
4.系統(tǒng)建模
根據(jù)確定的系統(tǒng)目標(biāo),建立以下三種模型:
(1)功能建模:用“子系統(tǒng)-功能模塊-程序模塊”來表達(dá)系統(tǒng)的功能模型。
(2)數(shù)據(jù)建模:根據(jù)農(nóng)業(yè)信息系統(tǒng)業(yè)務(wù)數(shù)據(jù)模型進(jìn)行分組,設(shè)計并生成農(nóng)業(yè)應(yīng)用主題數(shù)據(jù)庫,它是依據(jù)各部門具體需求,基于各類業(yè)務(wù)應(yīng)用主題而設(shè)計的共享信息庫,包括農(nóng)產(chǎn)品預(yù)警信息、農(nóng)產(chǎn)品和農(nóng)業(yè)生產(chǎn)資料監(jiān)管信息、農(nóng)村市場供求信息、農(nóng)產(chǎn)品批發(fā)市場價格信息、農(nóng)業(yè)科技信息等; 用數(shù)據(jù)庫名稱與內(nèi)容列表表示; 每一個邏輯數(shù)據(jù)庫規(guī)范化到3NF的一組基本表,并進(jìn)行E-R分析,用主題數(shù)據(jù)庫、每個主題數(shù)據(jù)庫有哪些基本表,以及他們之間的聯(lián)系來表達(dá)系統(tǒng)的數(shù)據(jù)模型。
(3) 系統(tǒng)建模: 可用C-U(C表示生成,U表示使用)矩陣表示。全域系統(tǒng)體系結(jié)構(gòu)模型表示所有子系統(tǒng)與主題數(shù)據(jù)庫的關(guān)系; 子系統(tǒng)體系結(jié)構(gòu)模型表示一個子系統(tǒng)的所有功能模塊與基本表的關(guān)聯(lián)關(guān)系。
5. 數(shù)據(jù)架構(gòu)
數(shù)據(jù)是應(yīng)用的中心,數(shù)據(jù)架構(gòu)由數(shù)據(jù)源、數(shù)據(jù)模型、數(shù)據(jù)存儲、數(shù)據(jù)遷移和數(shù)據(jù)訪問等架構(gòu)組成。
(1)數(shù)據(jù)源架構(gòu): 表示結(jié)構(gòu)化數(shù)據(jù)來源的途徑、方式與內(nèi)容。
(2)數(shù)據(jù)模型架構(gòu):與數(shù)據(jù)倉庫相關(guān),將確定被分析的數(shù)據(jù)、如何分析數(shù)據(jù),以及如何使用經(jīng)過分析的數(shù)據(jù)。
(3)數(shù)據(jù)存儲架構(gòu):將分析各種可能的數(shù)據(jù)存儲方式,如數(shù)據(jù)倉庫中、數(shù)據(jù)集市等,并為數(shù)據(jù)模型構(gòu)建各類數(shù)據(jù)實體選擇合理的存儲方式。
(4)數(shù)據(jù)遷移架構(gòu):以數(shù)據(jù)模型架構(gòu)和數(shù)據(jù)存儲架構(gòu)為基礎(chǔ),明確各數(shù)據(jù)系統(tǒng)之間數(shù)據(jù)的遷移機(jī)制,重復(fù)數(shù)據(jù)的同步邏輯及數(shù)據(jù)在各級的分發(fā)機(jī)制等。
(5)數(shù)據(jù)訪問架構(gòu):通過統(tǒng)一的方式對數(shù)據(jù)源數(shù)據(jù)和數(shù)據(jù)模型進(jìn)行訪問的架構(gòu)。
6. 數(shù)據(jù)集成
農(nóng)業(yè)信息種類和來源多種多樣,將眾多信息有效的利用和集成使用是數(shù)據(jù)中心要考慮的重要內(nèi)容。數(shù)據(jù)中心的數(shù)據(jù)集成采用標(biāo)準(zhǔn)的數(shù)據(jù)接口訪問技術(shù)支持異構(gòu)的數(shù)據(jù)庫,通過主數(shù)據(jù)管理和數(shù)據(jù)適配器支持多種信息源,并基于基礎(chǔ)業(yè)務(wù)數(shù)據(jù)進(jìn)行管理,可以靈活定制數(shù)據(jù)交換的規(guī)則和關(guān)系,規(guī)定數(shù)據(jù)接口的標(biāo)準(zhǔn)與規(guī)范,同時提供后臺數(shù)據(jù)交換的處理引擎,從而為上層應(yīng)用提供服務(wù)的數(shù)據(jù)都能夠遵循一致的標(biāo)準(zhǔn)和格式。實現(xiàn)異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)交換及不同應(yīng)用系統(tǒng)之間信息的整合,有效地解決各應(yīng)用部門和各類應(yīng)用軟件間的“信息孤島”問題。
(1)通用報表組件:通用報表組件包括統(tǒng)一的報表定制、報表填寫和報表管理工具,該組件支持以數(shù)字?jǐn)?shù)據(jù)為主的報表和多種數(shù)據(jù)類型的報表,基于B/S和C/S結(jié)合方式,以指標(biāo)體系為中心,該組件可滿足應(yīng)用系統(tǒng)對報表的各類要求。通用報表組件主要包括以下功能: 實現(xiàn)指標(biāo)定制、報表定制(各種版式); 報表下發(fā)、填報、審核、匯總、上報; 報表的導(dǎo)入導(dǎo)出; 對報表數(shù)據(jù)的查詢、打印和數(shù)據(jù)訪問權(quán)限控制; 指標(biāo)的增減; 所見即所得的表單設(shè)計: 支持在線和離線填寫; 綜合管理功能等。
(2)數(shù)據(jù)交換組件:數(shù)據(jù)交換組件為應(yīng)用系統(tǒng)之間的集成提供信息交換及共享、數(shù)據(jù)處理和數(shù)據(jù)傳遞服務(wù),包括內(nèi)部應(yīng)用系統(tǒng)間的數(shù)據(jù)交換以及與部外的應(yīng)用系統(tǒng)數(shù)據(jù)交換。
數(shù)據(jù)交換組件應(yīng)具備如下功能: ①提供多種數(shù)據(jù)交換方式,包括消息的同步通信、異步通信和會話通信模式,滿足不同的數(shù)據(jù)交換方式的要求;②提供高效的傳輸能力,滿足所有應(yīng)用系統(tǒng)的數(shù)據(jù)傳輸要求; ③保障傳輸可靠性,通過斷點續(xù)傳、集群、事務(wù)技術(shù)等多種技術(shù)保證數(shù)據(jù)傳遞的可靠性; ④支持不同的網(wǎng)絡(luò)環(huán)境,能夠很好地支持不同網(wǎng)絡(luò)接入方式,能夠有效利用不同的網(wǎng)絡(luò)帶寬; ⑤提供標(biāo)準(zhǔn)傳輸組件,使用戶只需要進(jìn)行配置即可實現(xiàn)基本的數(shù)據(jù)傳遞功能,簡化應(yīng)用系統(tǒng)的實現(xiàn)。
(3)主數(shù)據(jù)管理: 根據(jù)業(yè)務(wù)需求將報表、分析、流程、配置信息、基礎(chǔ)數(shù)據(jù)、公文、關(guān)系數(shù)據(jù)庫、各類Office文檔等數(shù)據(jù)進(jìn)行分類、檢索和整理,并且為各種組件對數(shù)據(jù)訪問都提供了相應(yīng)的接口,從而保證數(shù)據(jù)流與業(yè)務(wù)流的同步,使各種數(shù)據(jù)很容易進(jìn)行信息檢索和知識挖掘。主數(shù)據(jù)管理還將建設(shè)農(nóng)業(yè)基礎(chǔ)代碼、農(nóng)業(yè)指標(biāo)體系,實現(xiàn)指標(biāo)的一致性,為待整合業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)交換標(biāo)準(zhǔn),為新建系統(tǒng)提供基礎(chǔ)數(shù)據(jù)引用。最終建設(shè)成全局性、基礎(chǔ)性數(shù)據(jù)集成環(huán)境,實現(xiàn)數(shù)據(jù)的統(tǒng)一、集中管理; 形成統(tǒng)一的數(shù)據(jù)分析環(huán)境,為統(tǒng)計分析、宏觀決策、業(yè)務(wù)監(jiān)督管理提供依據(jù)。
主數(shù)據(jù)管理應(yīng)具備功能: ①基礎(chǔ)代碼管理; ②數(shù)據(jù)的同步管理;③數(shù)據(jù)質(zhì)量管理;④元數(shù)據(jù)管理;⑤自動備份與恢復(fù)等。
(4)數(shù)據(jù)處理組件:數(shù)據(jù)處理組件應(yīng)具備如下功能: ①具有對數(shù)據(jù)ETL功能,可以在交換過程中對傳輸數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和裝載等操作; ②具有對數(shù)據(jù)的質(zhì)量的檢查、提高的功能。
7.數(shù)據(jù)交換的可靠性
農(nóng)業(yè)信息系統(tǒng)數(shù)據(jù)中心的數(shù)據(jù)交換綜合網(wǎng)狀和星形結(jié)構(gòu)的優(yōu)勢,取長補短,形成混合式交換結(jié)構(gòu),從而實現(xiàn)一組消息多種路徑傳送,最終確保傳輸?shù)目煽啃浴?br>8.海量數(shù)據(jù)處理能力
通過以下策略可實現(xiàn)農(nóng)業(yè)信息系統(tǒng)海量數(shù)據(jù)的高可用性:
(1) GRID計算模式。如SAN Storage、Database Server Cluster、Application Server Cluster及Web Server Cluster。
(2)科學(xué)的分庫及表分區(qū)規(guī)則,合理的并行查詢技術(shù)。
(3) OLTP和OLAP的合理劃分及數(shù)據(jù)同步、轉(zhuǎn)換。
(4)個性化的技術(shù)架構(gòu),確保效率最高。
9.數(shù)據(jù)庫性能與質(zhì)量保障
農(nóng)業(yè)信息系統(tǒng)數(shù)據(jù)中心數(shù)據(jù)庫系統(tǒng)的性能保障主要包括以下方面:
(1)數(shù)據(jù)庫采用集群的方式,保障數(shù)據(jù)的可靠性、完整性和安全性,通過全冗余方式完全屏蔽單點失效,發(fā)生故障時可提供良好的平滑接管。
(2)采用業(yè)界領(lǐng)先的應(yīng)用服務(wù)器和消息中間件軟件,從而使不同的應(yīng)用程序能夠以企業(yè)級的性能在廣泛的平臺上安全而可靠地通信,保證數(shù)據(jù)在傳輸和處理過程中不丟失、不損失。
(3)采用穩(wěn)定、可靠的數(shù)據(jù)庫管理系統(tǒng)軟件支持應(yīng)用系統(tǒng)的數(shù)據(jù)。通過數(shù)據(jù)庫管理系統(tǒng)的可靠性機(jī)制保證應(yīng)用系統(tǒng)的數(shù)據(jù)可靠性。
(4)通過磁盤冗余陣列技術(shù)保證數(shù)據(jù)的安全可靠。本期建設(shè)中對于重要的數(shù)據(jù)可以采取RAID5的磁盤冗余陣列技術(shù)進(jìn)行數(shù)據(jù)存儲,保證數(shù)據(jù)可靠。
(5)通過數(shù)據(jù)級的災(zāi)備保證數(shù)據(jù)的可靠性。
(6)數(shù)據(jù)庫服務(wù)器采用雙機(jī)容錯的方式,保證數(shù)據(jù)永不丟失和系統(tǒng)永不停機(jī),采用雙機(jī)熱備模式,保證信息系統(tǒng)能夠不間斷地運行。對主機(jī)性能要求相近的,有較高可靠性要求的應(yīng)用部署在同樣的服務(wù)器上,并進(jìn)行雙機(jī)互備。如將部署OLAP Server的服務(wù)器與部署B(yǎng)I工具軟件的服務(wù)器做雙機(jī)互備,保證OLAP Server與BI的相應(yīng)服務(wù)可靠運行。
10.建設(shè)難點與對策
農(nóng)業(yè)信息系統(tǒng)數(shù)據(jù)中心建設(shè)針對以下主要難點提供相應(yīng)解決對策:
(1)數(shù)據(jù)標(biāo)準(zhǔn)的制定及落實:成立數(shù)據(jù)標(biāo)準(zhǔn)委員會。
(2)數(shù)據(jù)源系統(tǒng)的技術(shù)差異性較大:提供多種標(biāo)準(zhǔn)的,開放的應(yīng)用集成接口組件(adapter)。
(3)數(shù)據(jù)質(zhì)量難以保證:提供完整的問題數(shù)據(jù)反饋機(jī)制。
(4)數(shù)據(jù)的“鮮活性”難以保證: 提供異步、同步兩種方式的數(shù)據(jù)采集方式。
11. 數(shù)據(jù)中心與數(shù)據(jù)庫建設(shè)內(nèi)容
數(shù)據(jù)中心主要由國家農(nóng)業(yè)數(shù)據(jù)中心、中心科技數(shù)據(jù)分中心及國家糧食流通數(shù)據(jù)中心組成。
(1) 國家農(nóng)業(yè)數(shù)據(jù)中心:國家農(nóng)業(yè)數(shù)據(jù)中心物理上是部和直屬單位的網(wǎng)絡(luò)匯接中心和互聯(lián)網(wǎng)接入中心,是部網(wǎng)絡(luò)管理和安全中心,并承載農(nóng)業(yè)信息系統(tǒng)數(shù)據(jù)存儲、數(shù)據(jù)交換以及國家農(nóng)業(yè)綜合門戶網(wǎng)站的運行。國家農(nóng)業(yè)數(shù)據(jù)中心主要包括五大類數(shù)據(jù)庫建設(shè),每類數(shù)據(jù)庫服務(wù)于相應(yīng)的應(yīng)用系統(tǒng),各類數(shù)據(jù)庫又分別包括若干子數(shù)據(jù)庫。在國家農(nóng)業(yè)數(shù)據(jù)中心建設(shè)監(jiān)測預(yù)警數(shù)據(jù)倉庫,對采集的數(shù)據(jù)進(jìn)行整合,基于多種數(shù)據(jù)抽取(清洗)接口,將數(shù)據(jù)從預(yù)警信息數(shù)據(jù)庫中抽取出來,并進(jìn)一步按分析要求組織數(shù)據(jù),形成農(nóng)產(chǎn)品數(shù)據(jù)集市。國家農(nóng)業(yè)數(shù)據(jù)中心數(shù)據(jù)倉庫配置在線分析處理(OLAP)服務(wù)器、數(shù)據(jù)分析前端工具,開發(fā)數(shù)據(jù)分析支撐系統(tǒng),包括信息模板、應(yīng)用接口等,供信息分析人員使用; 國家農(nóng)業(yè)數(shù)據(jù)中心主機(jī)和存儲系統(tǒng)主要由互聯(lián)網(wǎng)服務(wù)區(qū)、政務(wù)外網(wǎng)服務(wù)區(qū)、網(wǎng)絡(luò)管理區(qū)和SAN存儲區(qū)四部分組成,其中互聯(lián)網(wǎng)服務(wù)區(qū)和政務(wù)外網(wǎng)服務(wù)區(qū)主要為服務(wù)于應(yīng)用系統(tǒng)的各類服務(wù)器主機(jī),網(wǎng)絡(luò)管理區(qū)負(fù)責(zé)網(wǎng)絡(luò)管理和安全管理,SAN存儲區(qū)主要為應(yīng)用數(shù)據(jù)存儲以及進(jìn)行數(shù)據(jù)備份與恢復(fù)的區(qū)域。
(2)農(nóng)業(yè)科技數(shù)據(jù)分中心:農(nóng)業(yè)科技數(shù)據(jù)分中心主要承擔(dān)農(nóng)業(yè)科技成果、科技人才和使用技術(shù)的數(shù)據(jù)匯總、分析和發(fā)布的工作,是農(nóng)業(yè)信息系統(tǒng)的一個重要組成部分。農(nóng)業(yè)科技數(shù)據(jù)分中心向全國的農(nóng)業(yè)科技工作者和農(nóng)業(yè)科技服務(wù)人員提供基于六大數(shù)據(jù)庫的信息服務(wù): 農(nóng)業(yè)科技成果數(shù)據(jù)庫、農(nóng)業(yè)科技專家(人才)數(shù)據(jù)庫、農(nóng)業(yè)實用信息數(shù)據(jù)庫、農(nóng)業(yè)推廣案例數(shù)據(jù)庫、農(nóng)業(yè)科技標(biāo)準(zhǔn)數(shù)據(jù)庫和農(nóng)業(yè)多媒體信息數(shù)據(jù)庫。農(nóng)業(yè)科技數(shù)據(jù)分中心是整個應(yīng)用的核心,它肩負(fù)著網(wǎng)管中心、信息收集、組織、管理中心、內(nèi)容服務(wù)提供中心等多個角色,并通過國家政務(wù)外網(wǎng)與國家農(nóng)業(yè)數(shù)據(jù)中心相連,通過目錄交換系統(tǒng)與農(nóng)業(yè)數(shù)據(jù)中心進(jìn)行數(shù)據(jù)交換,同時通過農(nóng)業(yè)科技數(shù)據(jù)分中心門戶網(wǎng)站對外進(jìn)行網(wǎng)上信息發(fā)布、宣傳、管理、數(shù)據(jù)采集、統(tǒng)計等任務(wù)。為了保證國家農(nóng)業(yè)數(shù)據(jù)中心的數(shù)據(jù)安全,在農(nóng)業(yè)科技分中心設(shè)計遠(yuǎn)程數(shù)據(jù)容災(zāi)系統(tǒng),通過SAN光纖連接,直接進(jìn)行數(shù)據(jù)復(fù)制,保證數(shù)據(jù)及時地容災(zāi)備份。
(3) 國家糧食流通數(shù)據(jù)中心:國家糧食流通數(shù)據(jù)中心是農(nóng)產(chǎn)品監(jiān)測預(yù)警系統(tǒng)糧食流通信息采集和數(shù)據(jù)資源的重要來源之一,它的數(shù)據(jù)主要來自省(區(qū)、市)糧食局,它的建設(shè)主要依托國家發(fā)展和改革委員會縱向網(wǎng)平臺,建立各省糧食局與各省發(fā)改委的縱向網(wǎng)連接,實現(xiàn)與國家發(fā)展和改革委員會和國家糧食局的縱向網(wǎng)連接,建立國家糧食局與省(區(qū)、市)糧食局間高效、安全、快速、準(zhǔn)確的信息交換和數(shù)據(jù)共享的平臺。另外,通過獨立于縱向網(wǎng)的網(wǎng)絡(luò)平臺,與農(nóng)業(yè)部實現(xiàn)數(shù)據(jù)共享。
國家糧食流通數(shù)據(jù)中心數(shù)據(jù)主要由三部分組成,包括糧食流通信息、糧食生產(chǎn)相關(guān)信息和糧食流通相關(guān)政策法規(guī)信息。在糧食局內(nèi)網(wǎng)的數(shù)據(jù)存儲區(qū)內(nèi),以SAN網(wǎng)絡(luò)存儲為核心,鏈路實現(xiàn)雙冗余,SAN存儲網(wǎng)絡(luò)的光纖通道交換設(shè)備實現(xiàn)雙冗余,配置容量適度的光纖磁盤陣列和近線存儲磁盤陣列。配置數(shù)據(jù)備份管理服務(wù)器和磁帶庫,進(jìn)行數(shù)據(jù)備份,保證數(shù)據(jù)的長久的安全的存儲。