科學(xué)數(shù)據(jù)庫(kù)系統(tǒng)(數(shù)據(jù)庫(kù))

時(shí)間：2022-12-30 12:30:01 | 來(lái)源：信息時(shí)代

時(shí)間：2022-12-30 12:30:01 來(lái)源：信息時(shí)代

    科學(xué)數(shù)據(jù)庫(kù)系統(tǒng) : 在計(jì)算技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的支持下,按照一定的規(guī)則系統(tǒng)組織的相關(guān)科學(xué)數(shù)據(jù)的系列或者集合,能進(jìn)行長(zhǎng)期的管理和保持,并能被科研人員訪問(wèn)和使用,支持一類或者若干類科學(xué)問(wèn)題的研究?？茖W(xué)數(shù)據(jù)是來(lái)自于觀察、試驗(yàn)、模擬、模型及以更高級(jí)別形式組織的所有復(fù)雜的數(shù)據(jù)實(shí)體,以及需要對(duì)數(shù)據(jù)進(jìn)行描述和解釋的相關(guān)文檔。它是觀測(cè)、實(shí)驗(yàn)和計(jì)算等科學(xué)活動(dòng)中產(chǎn)生的數(shù)據(jù)或事實(shí)屬性,它反映了自然世界存在的客觀規(guī)律,是人類發(fā)展科學(xué)概念、理論和模型進(jìn)而建立從原子尺寸到宇宙空間表達(dá)模式的基礎(chǔ)?？茖W(xué)理論可能不斷改進(jìn),但是科學(xué)數(shù)據(jù)將保留下來(lái)并不斷使用?？茖W(xué)數(shù)據(jù)來(lái)自于各種科學(xué)實(shí)踐活動(dòng),如物理、化學(xué)和材料等科學(xué)進(jìn)行試驗(yàn)、實(shí)驗(yàn)產(chǎn)生實(shí)驗(yàn)數(shù)據(jù),生態(tài)環(huán)境、地球、空間等科學(xué)進(jìn)行的觀測(cè)、調(diào)查、監(jiān)測(cè)、探測(cè)產(chǎn)生的觀測(cè)數(shù)據(jù),計(jì)算機(jī)科學(xué)、計(jì)算數(shù)學(xué)與其他如力學(xué)、材料、生命科學(xué)等結(jié)合進(jìn)行數(shù)值模擬產(chǎn)生的計(jì)算數(shù)據(jù)。每個(gè)科學(xué)領(lǐng)域都有科學(xué)數(shù)據(jù),但存在 數(shù)據(jù)類型和應(yīng)用層次,如數(shù)值數(shù)據(jù)、空間數(shù)據(jù)、圖形數(shù)據(jù)、文本數(shù)據(jù)和實(shí)物數(shù)據(jù)等表現(xiàn)形式。在數(shù)據(jù)的加工和應(yīng)用上,原始數(shù)據(jù)是原始實(shí)驗(yàn)或觀測(cè)記錄,校準(zhǔn)數(shù)據(jù)是指對(duì)異常和儀器偏差校正后的數(shù)據(jù),簡(jiǎn)化數(shù)據(jù)是按照標(biāo)準(zhǔn)歸納簡(jiǎn)化表達(dá)的數(shù)據(jù),評(píng)價(jià)數(shù)據(jù)是對(duì)多個(gè)觀測(cè)、實(shí)驗(yàn)數(shù)據(jù)嚴(yán)格評(píng)估得出的最佳數(shù)據(jù)。一般地,所有的科學(xué)數(shù)據(jù)都應(yīng)該有元數(shù)據(jù),元數(shù)據(jù)說(shuō)明獲取數(shù)據(jù)的技術(shù)條件,某些情況下還要記錄實(shí)驗(yàn)、觀測(cè)時(shí)間和地點(diǎn)等。
1.科學(xué)數(shù)據(jù)庫(kù)發(fā)展歷史
早在1000多年前,中國(guó)和其他國(guó)家的人們就將有關(guān)太陽(yáng)和極光活動(dòng)的信息編入了史冊(cè)。在西方,系統(tǒng)地研究地球物理學(xué)的方法可以追溯到數(shù)個(gè)世紀(jì)以前,在18世紀(jì)和19世紀(jì),早期的地磁和地震觀測(cè)臺(tái)的數(shù)據(jù)交流主要是通過(guò)出版觀測(cè)站年度觀測(cè)報(bào)告來(lái)進(jìn)行的,有關(guān)海洋學(xué)和地質(zhì)學(xué)的數(shù)據(jù)則記錄在航海日志當(dāng)中。盡管沒(méi)有方便易行的方法來(lái)復(fù)制這些原始記錄,有關(guān)地磁領(lǐng)域、板塊構(gòu)造學(xué)和海洋學(xué)的知識(shí)在很大程度上要?dú)w功于這些記錄。傳統(tǒng)上,科學(xué)數(shù)據(jù)被保存于印刷物、論文、書籍、百科全書、報(bào)告、實(shí)驗(yàn)手稿和日志、野外考察筆記。隨著化學(xué)、氣象、地質(zhì)調(diào)查和天文領(lǐng)域等科學(xué)數(shù)據(jù)的迅速增長(zhǎng),傳統(tǒng)出版物已經(jīng)不能應(yīng)付科學(xué)數(shù)據(jù)的發(fā)布,早期出現(xiàn)了少數(shù)的專業(yè)雜志致力于數(shù)據(jù)發(fā)布,如1959年的the Journal of Chemical Engineering Data(美國(guó)),1969年的Atomic and Nuclear Data Tables(英國(guó)),1972年的Journal of Physical and Chemical Reference Data(美國(guó)),2002年的Journal of Astronomical Data則接受完整的科研數(shù)據(jù)并以光碟發(fā)布。
自20世紀(jì)70年代開(kāi)始人們已普遍使用計(jì)算機(jī)技術(shù)獲取、管理和歸檔科學(xué)數(shù)據(jù),建立各種專業(yè)和綜合的數(shù)據(jù)庫(kù)。美國(guó)計(jì)算機(jī)協(xié)會(huì)(ACM)于20世紀(jì)70年代組織研討大規(guī)模數(shù)據(jù)庫(kù)系統(tǒng)(very large databases,VLDB)技術(shù),歐洲原子能研究組織(European Organization for Nuclear Research,CERN)于20世紀(jì)80年代開(kāi)始建立專業(yè)數(shù)據(jù)庫(kù)網(wǎng)絡(luò)。隨著在線主機(jī)服務(wù)的發(fā)展,科學(xué)數(shù)據(jù)庫(kù)開(kāi)始面向公眾服務(wù),如 1983年建立的科技信息在線網(wǎng)絡(luò)(the scientific and technical information network,STN),覆蓋了化學(xué)和生命科學(xué)領(lǐng)域的200多個(gè)數(shù)據(jù)庫(kù)。更多的科學(xué)數(shù)據(jù)庫(kù)是為專業(yè)科學(xué)家使用,如1977年美國(guó)地質(zhì)調(diào)查局建立擁有50多個(gè)地球科學(xué)數(shù)據(jù)處理系統(tǒng),約0.5TB數(shù)據(jù)量。
數(shù)字化的科學(xué)數(shù)據(jù)管理是信息時(shí)代的新生事物,在物理、生物實(shí)驗(yàn)科學(xué)領(lǐng)域人們逐步把紙面記錄的科學(xué)數(shù)據(jù)轉(zhuǎn)化電子記錄,而在天文、地球科學(xué)等領(lǐng)域的觀測(cè)數(shù)據(jù)通常是直接獲取儀器的電子化記錄。隨著科學(xué)技術(shù)的進(jìn)步,某些領(lǐng)域如晶體結(jié)構(gòu)、基因數(shù)據(jù)等要求建立國(guó)際化的數(shù)據(jù)中心以便全面存儲(chǔ)、管理、評(píng)價(jià)數(shù)據(jù)。20世紀(jì)90年代末以來(lái),建立科學(xué)數(shù)據(jù)獲取、評(píng)估和分發(fā)的數(shù)據(jù)中心機(jī)制在科學(xué)領(lǐng)域得到廣泛、迅速發(fā)展,2001年后,Web技術(shù)已經(jīng)成為科學(xué)數(shù)據(jù)發(fā)布的基本工具,通過(guò)網(wǎng)絡(luò)即可訪問(wèn)國(guó)際上的絕大部分科學(xué)數(shù)據(jù)庫(kù)。
2.科學(xué)數(shù)據(jù)庫(kù)發(fā)展趨勢(shì)
通過(guò)傳感器、試驗(yàn)、計(jì)算機(jī)模擬等手段,現(xiàn)代科學(xué)數(shù)據(jù)的規(guī)模和復(fù)雜度呈幾何級(jí)增長(zhǎng)。國(guó)際上,隨著信息技術(shù)的發(fā)展,近10年來(lái)發(fā)達(dá)國(guó)家和地區(qū)逐步建立了龐大體系的科學(xué)數(shù)據(jù)資源,開(kāi)發(fā)了先進(jìn)的應(yīng)用系統(tǒng),成為面向21世紀(jì)知識(shí)創(chuàng)新的信息化科研環(huán)境的基礎(chǔ)設(shè)施和支撐條件,為基礎(chǔ)研究、應(yīng)用研究和社會(huì)經(jīng)濟(jì)發(fā)展提供了數(shù)據(jù)支撐。
20世紀(jì)90年代以來(lái),美國(guó)政府逐步在國(guó)家層面上構(gòu)建數(shù)據(jù)共享的框架,首先由美國(guó)國(guó)家航空航天局(NASA)啟動(dòng)“分布式、最活躍數(shù)據(jù)檔案中心群”項(xiàng)目,建立了龐大的科學(xué)數(shù)據(jù)中心體系,包括13個(gè)學(xué)科性的世界數(shù)據(jù)中心和9個(gè)國(guó)家數(shù)據(jù)中心,包括的世界數(shù)據(jù)中心有大氣微量氣體中心、海洋地質(zhì)學(xué)與地球物理學(xué)中心、地震學(xué)中心、人類與環(huán)境相互作用中心、氣象數(shù)據(jù)中心、海洋學(xué)中心、遙感陸地?cái)?shù)據(jù)中心、火箭與衛(wèi)星中心、太陽(yáng)陸地物理數(shù)據(jù)、地球自轉(zhuǎn)中心、固體地球物理學(xué)中心以及古氣候?qū)W中心等。世界數(shù)據(jù)中心中國(guó)地區(qū)中心共有海洋、氣象、地震、地質(zhì)、地球物理、空間、天文、冰川凍土、可再生資源與環(huán)境等9個(gè)學(xué)科數(shù)據(jù)中心;俄羅斯地區(qū)中心建立包括海洋地質(zhì)與地球物理學(xué)、氣象學(xué)、海洋學(xué)、火箭與衛(wèi)星、地球自轉(zhuǎn)、日地物理、固體地球物理7個(gè)學(xué)科中心; 歐洲地區(qū)中心建立了包括氣候?qū)W、固體潮、地磁學(xué)—哥本哈根(丹麥)、地磁學(xué)—愛(ài)丁堡(英國(guó))、冰河學(xué)、海洋環(huán)境科學(xué)、大氣遙感、土壤、太陽(yáng)活動(dòng)性、日地物理、太陽(yáng)黑子指數(shù)等11個(gè)學(xué)科數(shù)據(jù)中心;日本地區(qū)中心建立了包括氣輝、極光、宇宙射線、地磁學(xué)—孟買(印度)、地磁學(xué)—京都(日本)、電離層、核輻射、太陽(yáng)射電輻射、日地科學(xué)—悉尼(澳大利亞)、空間科學(xué)衛(wèi)星數(shù)據(jù)等10個(gè)學(xué)科數(shù)據(jù)中心。
在其他的基礎(chǔ)、交叉和前沿科學(xué)領(lǐng)域,隨著信息技術(shù)的深入應(yīng)用,數(shù)據(jù)資源的指數(shù)級(jí)增長(zhǎng)對(duì)數(shù)據(jù)存儲(chǔ)、應(yīng)用接口、數(shù)據(jù)傳送、檢索分析等提出了較高的要求,國(guó)際上由各類科學(xué)團(tuán)體如國(guó)家部門、科研機(jī)構(gòu)、國(guó)際組織等逐步建立了一批大規(guī)模科學(xué)數(shù)據(jù)庫(kù)。如美國(guó)國(guó)家標(biāo)準(zhǔn)局(NIST)開(kāi)發(fā)了80多個(gè)數(shù)據(jù)庫(kù),內(nèi)容涉及到物理、化學(xué)(分析化學(xué)、化學(xué)動(dòng)力學(xué)、化學(xué)與晶體結(jié)構(gòu)等)、環(huán)境、材料性質(zhì)、產(chǎn)品設(shè)計(jì)等多個(gè)學(xué)科領(lǐng)域。并提供了多種服務(wù)形式,包括在線免費(fèi)、Data Gateway集成服務(wù)等。
劍橋晶體結(jié)構(gòu)數(shù)據(jù)中心 CCDC(Cambridge Crystallographic Data Center)是1965年由劍橋大學(xué)晶體研究工作組建立,1989年成為獨(dú)立機(jī)構(gòu),現(xiàn)成為全球最大的晶體結(jié)構(gòu)的數(shù)字化數(shù)據(jù)庫(kù),每年約增加1萬(wàn)個(gè)化合物。
在生物信息領(lǐng)域,出現(xiàn)了很多迅速成長(zhǎng)的數(shù)據(jù)庫(kù),通常是復(fù)雜的數(shù)值、文本、圖像等混合數(shù)據(jù),其使用需要更好地技術(shù)維護(hù)。如PDB,蛋白質(zhì)數(shù)據(jù)庫(kù),約2萬(wàn)條記錄,1GB數(shù)據(jù)量。SWISS-PORT,蛋白質(zhì)系列數(shù)據(jù)庫(kù),含百萬(wàn)條記錄,約10GB。TrEMBL,是SWISS-PORT計(jì)算機(jī)注釋補(bǔ)充材料,約100GB。MEDLINE,醫(yī)學(xué)與生命科學(xué)文獻(xiàn)數(shù)據(jù)庫(kù),約100GB。EMBL核酸系列數(shù)據(jù)庫(kù),數(shù)據(jù)量已達(dá)到TB級(jí)。GeneExpression數(shù)據(jù)庫(kù),如包含DNA切片等圖像數(shù)據(jù),數(shù)據(jù)量預(yù)計(jì)將達(dá)到PB級(jí)。NIH Genetic Sequence Database,通常稱為GenBank,1982年由NIH建立。GenBank數(shù)據(jù)原先主要來(lái)自于生物學(xué)文獻(xiàn),現(xiàn)在則直接來(lái)源于測(cè)序工作者提交的序列,由測(cè)序中心提交的大量EST序列和其他測(cè)序數(shù)據(jù),以及與其他數(shù)據(jù)庫(kù)協(xié)作交換而來(lái)的數(shù)據(jù)。GenBank中的數(shù)據(jù)呈指數(shù)增長(zhǎng)。1985年,基因庫(kù)僅有5700條記錄,至2006年2月,在傳統(tǒng)的GenBank分支系統(tǒng)中,已有597億多個(gè)堿基,序列記錄達(dá)到5458萬(wàn)余條: 在WGS分支信息中,已有631億個(gè)堿基,序列記錄達(dá)到1246萬(wàn)余個(gè)。
在天文、高能物理等科學(xué)領(lǐng)域,由于大量使用高吞吐量的傳感儀器,產(chǎn)生了大規(guī)模的科學(xué)數(shù)據(jù)。“數(shù)字化天空測(cè)量”產(chǎn)生的數(shù)據(jù)文檔按比例將在10年內(nèi)從今天最大的10TB增長(zhǎng)到1000TB。據(jù)估計(jì),美國(guó)國(guó)際虛擬天文臺(tái)項(xiàng)目從2004年起每年將產(chǎn)生500TB的數(shù)據(jù)。激光干涉儀重力天文臺(tái)項(xiàng)目從2002年起每年產(chǎn)生250TB數(shù)據(jù)。2004年開(kāi)始運(yùn)作的VISTA望遠(yuǎn)鏡每晚產(chǎn)生250千兆字節(jié)的源數(shù)據(jù),每年將產(chǎn)生10TB存儲(chǔ)數(shù)據(jù)。如SIMBAD天文數(shù)據(jù)庫(kù)是關(guān)于天文數(shù)據(jù)的標(biāo)識(shí)、測(cè)量和參考文獻(xiàn)的數(shù)據(jù)集,由法國(guó)斯特拉斯堡天文臺(tái)建立。SIMBAD數(shù)據(jù)庫(kù)包括約375 萬(wàn)個(gè)天體(objects),983 萬(wàn)個(gè)標(biāo)識(shí)符(Identifier),17萬(wàn)條參考文獻(xiàn),520萬(wàn)條在文獻(xiàn)中被引用的天體。同時(shí),SIMBAD還支持虛擬天文臺(tái)VO和天文網(wǎng)格AstroGrid等重大應(yīng)用項(xiàng)目。歐洲高能粒子物理實(shí)驗(yàn)室(CERN)強(qiáng)子對(duì)撞機(jī)(LHC)試驗(yàn)的規(guī)模在物理界是空前盛大的,每次試驗(yàn)涉及到全球成百個(gè)儀器和5000多個(gè)物理學(xué)家,一年四次LHC試驗(yàn)將會(huì)產(chǎn)生幾千TB的試驗(yàn)數(shù)據(jù)。如此大量的數(shù)據(jù)需要被處理和分布,以便搜索顯示希格斯玻色子存在的信號(hào)或其他信號(hào)。圍繞LHC等試驗(yàn)數(shù)據(jù)的處理,已經(jīng)建立了大量的數(shù)據(jù)網(wǎng)格,如美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)網(wǎng)格物理網(wǎng)、能源部(DOE)粒子物理數(shù)據(jù)網(wǎng)格、NSF國(guó)際虛擬數(shù)據(jù)網(wǎng)格實(shí)驗(yàn)室和歐盟(EU)數(shù)據(jù)網(wǎng)格工程及英國(guó)(UK)GridPP、意大利INFN網(wǎng)格和NorduGrid等國(guó)際網(wǎng)格項(xiàng)目。這些試驗(yàn)每年將需要存儲(chǔ)、處理大約10PB數(shù)據(jù)量。
在醫(yī)藥與健康、工程技術(shù)、模擬計(jì)算、社會(huì)科學(xué)等領(lǐng)域,也產(chǎn)生了大量的科學(xué)數(shù)據(jù),通常結(jié)合應(yīng)用項(xiàng)目建立科學(xué)數(shù)據(jù)庫(kù)。如英國(guó)e-Diamond、美國(guó)國(guó)家數(shù)字乳房X線照片檔案和歐洲的MammoGrid等,建立的TB級(jí)數(shù)據(jù)庫(kù)包含數(shù)字掃描技術(shù)X線照片、核磁共振成像掃描及其他醫(yī)學(xué)圖像數(shù)據(jù)等,將提供建立一個(gè)可視化的數(shù)據(jù)標(biāo)本,從而協(xié)助醫(yī)生遠(yuǎn)程、實(shí)時(shí)、自動(dòng)診斷成為可能。英國(guó)建立了Essex的ESRC數(shù)據(jù)歸檔、曼徹斯特MIMAS和愛(ài)丁堡EDINA等社會(huì)科學(xué)領(lǐng)域數(shù)據(jù),數(shù)據(jù)量超過(guò)了1TB。在工程領(lǐng)域,英國(guó)分布式飛行維護(hù)環(huán)境項(xiàng)目(DAME),建立了發(fā)動(dòng)機(jī)引擎的壓力、溫度和振動(dòng)傳感器數(shù)據(jù),每年產(chǎn)生上千TB的數(shù)據(jù),用于聚合實(shí)驗(yàn)和實(shí)際數(shù)據(jù)檢測(cè)、監(jiān)控潛在問(wèn)題。