數(shù)據(jù)流管理(數(shù)據(jù)庫(kù))

時(shí)間：2022-11-21 02:30:01 | 來(lái)源：信息時(shí)代

時(shí)間：2022-11-21 02:30:01 來(lái)源：信息時(shí)代

    數(shù)據(jù)流管理 : 對(duì)以流的形式到達(dá)的數(shù)據(jù)進(jìn)行管理。傳統(tǒng)的數(shù)據(jù)庫(kù)存儲(chǔ)的是靜態(tài)的數(shù)據(jù)記錄的集合,它們具有限定的大小、可控制的操作、詳細(xì)定義的結(jié)構(gòu),同時(shí)這些數(shù)據(jù)具有持久性。傳統(tǒng)數(shù)據(jù)庫(kù)中的計(jì)算是多次的或無(wú)限次的,具有時(shí)間復(fù)雜度和空間復(fù)雜度,其查詢處理為單次查詢,它們的查詢計(jì)劃為靜態(tài)的,只運(yùn)行一次,最終的查詢結(jié)果也是確定的。另外,除非明確地加入了時(shí)間戳的屬性,否則傳統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)沒(méi)有事先定義時(shí)間的概念。雖然這種數(shù)據(jù)庫(kù)模型能較好地滿足某些企業(yè)或組織的信息存儲(chǔ)要求,但當(dāng)前的以及未來(lái)的一些新型應(yīng)用要求支持對(duì)不斷快速變化的數(shù)據(jù)流的在線分析。在現(xiàn)實(shí)世界的一些新型應(yīng)用中,數(shù)據(jù)基本上是連續(xù)的數(shù)據(jù)流,而不是有限存儲(chǔ)的數(shù)據(jù)集合,并且與過(guò)去的那種單次查詢相反,在此用戶需要長(zhǎng)期連續(xù)的查詢。例如,網(wǎng)絡(luò)控制器、電信數(shù)據(jù)管理、Web日志分析、金融證券管理、傳感器網(wǎng)絡(luò)等。這些應(yīng)用一方面需要維護(hù)大量共享數(shù)據(jù)和控制信息; 另一方面其應(yīng)用活動(dòng)有很強(qiáng)的時(shí)間性,要求連續(xù)不斷地自外部環(huán)境采集數(shù)據(jù),并根據(jù)要求進(jìn)行相應(yīng)的處理及存儲(chǔ),再在規(guī)定的時(shí)間內(nèi)做出及時(shí)響應(yīng)。同時(shí),它們所處理的數(shù)據(jù)往往是“短暫”的,即只在一定的時(shí)間范圍內(nèi)有效,過(guò)時(shí)則無(wú)意義(對(duì)當(dāng)前的決策或推導(dǎo))。因此,傳統(tǒng)的商務(wù)型和管理事務(wù)型DBMS不能滿足這種數(shù)據(jù)流應(yīng)用的需求,只有將數(shù)據(jù)庫(kù)與數(shù)據(jù)流系統(tǒng)兩者的概念、技術(shù)、方法與機(jī)制“完善”地集成在一起的數(shù)據(jù)流數(shù)據(jù)庫(kù)系統(tǒng)才能充分滿足這種數(shù)據(jù)流應(yīng)用的需求。
數(shù)據(jù)流數(shù)據(jù)庫(kù)系統(tǒng)就是管理其數(shù)據(jù)可以是連續(xù)的無(wú)界的加入時(shí)間概念的數(shù)據(jù)流,并對(duì)數(shù)據(jù)的處理具有時(shí)間限制的數(shù)據(jù)庫(kù)系統(tǒng)。系統(tǒng)的正確性不僅依賴于邏輯結(jié)果,還依賴于邏輯結(jié)果產(chǎn)生的時(shí)間。近年來(lái),隨著數(shù)據(jù)流應(yīng)用的大量涌現(xiàn),數(shù)據(jù)流數(shù)據(jù)庫(kù)系統(tǒng)的研究已經(jīng)引起了越來(lái)越多的數(shù)據(jù)庫(kù)工作者的關(guān)注。然而,數(shù)據(jù)流數(shù)據(jù)庫(kù)系統(tǒng)并非是數(shù)據(jù)庫(kù)與數(shù)據(jù)流系統(tǒng)兩者的概念、體系結(jié)構(gòu)、工具等的簡(jiǎn)單集成,需要對(duì)一系列問(wèn)題進(jìn)行研究與探討: 數(shù)據(jù)和數(shù)據(jù)庫(kù)的結(jié)構(gòu)與組織; 查詢語(yǔ)言: 事務(wù)的優(yōu)先級(jí)分配、調(diào)度和并發(fā)控制的協(xié)議與算法; 內(nèi)存的分配; 查詢處理算法; 數(shù)據(jù)以及事務(wù)特性的語(yǔ)義以及這種語(yǔ)義與一致性、正確性的關(guān)系等。這些問(wèn)題互相關(guān)聯(lián)且與應(yīng)用的性質(zhì)緊密相連。
目前對(duì)數(shù)據(jù)流管理的研究已有不少成果,如:斯坦福大學(xué)已經(jīng)全面展開了數(shù)據(jù)流管理系統(tǒng)(data stream management system,DSMS)的設(shè)計(jì)與原型實(shí)現(xiàn),該系統(tǒng)名為STREAM。STREAM是一個(gè)以關(guān)系為基礎(chǔ)的數(shù)據(jù)流管理系統(tǒng),它重點(diǎn)在于內(nèi)存管理和近似查詢。它可以用于處理快速的、易變的、大量涌入的數(shù)據(jù)流信息,其連續(xù)查詢能力非常好。STREAM的主要處理技術(shù)包括: 連續(xù)的自我監(jiān)控和再優(yōu)化; 適應(yīng)于不同需要的良好近似; 合理的資源分配和使用。如今STREAM 1.0版本已經(jīng)設(shè)計(jì)完成并正在運(yùn)行期間,它可以支持多種查詢語(yǔ)言。
布朗大學(xué)、布蘭代斯大學(xué)和麻省理工大學(xué)聯(lián)合開發(fā)的Aurora系統(tǒng)正在構(gòu)建一個(gè)新型的數(shù)據(jù)處理系統(tǒng),它的目標(biāo)是專門處理數(shù)據(jù)流監(jiān)控。Aurora簡(jiǎn)單獨(dú)特的框架結(jié)構(gòu)可以處理三種不同的應(yīng)用: 實(shí)時(shí)監(jiān)控應(yīng)用、處理以時(shí)間序列存儲(chǔ)的大量歷史數(shù)據(jù)的檔案管理型應(yīng)用以及包含對(duì)歷史以及當(dāng)前數(shù)據(jù)進(jìn)行處理的跨度應(yīng)用。Aurora系統(tǒng)的核心是一個(gè)巨大的觸發(fā)器網(wǎng)絡(luò)。每個(gè)觸發(fā)器是一個(gè)數(shù)據(jù)流向圖,圖中的每一個(gè)結(jié)點(diǎn)則是七種built-in操作(或boxes-Aurora系統(tǒng)術(shù)語(yǔ))中的一個(gè)。對(duì)每一個(gè)使用Aurora系統(tǒng)的數(shù)據(jù)流監(jiān)控應(yīng)用,應(yīng)用管理器創(chuàng)建一個(gè)或多個(gè)觸發(fā)器加入到Aurora的觸發(fā)器網(wǎng)絡(luò)中。Aurora系統(tǒng)實(shí)現(xiàn)了觸發(fā)器網(wǎng)絡(luò)的編譯時(shí)優(yōu)化和運(yùn)行時(shí)優(yōu)化。在進(jìn)行運(yùn)行時(shí)優(yōu)化時(shí),Aurora可以檢測(cè)到資源超載并根據(jù)實(shí)際應(yīng)用情況進(jìn)行負(fù)荷減壓。另外,他們還正在設(shè)計(jì)一種可升級(jí)的分布式Aurora,叫做Aurora*。Aurora*的主要目標(biāo)在于使系統(tǒng)對(duì)分布式數(shù)據(jù)流處理應(yīng)用達(dá)到一種比較高的可測(cè)量性和實(shí)用性。
美國(guó)加州大學(xué)伯克萊分校正在構(gòu)建一個(gè)Telegraph CQ系統(tǒng),該系統(tǒng)用于連續(xù)的數(shù)據(jù)流的處理。Telegraph CQ的目的在于處理對(duì)大量高速變化的數(shù)據(jù)流而進(jìn)行的大量連續(xù)查詢。在該項(xiàng)目的早期工作中已經(jīng)建立了一個(gè)Java版本的適應(yīng)性數(shù)據(jù)流處理系統(tǒng)。如今他們決定利用Postgre SQL(一個(gè)源碼公開的RDBMS)作為進(jìn)一步研究的起點(diǎn)。Open CQ系統(tǒng)與Niagara CQ系統(tǒng)都支持對(duì)分布于網(wǎng)絡(luò)上的持久性數(shù)據(jù)進(jìn)行連續(xù)的查詢監(jiān)控,如: Internet上的Web站點(diǎn)。Open CQ采用一種基于增量視圖維護(hù)的查詢處理方法,而Niagara CQ則在許多查詢中使用了分組連續(xù)查詢技術(shù),該技術(shù)的使用提高了查詢求值的效率。
另外,連續(xù)查詢還被用于Tapestry系統(tǒng),該系統(tǒng)對(duì)只增型電子郵件信息和電子公告信息數(shù)據(jù)庫(kù)進(jìn)行以內(nèi)容為基礎(chǔ)的過(guò)濾。SQL的一個(gè)有限的子集作為該系統(tǒng)的查詢語(yǔ)言,以確保查詢求值的有效執(zhí)行以及生成只增型查詢結(jié)果。Alert系統(tǒng)通過(guò)使用定義在特殊的只增型的活躍庫(kù)表上的連續(xù)查詢,提供一種傳統(tǒng)SQL數(shù)據(jù)庫(kù)中的事件-條件-動(dòng)作觸發(fā)器機(jī)制。基于內(nèi)容的XFilter過(guò)濾系統(tǒng)從用戶的角度利用XPath語(yǔ)言進(jìn)行連續(xù)查詢,從而實(shí)現(xiàn)了對(duì)XML文檔的有效過(guò)濾。COUGAR是一個(gè)傳感器數(shù)據(jù)庫(kù),它將傳感器建模為抽象數(shù)據(jù)類型(abstract data type),同時(shí)它的輸入為一個(gè)時(shí)間序列。Gigascope是一個(gè)分布式網(wǎng)絡(luò)監(jiān)控結(jié)構(gòu),它提議將一些查詢操作加到數(shù)據(jù)源(如路由)中。StatStream是一個(gè)數(shù)據(jù)流監(jiān)控系統(tǒng),它用于同時(shí)在線統(tǒng)計(jì)幾個(gè)數(shù)據(jù)流。