數(shù)據(jù)流應(yīng)用(數(shù)據(jù)庫(kù))

時(shí)間：2022-11-20 00:30:02 | 來(lái)源：信息時(shí)代

時(shí)間：2022-11-20 00:30:02 來(lái)源：信息時(shí)代

    數(shù)據(jù)流應(yīng)用 : 應(yīng)用環(huán)境中的數(shù)據(jù)主要是以連續(xù)的、無(wú)界的、快速的、隨時(shí)間變化的數(shù)據(jù)項(xiàng)的無(wú)限序列的形式出現(xiàn)的應(yīng)用。典型的數(shù)據(jù)流應(yīng)用領(lǐng)域如下:
(1)傳感器網(wǎng)絡(luò):可用于地理位置監(jiān)控、公路擁塞監(jiān)控、運(yùn)動(dòng)物追蹤、生命信號(hào)的醫(yī)療監(jiān)控和制造過程的超級(jí)監(jiān)控。這些應(yīng)用都涉及復(fù)雜的過濾和發(fā)現(xiàn)數(shù)據(jù)中異常模式的被激活的報(bào)警設(shè)置。傳感器的數(shù)據(jù)挖掘可能需要訪問一些歷史數(shù)據(jù),代表性的查詢操作有: 激活觸發(fā)器。例如,當(dāng)同一地域的幾個(gè)傳感器報(bào)告測(cè)量值超過給定閾值; 在氣象圖上繪制溫度控制線,執(zhí)行由氣象監(jiān)控站產(chǎn)生的溫度流的連接,連接結(jié)果形成帶有每個(gè)站的經(jīng)度和緯度的靜態(tài)表,將報(bào)告同一溫度的點(diǎn)連成線。
(2)網(wǎng)絡(luò)流量分析: 實(shí)時(shí)分析Internet流量的特殊網(wǎng)絡(luò)已經(jīng)被使用。與傳感器網(wǎng)絡(luò)功能相同的是:多個(gè)數(shù)據(jù)源到達(dá)的數(shù)據(jù)連接、包監(jiān)控、包過濾、檢測(cè)異常情況和支持歷史查詢。此外,它的功能還包括監(jiān)控對(duì)熱點(diǎn)URL的需求或發(fā)現(xiàn)用戶消耗的最大帶寬。在網(wǎng)絡(luò)流量分析中典型的查詢是: 流量許可、決定源目的節(jié)點(diǎn)對(duì)以及不同IP地址組、子網(wǎng)掩碼和協(xié)議類型站點(diǎn)的總帶寬。IP流量是多元統(tǒng)計(jì)的,因此,流量數(shù)據(jù)流必須能邏輯分解以便能重構(gòu)基本的TCP/IP會(huì)話。而且,分解進(jìn)入會(huì)話的數(shù)據(jù)流涉及臨時(shí)語(yǔ)義問題。比較不同的源目的站點(diǎn)對(duì)的數(shù)量; 比較在TCP三次握手中分別包含第二步和第三步的邏輯流中不同的源目的站點(diǎn)對(duì)的數(shù)量。若計(jì)數(shù)值超過一個(gè)大的極限,那么一個(gè)拒絕服務(wù)事件將會(huì)產(chǎn)生。
(3)金融分析: 在線股票價(jià)格分析涉及發(fā)現(xiàn)關(guān)聯(lián)、鑒別趨勢(shì)、仲裁機(jī)會(huì)和預(yù)測(cè)未來(lái)值。典型的基于Web金融分析器允許用戶作如下查詢: 查詢所有股票價(jià)格在20～200美元,其最高價(jià)和最低價(jià)之間在過去30分鐘高過3個(gè)百分點(diǎn)的股票分布圖,以及最后5分鐘其震蕩平均量超過300%的股票; 查詢NASDAQ指數(shù)高于200天的平均變動(dòng),以及當(dāng)天開盤起價(jià)格盈利在2～10個(gè)百分點(diǎn),買賣量超過50億的股票; 查詢所有價(jià)格在52周高度的2個(gè)百分點(diǎn),每天成交量至少100萬(wàn)的股票。
(4)事務(wù)日志分析: 在線挖掘Web使用日志、電話記錄和自動(dòng)銀行取款交易也符合數(shù)據(jù)流應(yīng)用模型。其目標(biāo)在于發(fā)現(xiàn)有趣的客戶行為模式,鑒別可疑的開銷行為以便防止欺詐和預(yù)測(cè)未來(lái)數(shù)據(jù)。與其他數(shù)據(jù)流應(yīng)用一樣,它需要多個(gè)數(shù)據(jù)流的連接、復(fù)雜的過濾和統(tǒng)計(jì)分析。常見的查詢有: 查詢某一服務(wù)器的最近15分鐘被訪問的、其速率至少高于日平均速率40%的所有Web頁(yè):如果主服務(wù)器過載,實(shí)時(shí)檢測(cè)Web服務(wù)器日志和重新路由的用戶; 漫游直徑,挖掘無(wú)線電話和每個(gè)客戶,決定每個(gè)電話使用的不同基站的最大數(shù)量。
(5) 網(wǎng)絡(luò)安全事件監(jiān)控:具體包括對(duì)各種諸如端口掃描、dos攻擊、大規(guī)模蠕蟲病毒等安全事件的實(shí)時(shí)監(jiān)控與發(fā)現(xiàn)。傳統(tǒng)的解決方法是利用入侵檢測(cè)技術(shù)(包括誤用檢測(cè)和異常檢測(cè)等),結(jié)合各種蠕蟲發(fā)現(xiàn)及網(wǎng)絡(luò)交通流量分析方法,完成安全事件的報(bào)警與防范?；ヂ?lián)網(wǎng)的發(fā)展為全球范圍內(nèi)實(shí)現(xiàn)高效的資源和信息共享提供了方便,同時(shí)也對(duì)網(wǎng)絡(luò)安全和入侵檢測(cè)系統(tǒng)提出了新的挑戰(zhàn)。日益復(fù)雜的網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu),廣泛采用的分布式應(yīng)用環(huán)境,海量存儲(chǔ)和高帶寬的傳輸技術(shù),都使得傳統(tǒng)的入侵檢測(cè)越來(lái)越不能滿足系統(tǒng)的安全需求。在這種情況下,我們需要從系統(tǒng)模型、架構(gòu)、實(shí)現(xiàn)技術(shù)等各個(gè)方面提出并實(shí)現(xiàn)新的入侵檢測(cè)方法,以適應(yīng)日益復(fù)雜的網(wǎng)絡(luò)安全事件監(jiān)控需求。安全方面的很多應(yīng)用表現(xiàn)為典型的數(shù)據(jù)流應(yīng)用,尤其是網(wǎng)絡(luò)安全事件監(jiān)控和分析系統(tǒng)。這些安全應(yīng)用必須不間斷無(wú)延遲地處理在線、連續(xù)的高速網(wǎng)絡(luò)數(shù)據(jù)流,且網(wǎng)絡(luò)數(shù)據(jù)不可能全都保存在外部存儲(chǔ)器中。