分布式數(shù)據(jù)挖掘(數(shù)據(jù)庫)

時(shí)間：2022-12-22 22:30:01 | 來源：信息時(shí)代

時(shí)間：2022-12-22 22:30:01 來源：信息時(shí)代

    分布式數(shù)據(jù)挖掘 : 在分布式環(huán)境下對(duì)地理上分布的數(shù)據(jù)進(jìn)行的數(shù)據(jù)挖掘。
在許多情況下,將所有數(shù)據(jù)集成在一起進(jìn)行分析往往是不可行的,分布式數(shù)據(jù)挖掘系統(tǒng)充分利用分布式計(jì)算的能力對(duì)相關(guān)數(shù)據(jù)進(jìn)行數(shù)據(jù)分析與綜合。對(duì)于數(shù)據(jù)集成的數(shù)據(jù)挖掘系統(tǒng),將數(shù)據(jù)合理地劃分為若干個(gè)小模塊,并由數(shù)據(jù)挖掘系統(tǒng)并行地處理,最后再將各個(gè)局部處理結(jié)果合成最終的輸出模式,這個(gè)過程稱為分布式數(shù)據(jù)挖掘,這樣的方法可以節(jié)省大量的時(shí)間和空間開銷。
數(shù)據(jù)有兩種分布情況,一種是各結(jié)點(diǎn)間數(shù)據(jù)的屬性空間相同,稱為同構(gòu)數(shù)據(jù); 另一種是各結(jié)點(diǎn)間數(shù)據(jù)具有不同的屬性空間,即稱為異構(gòu)數(shù)據(jù)。
同構(gòu)結(jié)點(diǎn)的數(shù)據(jù)挖掘方法主要有元學(xué)習(xí)(meta-learning)、合作學(xué)習(xí)(cooperative learning)等方法,其中由Prodromidis等人于2000年首先提出的元學(xué)習(xí)方法最具代表性。但如果簡單地將同構(gòu)系統(tǒng)所采用的數(shù)據(jù)挖掘方法應(yīng)用于異構(gòu)分布式數(shù)據(jù)挖掘系統(tǒng),那么,為了得到一個(gè)精確的預(yù)測模型往往需要很大的系統(tǒng)開銷,有時(shí)甚至是不可行的。為了能夠在結(jié)點(diǎn)異構(gòu)的情況下有效地進(jìn)行數(shù)據(jù)挖掘,Kargupta等人提出了CDM(collective data mining)的概念。
典型的分布式數(shù)據(jù)挖掘算法的兩個(gè)基本步驟是: ①局部數(shù)據(jù)挖掘,生成局部數(shù)據(jù)規(guī)律; ②組合不同數(shù)據(jù)站點(diǎn)上的局部數(shù)據(jù)規(guī)律,得到全局?jǐn)?shù)據(jù)規(guī)律。
由于各站點(diǎn)上的數(shù)據(jù)同構(gòu),水平劃分的分布式數(shù)據(jù)庫的數(shù)據(jù)挖掘方法比較簡單,只要將通常的局部數(shù)據(jù)挖掘方法稍加修改,然后按上述步驟進(jìn)行,則能夠挖掘出合適的全局?jǐn)?shù)據(jù)規(guī)律。
由于基于網(wǎng)絡(luò)的分布式數(shù)據(jù)庫通常處于一種分散的狀態(tài),其特點(diǎn)是數(shù)據(jù)的異構(gòu)和站點(diǎn)的分散,需要有一個(gè)能有效地處理分布式異構(gòu)數(shù)據(jù)的挖掘系統(tǒng)框架。
常見的分布式數(shù)據(jù)挖掘算法有分布式?jīng)Q策樹生成算法(如Arguello等人基于對(duì)決策樹增量學(xué)習(xí)算法的研究,針對(duì)共享存儲(chǔ)器和無共享兩種多處理器結(jié)構(gòu),提出的DSD(distributed subtree derivation)和DTD(distributed tree derivation))和分布式關(guān)聯(lián)規(guī)則發(fā)現(xiàn)算法,如Cheung等人提出的分布式關(guān)聯(lián)規(guī)則挖掘算法FDM(fast distributed mining of association rules)。