發(fā)現(xiàn)驅(qū)動探查(數(shù)據(jù)庫)

時間：2022-12-20 00:30:02 | 來源：信息時代

時間：2022-12-20 00:30:02 來源：信息時代

    發(fā)現(xiàn)驅(qū)動探查 : 通過預(yù)計算的度量來指出數(shù)據(jù)異常,在聚集級指導(dǎo)用戶分析數(shù)據(jù)。
對于數(shù)據(jù)立方體中存放的數(shù)據(jù),可以通過使用一些諸如下鉆、上鉆、切片、切塊等OLAP操作,搜索方體中感興趣的模式,進(jìn)而去識別數(shù)據(jù)中的例外和異常。這種假設(shè)驅(qū)動的探查(hypothesis-driven exploration)有很多缺點(diǎn)。用戶需要根據(jù)自己的直覺和假定去識別數(shù)據(jù)中的異常,搜索過程不是自動的,需要搜索的空間可能非常大,而且由于高層次的聚集不可能指示低層次的異常,所以很容易忽略有趣的模式,人工檢查堆積如山的數(shù)據(jù)往往使用戶錯過數(shù)據(jù)中的異常等模式。
發(fā)現(xiàn)驅(qū)動探查是一種替代方法,發(fā)現(xiàn)驅(qū)動探查并不是通過用戶的直覺和假定來找到數(shù)據(jù)異常,而是通過預(yù)計算的度量來指出數(shù)據(jù)異常,在聚集級來指導(dǎo)用戶的數(shù)據(jù)分析過程。
異常(exception)是一個數(shù)據(jù)立方體單元值,基于某種統(tǒng)計模型,它顯著地不同于預(yù)期值。這類統(tǒng)計模型考慮單元所屬的所有維上度量值的變化。例如,如果商品銷售數(shù)據(jù)分析揭示,與其他所有月份相比,12月份的銷售增長了,這對時間維看來是一個異常。然而,如果考慮商品維。這不是一個異常,因?yàn)樵?2月份,其他商品的銷售也有類似的增長。
有三種度量用作異常指示符,幫助標(biāo)識數(shù)據(jù)異常。這些度量指出單元中的量相對于期望值的奇異程度。對于所有的聚集層,計算這些度量,并將它們關(guān)聯(lián)到每一個單元。它們是:
(1) SelfExp: 指示相對于同一聚集層的其他單元的奇異程度。
(2) InExp: 指示該單元之下某處的奇異程度,如果由它下鉆的話。
(3) PathExp: 指示由該單元的每條下鉆路徑的奇異程度。
以上三種度量是基于表分析的統(tǒng)計方法,度量值考慮了給定單元值涉及的所有分組(聚集)。一個單元值是否異常要根據(jù)它與它的期望值相差多少判定。單元的值同它的期望值之間的差稱為余量。直觀地,余量越大,單元的值越異常。為比較余量值,需要按照與余量相關(guān)的期望標(biāo)準(zhǔn)差對值定標(biāo)。這樣,一個單元被視為異常,如果它的定標(biāo)余量值超過一個預(yù)定的閾值。SelfExp、InExp和PathExp度量就是給予這種定標(biāo)余量。