基于內(nèi)容多媒體檢索(數(shù)據(jù)庫)

時間：2022-12-28 16:30:01 | 來源：信息時代

時間：2022-12-28 16:30:01 來源：信息時代

    基于內(nèi)容多媒體檢索 : 通過對多媒體數(shù)據(jù)的分析處理、提取特征、分類/聚類、索引、近似匹配,為檢索用戶提供按相關(guān)度排序的若干結(jié)果的活動。基于內(nèi)容的多媒體檢索的技術(shù)復(fù)雜性和難度,使它不僅依賴數(shù)據(jù)庫技術(shù),還要以認(rèn)知科學(xué)、人工智能、計算語言學(xué)、計算機(jī)圖形學(xué)為學(xué)科基礎(chǔ),并利用它們的研究成果和方法。
經(jīng)典的信息檢索問題是利用一組關(guān)鍵字組成的檢索請求來定位所需要的文檔,即發(fā)現(xiàn)匹配的文檔。一個包含較多查詢項的文檔顯然比包含較少查詢項的文檔與檢索請求更“相關(guān)”。于是,按照“相關(guān)”度排序的文檔被作為檢索結(jié)果提交給用戶,以便進(jìn)一步搜索。雖然這個過程是為文本設(shè)計的,但理論和實踐證明,它也適用于音頻或其他多媒體信息的檢索。
1.基于內(nèi)容的多媒體檢索的原理
數(shù)據(jù)預(yù)處理: 分析多媒體數(shù)據(jù)的內(nèi)容,直接提取或人工描述全部/部分底層特征和高級語義,建立特征庫和索引庫; 檢索: 提取問題的語義、計算問題的特征向量; 借助索引進(jìn)行查找; 運用媒體數(shù)據(jù)特征進(jìn)行篩選; 按相關(guān)度給出結(jié)果集合。一個良好的檢索系統(tǒng)還要提供有效的處理算法和可視化接口,讓用戶以最簡單的操作方式得到最好的結(jié)果。
除了媒體庫、索引庫、特征庫,基于內(nèi)容的多媒體檢索通常還需要有知識庫。知識庫包含領(lǐng)域知識和通用知識,其中的知識表達(dá)可以更換,以適應(yīng)不同領(lǐng)域的需求。利用這些庫可滿足用戶多層次的檢索要求。
2.基于內(nèi)容的多媒體信息檢索技術(shù)
(1)提交檢索請求的方式: 包括: ①樣本方式,將輸入的多媒體信息(一段音樂、一段視頻)作為查詢的樣本;②描述方式,用文字描繪多媒體特征,如音樂的音高、視頻的運動對象,表達(dá)自己的檢索意圖。
(2)多媒體內(nèi)容: 多媒體數(shù)據(jù)內(nèi)容分多個層次:用文字描述的語義;以視覺特性(顏色、紋理、形狀、輪廓、運動、人的面部特征、指紋特征)和聽覺特性(音高、音色、音質(zhì)等)為代表的感知特性; 音視頻對象時空上的邏輯關(guān)系; 通過小波分析等信號處理方法獲得的信號特性。
(3)數(shù)據(jù)分析與處理: 在提取多媒體數(shù)據(jù)內(nèi)容之前,一般需要對數(shù)據(jù)進(jìn)行分析,并作適當(dāng)處理,如文本的分詞、音頻去噪、MP3解碼、視頻分割等。然后對內(nèi)容進(jìn)行結(jié)構(gòu)化,也就是分割出圖像對象、音樂的片斷、視頻運動對象、音視頻的時間結(jié)構(gòu),以及對象之間的關(guān)系。
(4)特征提取與描述: 對不同媒體采用不同的方法提取數(shù)據(jù)顯著的區(qū)分特征和人的視覺、聽覺感知特征來代表多媒體數(shù)據(jù)的特性; 運用語義知識對媒體信息進(jìn)行手工注釋,或者自動分析內(nèi)容并提取語義(如分析多媒體信息出現(xiàn)的位置以及周圍的文字); 使用描述語言進(jìn)行描述。
(5)聚類與分類: 通過聚類或分類,可有效地降低大規(guī)模媒體數(shù)據(jù)處理的復(fù)雜度。
聚類是運用某種算法根據(jù)相關(guān)度自動對數(shù)據(jù)進(jìn)行聚合,產(chǎn)生相互關(guān)聯(lián)的層次型類別或者相互無關(guān)的分割型類別。在進(jìn)行檢索時,將提問數(shù)據(jù)的特征向量與各類進(jìn)行相關(guān)度計算,確定所在的類。一種方法是將該類的所有數(shù)據(jù)作為檢索結(jié)果反饋給用戶,另一種方法是繼續(xù)將提問向量與該類中數(shù)據(jù)進(jìn)行相關(guān)度計算,以確定最相關(guān)的數(shù)據(jù)集。
分類是事先給定類別,并通過對大量數(shù)據(jù)進(jìn)行訓(xùn)練,確定每類的代表樣本。當(dāng)有新的數(shù)據(jù)庫入庫時,計算新數(shù)據(jù)與各類的相關(guān)度,確定新數(shù)據(jù)所在的類別。
(6)索引方法: 快速索引技術(shù)是影響檢索速度的關(guān)鍵。由于媒體數(shù)據(jù)的特征描述一般都是高維的,而特征空間中的相近意味著較大的相關(guān)度,因此問題的關(guān)鍵就在于如何在高維空間點集中尋找與給定點距離最近的一組點。
(7)相關(guān)反饋: 多媒體數(shù)據(jù)的低層特征和高層語義間存在著很大的差距,人比計算機(jī)能更準(zhǔn)確地從多媒體信息中提取語義。為了提取與人的理解相對應(yīng)的描述,利用低層特征,通過人機(jī)交互的方式,多次反饋和修正檢索結(jié)果,將人的知識加入高層,彌補低層特征、高層描述之間的差距,最終獲得與檢索請求最接近的結(jié)果集,就是所謂的相關(guān)反饋技術(shù)。相關(guān)反饋技術(shù)大致可分為參數(shù)調(diào)整方法、聚類分析方法、概率學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)方法。
(8)領(lǐng)域相關(guān)性: 媒體的內(nèi)容語義與檢索提問有關(guān),也與領(lǐng)域有關(guān)。檢索的層次越高,越接近于抽象,就越離不開領(lǐng)域知識的輔助。垂直搜索(專業(yè)搜索引擎)的出現(xiàn)證明,有領(lǐng)域針對性的檢索系統(tǒng)能夠給出更好的檢索結(jié)果。基于內(nèi)容的檢索應(yīng)該分階段完成,第一階段先用無領(lǐng)域知識的方法縮小檢索空間,第二階段再逐步利用領(lǐng)域知識進(jìn)行更細(xì)致的查找和匹配。
(9)效果評價: 基于內(nèi)容的多媒體檢索的評價指標(biāo)理論上有兩個: 查準(zhǔn)率、查全率,但是,就可用性而言,還有一個重要指標(biāo): 響應(yīng)速度。查準(zhǔn)率是返回結(jié)果中“符合”檢索請求的結(jié)果比率。查全率是返回的“符合”檢索請求的結(jié)果數(shù)占多媒體庫中符合檢索請求的數(shù)據(jù)的比率。其中,“符合”的含義沒有客觀的標(biāo)準(zhǔn),可能因人而異。查全率難于理論證明,從應(yīng)用角度講重要性也遠(yuǎn)遠(yuǎn)小于響應(yīng)速度和查準(zhǔn)率。