搜索引擎自動(dòng)提取文章關(guān)鍵詞原理

時(shí)間：2022-05-28 23:12:01 | 來(lái)源：網(wǎng)絡(luò)營(yíng)銷(xiāo)

時(shí)間：2022-05-28 23:12:01 來(lái)源：網(wǎng)絡(luò)營(yíng)銷(xiāo)

最近我在給公司的編輯和優(yōu)化人員培訓(xùn)時(shí)，在講到文章關(guān)鍵詞的密度和布局設(shè)置的時(shí)候，有個(gè)SEOer提問(wèn)：“搜索引擎是如何判斷并提取文章關(guān)鍵詞？”，關(guān)于這個(gè)問(wèn)題，雖然我并不確定百度是用什么技術(shù)提取關(guān)鍵詞的，但是億企邦卻知道一種利用TF-IDF與余弦相似性來(lái)自動(dòng)提取關(guān)鍵詞的技術(shù)，簡(jiǎn)單的來(lái)說(shuō)就是針對(duì)一篇很長(zhǎng)的文章，要想只用計(jì)算機(jī)提取它的關(guān)鍵詞（Automatic Keyphrase extraction），在完全不加以人工干預(yù)的情況下，利用什么樣的技術(shù)原理才能正確做到呢？

一、什么是TF-IDF？

TF-IDF（term frequency–inverse document frequency）是一種用于資訊檢索與資訊探勘的常用加權(quán)技術(shù)。TF-IDF是一種統(tǒng)計(jì)方法，用以評(píng)估一字詞對(duì)于一個(gè)文件集或一個(gè)語(yǔ)料庫(kù)中的其中一份文件的重要程度。字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時(shí)會(huì)隨著它在語(yǔ)料庫(kù)中出現(xiàn)的頻率成反比下降。TF-IDF加權(quán)的各種形式常被搜索引擎應(yīng)用，作為文件與用戶(hù)查詢(xún)之間相關(guān)程度的度量或評(píng)級(jí)。除了TF-IDF以外，因特網(wǎng)上的搜索引擎還會(huì)使用基于鏈接分析的評(píng)級(jí)方法，以確定文件在搜尋結(jié)果中出現(xiàn)的順序。

TF-IDF的原理

在一份給定的文件里，詞頻 (term frequency, TF) 指的是某一個(gè)給定的詞語(yǔ)在該文件中出現(xiàn)的次數(shù)。這個(gè)數(shù)字通常會(huì)被歸一化，以防止它偏向長(zhǎng)的文件。（同一個(gè)詞語(yǔ)在長(zhǎng)文件里可能會(huì)比短文件有更高的詞頻，而不管該詞語(yǔ)重要與否。）

逆向文件頻率 (inverse document frequency, IDF) 是一個(gè)詞語(yǔ)普遍重要性的度量。某一特定詞語(yǔ)的IDF，可以由總文件數(shù)目除以包含該詞語(yǔ)之文件的數(shù)目，再將得到的商取對(duì)數(shù)得到。

某一特定文件內(nèi)的高詞語(yǔ)頻率，以及該詞語(yǔ)在整個(gè)文件集合中的低文件頻率，可以產(chǎn)生出高權(quán)重的TF-IDF。因此，TF-IDF傾向于保留文檔中較為特別的詞語(yǔ)，過(guò)濾常用詞。

二、搜索引擎自動(dòng)提取文章關(guān)鍵詞的原理

關(guān)于這個(gè)問(wèn)題涉及到數(shù)據(jù)挖掘、文本處理、信息檢索等很多計(jì)算機(jī)前沿領(lǐng)域，但是出乎意料的是，有一個(gè)非常簡(jiǎn)單的經(jīng)典算法，可以給出令人相當(dāng)滿(mǎn)意的結(jié)果。它簡(jiǎn)單到都不需要高等數(shù)學(xué)，普通人只用10分鐘就可以理解，這就是我今天要在億企邦上想要介紹的TF-IDF算法。

首先億企邦以一個(gè)實(shí)例開(kāi)始給大家講起。假定現(xiàn)在有一篇長(zhǎng)文《中國(guó)的蜜蜂養(yǎng)殖》，我們準(zhǔn)備用計(jì)算機(jī)提取它的關(guān)鍵詞。

一個(gè)容易想到的思路，就是找到出現(xiàn)次數(shù)最多的詞。如果某個(gè)詞很重要，它應(yīng)該在這篇文章中多次出現(xiàn)。于是，我們進(jìn)行"詞頻"（Term Frequency，縮寫(xiě)為T(mén)F）統(tǒng)計(jì)。

結(jié)果你肯定猜到了，出現(xiàn)次數(shù)最多的詞是----"的"、"是"、"在"----這一類(lèi)最常用的詞。它們叫做“停用詞”（stop words），表示對(duì)找到結(jié)果毫無(wú)幫助、必須過(guò)濾掉的詞。

假設(shè)我們把它們都過(guò)濾掉了，只考慮剩下的有實(shí)際意義的詞。這樣我們可能又會(huì)遇到了另一個(gè)問(wèn)題，我們可能發(fā)現(xiàn)"中國(guó)"、"蜜蜂"、"養(yǎng)殖"這三個(gè)詞的出現(xiàn)次數(shù)一樣多。

這是不是意味著，作為關(guān)鍵詞，它們的重要性是一樣的？

顯然不是這樣。因?yàn)?quot;中國(guó)"是很常見(jiàn)的詞，相對(duì)而言，"蜜蜂"和"養(yǎng)殖"不那么常見(jiàn)。如果這三個(gè)詞在一篇文章的出現(xiàn)次數(shù)一樣多，有理由認(rèn)為，"蜜蜂"和"養(yǎng)殖"的重要程度要大于"中國(guó)"，也就是說(shuō)，在關(guān)鍵詞排序上面，"蜜蜂"和"養(yǎng)殖"應(yīng)該排在"中國(guó)"的前面。

所以，我們需要一個(gè)重要性調(diào)整系數(shù)，衡量一個(gè)詞是不是常見(jiàn)詞。如果某個(gè)詞比較少見(jiàn)，但是它在這篇文章中多次出現(xiàn)，那么億企邦覺(jué)得它很可能就反映了這篇文章的特性，也正是我們所需要的關(guān)鍵詞。

用統(tǒng)計(jì)學(xué)語(yǔ)言表達(dá)，就是在詞頻的基礎(chǔ)上，要對(duì)每個(gè)詞分配一個(gè)"重要性"權(quán)重。最常見(jiàn)的詞（"的"、"是"、"在"）給予最小的權(quán)重，較常見(jiàn)的詞（"中國(guó)"）給予較小的權(quán)重，較少見(jiàn)的詞（"蜜蜂"、"養(yǎng)殖"）給予較大的權(quán)重。這個(gè)權(quán)重叫做"逆文檔頻率"（Inverse Document Frequency，縮寫(xiě)為IDF），它的大小與一個(gè)詞的常見(jiàn)程度成反比。

知道了"詞頻"（TF）和"逆文檔頻率"（IDF）以后，將這兩個(gè)值相乘，就得到了一個(gè)詞的TF-IDF值。某個(gè)詞對(duì)文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的幾個(gè)詞，就是這篇文章的關(guān)鍵詞。

下面億企邦再詳細(xì)的給大家介紹一下這個(gè)算法的細(xì)節(jié)：

第1步：計(jì)算詞頻

考慮到文章有長(zhǎng)短之分，為了便于不同文章的比較，進(jìn)行"詞頻"標(biāo)準(zhǔn)化。

或者

第2步：計(jì)算逆文檔頻率

這時(shí)，需要一個(gè)語(yǔ)料庫(kù)（corpus），用來(lái)模擬語(yǔ)言的使用環(huán)境。

如果一個(gè)詞越常見(jiàn)，那么分母就越大，逆文檔頻率就越小越接近0。分母之所以要加1，是為了避免分母為0（即所有文檔都不包含該詞）。log表示對(duì)得到的值取對(duì)數(shù)。

第3步：計(jì)算TF-IDF

從上面的公式我們可以看到，TF-IDF與一個(gè)詞在文檔中的出現(xiàn)次數(shù)成正比，與該詞在整個(gè)語(yǔ)言中的出現(xiàn)次數(shù)成反比。所以，自動(dòng)提取關(guān)鍵詞的算法就很清楚了，就是計(jì)算出文檔的每個(gè)詞的TF-IDF值，然后按降序排列，取排在最前面的幾個(gè)詞。

在此億企邦還是以《中國(guó)的蜜蜂養(yǎng)殖》為例，假定該文長(zhǎng)度為1000個(gè)詞，"中國(guó)"、"蜜蜂"、"養(yǎng)殖"各出現(xiàn)20次，則這三個(gè)詞的"詞頻"（TF）都為0.02。然后，通過(guò)搜索引擎搜索這個(gè)詞發(fā)現(xiàn)，包含"的"字的網(wǎng)頁(yè)共有250億張，假定這就是中文網(wǎng)頁(yè)總數(shù)。包含"中國(guó)"的網(wǎng)頁(yè)共有62.3億張，包含"蜜蜂"的網(wǎng)頁(yè)為0.484億張，包含"養(yǎng)殖"的網(wǎng)頁(yè)為0.973億張。則它們的逆文檔頻率（IDF）和TF-IDF如下：

從上表可見(jiàn)，"蜜蜂"的TF-IDF值最高，"養(yǎng)殖"其次，"中國(guó)"最低。（如果還計(jì)算"的"字的TF-IDF，那將是一個(gè)極其接近0的值。）所以，如果只選擇一個(gè)詞，"蜜蜂"就是這篇文章的關(guān)鍵詞。

億企邦點(diǎn)評(píng)：

除了自動(dòng)提取關(guān)鍵詞，TF-IDF算法還可以用于許多別的地方。比如，信息檢索時(shí)，對(duì)于每個(gè)文檔，都可以分別計(jì)算一組搜索詞（"中國(guó)"、"蜜蜂"、"養(yǎng)殖"）的TF-IDF，將它們相加，就可以得到整個(gè)文檔的TF-IDF。這個(gè)值最高的文檔就是與搜索詞最相關(guān)的文檔。

TF-IDF算法的優(yōu)點(diǎn)是簡(jiǎn)單快速，結(jié)果比較符合實(shí)際情況。缺點(diǎn)是，單純以"詞頻"衡量一個(gè)詞的重要性，不夠全面，有時(shí)重要的詞可能出現(xiàn)次數(shù)并不多。而且，這種算法無(wú)法體現(xiàn)詞的位置信息，出現(xiàn)位置靠前的詞與出現(xiàn)位置靠后的詞，都被視為重要性相同，這是不正確的。不過(guò)有一種解決方法是，對(duì)全文的第一段和每一段的第一句話(huà)，給予較大的權(quán)重。