今天我們來簡單介紹一下搜索引擎的整個(gè)工作流程的第二個(gè)系統(tǒng):數(shù)據(jù)分析系統(tǒng)，這也是搜索引擎網(wǎng)頁抓取收錄系統(tǒng)之后的一個(gè)系統(tǒng)。搜索引擎數(shù)據(jù)分析系統(tǒng)主要用于處理抓取回來的網(wǎng)頁。下面是關(guān)于這個(gè)系統(tǒng)的幾個(gè)主要的知識(shí)點(diǎn)和主要流程：數(shù)據(jù)分析系統(tǒng)是怎么樣處理這些網(wǎng)頁的呢?

1、提取文字

我們都知道網(wǎng)頁中包含了各種代碼(Html、javascript等)，這些東西無法用于排名計(jì)算，所以數(shù)據(jù)分析系統(tǒng)首先要做的就是刪除掉這些代碼，提取出文字內(nèi)容。下面圖1為提取文字之前，圖2為提取文字之后：

2、內(nèi)容消噪

我們的網(wǎng)站中很多頁面都有對(duì)主體內(nèi)容毫無影響的內(nèi)容，對(duì)搜索引擎的排名計(jì)算毫無用處，比如導(dǎo)航文字、底部版權(quán)信息等，這些內(nèi)容被比喻為網(wǎng)頁的噪聲，搜索引擎便會(huì)把他們刪除，整個(gè)過程稱為“消噪”。那么搜索引擎是怎樣來判斷哪些內(nèi)容是噪聲呢?很簡單，采用對(duì)比即可。比如每個(gè)內(nèi)容頁除了真正的內(nèi)容不一樣以外，一般其他的“噪聲”內(nèi)容都是一樣的，如導(dǎo)航文字，每個(gè)頁面都一樣吧，底部版權(quán)也是每個(gè)頁面都一樣。

3、分詞處理

分詞簡單來說就是把一句話或一句短語分成N個(gè)詞語。至于分詞怎么分，搜索引擎會(huì)根據(jù)自己所擁有的詞庫字典和分詞算法來進(jìn)行分詞，每個(gè)搜索引擎都是不一樣的。分詞又分為中文分詞和英文分詞。對(duì)于分詞技術(shù)，都是搜索引擎內(nèi)部的事情，我們seoer能做的很少，主要就是在為網(wǎng)站寫標(biāo)題以及計(jì)算關(guān)鍵詞密度時(shí)會(huì)考慮到。

4、去無用詞

無論中文還是英文的文章中，都會(huì)有很多對(duì)內(nèi)容影響不大，出現(xiàn)頻率卻很高的字詞，中文的如：的、地、啊、呀等等，英文的如：the、to、of、a、an等等

5、頁面去重

這個(gè)就很好理解了，意思就是搜索引擎會(huì)把你這個(gè)頁面與它以前抓取的頁面作針對(duì)性的對(duì)比，如果有重復(fù)的，便會(huì)刪除，以減少無意義的重復(fù)信息。這便是我們站長們到處找原創(chuàng)、偽原創(chuàng)文章的原因。搜索引擎的去重算法比較強(qiáng)大，像一般簡單的增加“的”“地”“得”或者簡單調(diào)換段落順序所謂的偽原創(chuàng)并不能逃過它的法眼。

6、對(duì)頁面的鏈接進(jìn)行分析

這是搜索引擎數(shù)據(jù)分析系統(tǒng)的最后一個(gè)步驟，主要通過對(duì)該頁面的內(nèi)鏈和外鏈進(jìn)行分析，計(jì)算其權(quán)重值，然后根據(jù)權(quán)重影響該頁面關(guān)鍵詞的排名情況。

本文來自：