搜索引擎工作原理
時(shí)間：2022-02-17 11:06:01 | 來(lái)源：信息時(shí)代
時(shí)間：2022-02-17 11:06:01 來(lái)源：信息時(shí)代
第一步：爬行
搜索引擎是通過(guò)一種特定規(guī)律的軟件跟蹤網(wǎng)頁(yè)的鏈接，從一個(gè)鏈接爬到另外一個(gè)鏈接，像蜘蛛在蜘蛛網(wǎng)上爬行一樣，所以被稱(chēng)為'蜘蛛'也被稱(chēng)為'機(jī)器人'。搜索引擎蜘蛛的爬行是被輸入了一定的規(guī)則的，它需要遵從一些命令或文件的內(nèi)容。
第二步：抓取存儲(chǔ)
搜索引擎是通過(guò)蜘蛛跟蹤鏈接爬行到網(wǎng)頁(yè)，并將爬行的數(shù)據(jù)存入原始頁(yè)面數(shù)據(jù)庫(kù)。其中的頁(yè)面數(shù)據(jù)與用戶(hù)瀏覽器得到的HTML是完全一樣的。搜索引擎蜘蛛在抓取頁(yè)面時(shí)，也做一定的重復(fù)內(nèi)容檢測(cè)，一旦遇到權(quán)重很低的網(wǎng)站上有大量抄襲、采集或者復(fù)制的內(nèi)容，很可能就不再爬行。
第三步：預(yù)處理
搜索引擎將蜘蛛抓取回來(lái)的頁(yè)面，進(jìn)行各種步驟的預(yù)處理。
1.提取文字
2.中文分詞
3.去停止詞
4.消除噪音（搜索引擎需要識(shí)別并消除這些噪聲，比如版權(quán)聲明文字、導(dǎo)航條、廣告等……）
5.正向索引
6.倒排索引
7.鏈接關(guān)系計(jì)算
8.特殊文件處理
除了HTML文件外，搜索引擎通常還能抓取和索引以文字為基礎(chǔ)的多種文件類(lèi)型，如PDF、Word、WPS、XLS、PPT、TXT文件等。我們?cè)谒阉鹘Y(jié)果中也經(jīng)常會(huì)看到這些文件類(lèi)型。但搜索引擎還不能處理圖片、視頻、Flash這類(lèi)非文字內(nèi)容，也不能執(zhí)行腳本和程序。
第四步：排名
用戶(hù)在搜索框輸入關(guān)鍵詞后，排名程序調(diào)用索引庫(kù)數(shù)據(jù)，計(jì)算排名顯示給用戶(hù)，排名過(guò)程與用戶(hù)直接互動(dòng)的。但是，由于搜索引擎的數(shù)據(jù)量龐大，雖然能達(dá)到每日都有小的更新，但是一般情況搜索引擎的排名規(guī)則都是根據(jù)日、周、月階段性不同幅度的更新。
在線咨詢(xún)