Seo必須理解的搜索引擎收錄網(wǎng)站原理

時(shí)間：2022-07-04 21:00:02 | 來源：建站知識(shí)

時(shí)間：2022-07-04 21:00:02 來源：建站知識(shí)

看了許多seo參考書總覺得這些書對(duì)搜索引擎收錄原理說的太籠統(tǒng)，不能夠很好的理解，今天我花一天時(shí)間來說清楚搜索引擎收錄的原理，如有問題，望各位seo高手予以斧正，小弟不勝感激。

搜索引擎爬蟲，蜘蛛，機(jī)器人是什么?-搜索引擎收錄原理

搜索引擎為了能夠讓自己的數(shù)據(jù)庫足夠的強(qiáng)大，足夠的全面，不分晝夜的在網(wǎng)絡(luò)上尋找新的，更可靠的信息，但是隨著網(wǎng)絡(luò)時(shí)代到來，網(wǎng)絡(luò)信息爆炸式的整張，人工根本不可能完成這樣的任務(wù)，因此，搜索引擎擁有者開發(fā)出來一套程序，用來不分晝夜的抓去信息，然后整理，分類信息，最后將這些信息索引到自己的數(shù)據(jù)庫中。

這種不分晝夜抓取網(wǎng)站信息的程序的名字很多，比如：蜘蛛，爬蟲，機(jī)器人，探測(cè)器。一般搜索引擎可以同時(shí)派出N多個(gè)爬蟲程序，它們通過URL一個(gè)頁面一個(gè)頁面的抓去網(wǎng)站的標(biāo)題，描述，圖片，網(wǎng)站內(nèi)容等，然后把抓去回來的信息放在專用的倉庫中，等待索引。

但是網(wǎng)站的設(shè)計(jì)者，并不能保證自己設(shè)計(jì)的網(wǎng)站是天衣無縫的，都會(huì)有很多問題：比如說網(wǎng)頁中出現(xiàn)死鏈接，網(wǎng)頁內(nèi)容過多等，都導(dǎo)致爬蟲程序無法正確的抓取完整個(gè)頁面的內(nèi)容，或許爬蟲只抓去了這個(gè)頁面的頭部，在抓去身子的時(shí)候發(fā)現(xiàn)自己存儲(chǔ)信息的地方不夠了，不得不離開。所以我們?cè)谠O(shè)計(jì)網(wǎng)站的時(shí)候都應(yīng)該注意這些問題，建議各位網(wǎng)站設(shè)計(jì)者能夠把網(wǎng)頁設(shè)計(jì)的容易讓爬蟲接受。

Google的兩個(gè)爬蟲程序原理介紹

下面我們以搜索引擎中做的最好的google為例，分析搜索引擎是如何抓取信息，如何處理信息。

Google爬蟲程序擁有2種：刷新爬蟲，和深度探測(cè)爬蟲，刷新爬蟲部分晝夜的將抓取來的信息放在一個(gè)特定的數(shù)據(jù)庫中，由于刷新爬蟲個(gè)和主要索引程序一起提供搜索結(jié)果，有的時(shí)候您會(huì)發(fā)現(xiàn)，你的頁面更新突然出現(xiàn)在搜索結(jié)果頁面，但是過了一會(huì)又突然消失了，這是因?yàn)樗⑿屡老x在不停的抓去信息，不停的重寫，給我的感覺是刷新爬蟲的存儲(chǔ)機(jī)制影響比較像數(shù)據(jù)結(jié)構(gòu)中的棧，先進(jìn)后出，后就進(jìn)先出，消失的這段時(shí)間各位seo不要著急，還是那個(gè)樣子不停的更新1月后就會(huì)慢慢出現(xiàn)在搜索結(jié)果中，不過現(xiàn)在可能等待時(shí)間沒有那么長。如果你的頁面已經(jīng)在搜索引擎的索引中出現(xiàn)，刷新爬蟲一旦發(fā)現(xiàn)你的更新，爬蟲程序會(huì)很快的將您的更新顯示出來，但是還是不夠穩(wěn)定，要一直等到深度爬蟲更新主要索引，您的頁面才能夠足夠的穩(wěn)定。

下面我們用簡單的流程介紹下搜索引擎收錄過程：

刷新爬蟲程序--------》發(fā)現(xiàn)信息----------》抓取信息----------》放在專用數(shù)據(jù)庫-----------》等待索引整理----------》索引整理(深度爬蟲訪問主要索引)-------》索引完成，某關(guān)鍵詞的排名都已經(jīng)計(jì)算好-------》等待用戶搜索--------》奉上結(jié)果。

搜索引擎提供的結(jié)果有幾種?

搜索結(jié)果提供的搜索結(jié)果有二種，建議各位seoer都應(yīng)該做上，本人正在學(xué)習(xí)中，希望能得到高手指點(diǎn)一二。

三種搜索結(jié)果1內(nèi)容索引結(jié)果2特別索引結(jié)果，前者是對(duì)網(wǎng)頁的關(guān)鍵詞，標(biāo)題，描述，鏈接源頭文字等文字形式的索引和壓縮。后者包含圖片索引，PDF文件索引等比較特殊的索引，建議各位seoer不要小看第二種搜索結(jié)果，這個(gè)也是能帶來相當(dāng)大的流量的。

總結(jié)：搜索引擎收錄原理基本上就是這些了，如果有什么問題請(qǐng)及時(shí)予以斧正，小弟改，呵呵。