網(wǎng)站優(yōu)化的第一堂課 理解蜘蛛是怎樣工作的

時(shí)間：2022-08-23 05:24:02 | 來(lái)源：建站知識(shí)

時(shí)間：2022-08-23 05:24:02 來(lái)源：建站知識(shí)

作為一名網(wǎng)站優(yōu)化從業(yè)者，竟然不理解蜘蛛是怎么工作的，這樣的優(yōu)化，肯定是事倍功半，理解蜘蛛才應(yīng)該是網(wǎng)站優(yōu)化從業(yè)者的第一堂課。

上周末，應(yīng)一個(gè)公司邀請(qǐng)，去給他們做搜索引擎優(yōu)化(Seo)的相關(guān)培訓(xùn)，以及技能效果的提升。那是我最不愿看見的事情，他們的Seo人員每天的工作還停留在偽原創(chuàng)和發(fā)外鏈兩個(gè)階段。我大致看了下他們的優(yōu)化效果，domain相關(guān)域達(dá)到一萬(wàn)多，但是最終的效果很不理想。我看完之后，只覺得這個(gè)成本太高了，不做也罷。

這里很多Seo高手，都知道外鏈和內(nèi)容。這些用不到我們分享，今天只講蜘蛛。因?yàn)?，這是我在給他們公司培訓(xùn)的時(shí)候發(fā)現(xiàn)的一個(gè)很嚴(yán)重的問題：他們都聽說過蜘蛛，知道蜘蛛是干什么的，但是不知道蜘蛛是怎么工作的。

一、蜘蛛的來(lái)路有哪些，它是怎么到你的網(wǎng)站的

通常來(lái)說，蜘蛛的可以通過三種途徑到達(dá)你的網(wǎng)站，分別是主要提交網(wǎng)站，通過在其他網(wǎng)站的連接跟蹤到你的網(wǎng)站，有一定規(guī)律的自由行動(dòng)。

很多人都說現(xiàn)在蜘蛛很智能不用提交網(wǎng)站了，其實(shí)錯(cuò)了，是因?yàn)槟阍谄渌W(wǎng)站發(fā)布的外鏈引來(lái)的蜘蛛。這兩種形式都是可操作的，最后一種比較特別，我們通常會(huì)認(rèn)為蜘蛛會(huì)按照1-0，a-z 這樣的方式對(duì)域名進(jìn)行掃描，然后進(jìn)入其中的網(wǎng)站。

二、最大程度的利用你的Robots，這是網(wǎng)站大門

按照常規(guī)的說法，Robots文件是限制蜘蛛在你網(wǎng)站的活動(dòng)范圍，更好的保護(hù)網(wǎng)站所有者的權(quán)利和隱私。這是蜘蛛到達(dá)一個(gè)網(wǎng)站后要做的第一件事情，如果一個(gè)網(wǎng)站沒有該文件，蜘蛛則認(rèn)為是該網(wǎng)站所有的內(nèi)容均可挖掘。

在Robots文件中，一般只用到禁止(Disallow)。其實(shí)你還可以用推薦允許(Allow)。一個(gè)網(wǎng)站中有很多暗角是蜘蛛不能爬行到的，這時(shí)候，你可以用Allow指引蜘蛛，你可以多做一些地圖頁(yè)面，讓蜘蛛在上面活動(dòng)。

也有人說，為什么要用Allow,直接使用Sitemap不就可以了么。我們都知道，其實(shí)大家更看重的Sitemap，谷歌是完全沒問題的，而百度蜘蛛理解起來(lái)是有一定問題的，不能很好的發(fā)揮他的作用。

三、蜘蛛在一個(gè)網(wǎng)站域內(nèi)(domain)的活動(dòng)方式

相信大家都看過百度給出的《搜索引擎優(yōu)化指南》，鄭州智啟網(wǎng)路科技推薦沒有看到的Seo們一看要去看看，他上面有提到自己更推薦的Url方式，樹形和扁平。你只知道這樣有助于優(yōu)化，卻不知道為什么這么做。

蜘蛛在一個(gè)特定域內(nèi)遵循兩個(gè)原則，廣度和深度。其中我們認(rèn)為廣度優(yōu)先，蜘蛛一般不會(huì)在一個(gè)特定域內(nèi)在縱深上爬行太多。蜘蛛會(huì)在一個(gè)頁(yè)面出來(lái)完成的時(shí)候再進(jìn)入下一個(gè)內(nèi)鏈信息豐富的頁(yè)面。做成頻道頁(yè)和列表頁(yè)，能夠讓蜘蛛更順暢的去爬行一個(gè)網(wǎng)站。

其實(shí)不一定非要把一個(gè)網(wǎng)站做成domain/url_a/ 這種形式，也完全可以是domain/url_a.html 只要你的頁(yè)面豐富程度和上一個(gè)一樣就行。這里說的豐富不是內(nèi)容，是內(nèi)鏈。

四、蜘蛛在一個(gè)網(wǎng)站的權(quán)限等同于一個(gè)普通未注冊(cè)會(huì)員

這個(gè)簡(jiǎn)單提一下，蜘蛛就等同于一個(gè)網(wǎng)站的未注冊(cè)會(huì)員，他的權(quán)限就是這個(gè)，如果你的網(wǎng)站不對(duì)未注冊(cè)會(huì)員開放，或者設(shè)置了隱私權(quán)限，只對(duì)會(huì)員的好友，或者其他什么，那么蜘蛛是不可能抓取到你的內(nèi)容的。

這也是，外鏈發(fā)布要做到多樣性的重要原因之一，讓蜘蛛從更多不同的角度去理解你的網(wǎng)站。本文由鄭州智啟網(wǎng)絡(luò)科技網(wǎng)站建設(shè)部()原創(chuàng)，轉(zhuǎn)載請(qǐng)保留，鄭州智啟網(wǎng)絡(luò)科技希望能夠幫助更多鄭州的企業(yè)和個(gè)人理解互聯(lián)網(wǎng)，使用互聯(lián)網(wǎng)，在互聯(lián)網(wǎng)上發(fā)展壯大。