解讀IIS日志中搜索引擎蜘蛛名稱(chēng)代碼及爬尋返回代碼

時(shí)間：2022-05-28 22:42:01 | 來(lái)源：網(wǎng)絡(luò)營(yíng)銷(xiāo)

時(shí)間：2022-05-28 22:42:01 來(lái)源：網(wǎng)絡(luò)營(yíng)銷(xiāo)

對(duì)于一個(gè)合格的SEOer來(lái)說(shuō)，要想分析一個(gè)網(wǎng)站的目前狀態(tài)，首先要學(xué)會(huì)的就是如果查詢(xún)IIS日志，因?yàn)榫W(wǎng)站的一些搜索引擎蜘蛛爬尋狀況和訪(fǎng)問(wèn)IP的來(lái)源都會(huì)記錄在IIS日志中，所以IIS日志對(duì)每個(gè)SEOer或網(wǎng)站管理者非常的重要，億企邦覺(jué)得要想準(zhǔn)確的解讀這些網(wǎng)站日志，我們首先就要先明白IIS日志中搜索引擎蜘蛛名稱(chēng)代碼及爬尋返回代碼分別是什么？又代表著什么意思？

搜索引擎蜘蛛名稱(chēng)代碼：

百度蜘蛛：BaiduSpider

谷歌蜘蛛：Googlebot
　　谷歌專(zhuān)門(mén)抓取圖片的蜘蛛：Googlebot-Image
　　谷歌廣告聯(lián)盟代碼的蜘蛛：Mediapartners-Google

360搜索蜘蛛：360Spider

搜狗蜘蛛：Sogou News Spider
　　搜狗蜘蛛還包括如下這些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider（參考一些網(wǎng)站的robots文件，搜狗蜘蛛名稱(chēng)可以用Sogou概括）

SOSO蜘蛛：Sosospider

雅虎蜘蛛：Yahoo Slurp
　　雅虎中國(guó)蜘蛛：Yahoo! Slurp China
　　雅虎廣告蜘蛛：Yahoo!-AdCrawler

網(wǎng)易有道蜘蛛：YoudaoBot，YodaoBot

MSN蜘蛛：msnbot，msnbot-media

必應(yīng)蜘蛛：bingbot

Alexa蜘蛛：ia_archiver

即刻蜘蛛：JikeSpider

一搜蜘蛛：YisouSpider

宜搜蜘蛛：EasouSpider

搜索引擎蜘蛛爬尋返回代碼解讀：

1xx (臨時(shí)響應(yīng))表示臨時(shí)響應(yīng)并需要請(qǐng)求者繼續(xù)執(zhí)行操作的狀態(tài)代碼。

100 (繼續(xù)) 請(qǐng)求者應(yīng)當(dāng)繼續(xù)提出請(qǐng)求。服務(wù)器返回此代碼表示已收到請(qǐng)求的第一部分，正在等待其余部分。

101 (切換協(xié)議) 請(qǐng)求者已要求服務(wù)器切換協(xié)議，服務(wù)器已確認(rèn)并準(zhǔn)備切換。

2xx (成功)表示成功處理了請(qǐng)求的狀態(tài)代碼。

200 (成功) 服務(wù)器已成功處理了請(qǐng)求。通常，這表示服務(wù)器提供了請(qǐng)求的網(wǎng)頁(yè)。

201 (已創(chuàng)建) 請(qǐng)求成功并且服務(wù)器創(chuàng)建了新的資源。

202 (已接受) 服務(wù)器已接受請(qǐng)求，但尚未處理。

203 (非授權(quán)信息) 服務(wù)器已成功處理了請(qǐng)求，但返回的信息可能來(lái)自另一來(lái)源。

204 (無(wú)內(nèi)容) 服務(wù)器成功處理了請(qǐng)求，但沒(méi)有返回任何內(nèi)容。

205 (重置內(nèi)容) 服務(wù)器成功處理了請(qǐng)求，但沒(méi)有返回任何內(nèi)容。

206 (部分內(nèi)容) 服務(wù)器成功處理了部分GET請(qǐng)求。

3xx (重定向) 表示要完成請(qǐng)求，需要進(jìn)一步操作。通常，這些狀態(tài)代碼用來(lái)重定向。

300 (多種選擇) 針對(duì)請(qǐng)求，服務(wù)器可執(zhí)行多種操作。服務(wù)器可根據(jù)請(qǐng)求者 (user agent) 選擇一項(xiàng)操作，或提供操作列表供請(qǐng)求者選擇。

301 (永久移動(dòng)) 請(qǐng)求的網(wǎng)頁(yè)已永久移動(dòng)到新位置。服務(wù)器返回此響應(yīng)(對(duì) GET 或 HEAD 請(qǐng)求的響應(yīng))時(shí)，會(huì)自動(dòng)將請(qǐng)求者轉(zhuǎn)到新位置。

302 (臨時(shí)移動(dòng)) 服務(wù)器目前從不同位置的網(wǎng)頁(yè)響應(yīng)請(qǐng)求，但請(qǐng)求者應(yīng)繼續(xù)使用原有位置來(lái)進(jìn)行以后的請(qǐng)求。

303 (查看其他位置) 請(qǐng)求者應(yīng)當(dāng)對(duì)不同的位置使用單獨(dú)的GET請(qǐng)求來(lái)檢索響應(yīng)時(shí)，服務(wù)器返回此代碼。

304 (未修改) 自從上次請(qǐng)求后，請(qǐng)求的網(wǎng)頁(yè)未修改過(guò)。服務(wù)器返回此響應(yīng)時(shí)，不會(huì)返回網(wǎng)頁(yè)內(nèi)容。

305 (使用代理) 請(qǐng)求者只能使用代理訪(fǎng)問(wèn)請(qǐng)求的網(wǎng)頁(yè)。如果服務(wù)器返回此響應(yīng)，還表示請(qǐng)求者應(yīng)使用代理。

307 (臨時(shí)重定向) 服務(wù)器目前從不同位置的網(wǎng)頁(yè)響應(yīng)請(qǐng)求，但請(qǐng)求者應(yīng)繼續(xù)使用原有位置來(lái)進(jìn)行以后的請(qǐng)求。

4xx(請(qǐng)求錯(cuò)誤) 這些狀態(tài)代碼表示請(qǐng)求可能出錯(cuò)，妨礙了服務(wù)器的處理。

400 (錯(cuò)誤請(qǐng)求) 服務(wù)器不理解請(qǐng)求的語(yǔ)法。

401 (未授權(quán)) 請(qǐng)求要求身份驗(yàn)證。對(duì)于需要登錄的網(wǎng)頁(yè)，服務(wù)器可能返回此響應(yīng)。

403 (禁止) 服務(wù)器拒絕請(qǐng)求。

404 (未找到)服務(wù)器找不到請(qǐng)求的網(wǎng)頁(yè)。

405 (方法禁用) 禁用請(qǐng)求中指定的方法。

406 (不接受) 無(wú)法使用請(qǐng)求的內(nèi)容特性響應(yīng)請(qǐng)求的網(wǎng)頁(yè)。

407 (需要代理授權(quán)) 此狀態(tài)代碼與401(未授權(quán))類(lèi)似，但指定請(qǐng)求者應(yīng)當(dāng)授權(quán)使用代理。

408 (請(qǐng)求超時(shí))服務(wù)器等候請(qǐng)求時(shí)發(fā)生超時(shí)。

409 (沖突) 服務(wù)器在完成請(qǐng)求時(shí)發(fā)生沖突。服務(wù)器必須在響應(yīng)中包含有關(guān)沖突的信息。

410 (已刪除) 如果請(qǐng)求的資源已永久刪除，服務(wù)器就會(huì)返回此響應(yīng)。

411 (需要有效長(zhǎng)度) 服務(wù)器不接受不含有效內(nèi)容長(zhǎng)度標(biāo)頭字段的請(qǐng)求。

412 (未滿(mǎn)足前提條件) 服務(wù)器未滿(mǎn)足請(qǐng)求者在請(qǐng)求中設(shè)置的其中一個(gè)前提條件。

413 (請(qǐng)求實(shí)體過(guò)大) 服務(wù)器無(wú)法處理請(qǐng)求，因?yàn)檎?qǐng)求實(shí)體過(guò)大，超出服務(wù)器的處理能力。

414 (請(qǐng)求的 URI 過(guò)長(zhǎng)) 請(qǐng)求的URI(通常為網(wǎng)址)過(guò)長(zhǎng)，服務(wù)器無(wú)法處理。

415 (不支持的媒體類(lèi)型) 請(qǐng)求的格式不受請(qǐng)求頁(yè)面的支持。

416 (請(qǐng)求范圍不符合要求) 如果頁(yè)面無(wú)法提供請(qǐng)求的范圍，則服務(wù)器會(huì)返回此狀態(tài)代碼。

417 (未滿(mǎn)足期望值) 服務(wù)器未滿(mǎn)足"期望"請(qǐng)求標(biāo)頭字段的要求。

5xx(服務(wù)器錯(cuò)誤)這些狀態(tài)代碼表示服務(wù)器在嘗試處理請(qǐng)求時(shí)發(fā)生內(nèi)部錯(cuò)誤。這些錯(cuò)誤可能是服務(wù)器本身的錯(cuò)誤，而不是請(qǐng)求出錯(cuò)。

500 (服務(wù)器內(nèi)部錯(cuò)誤) 服務(wù)器遇到錯(cuò)誤，無(wú)法完成請(qǐng)求。

501 (尚未實(shí)施) 服務(wù)器不具備完成請(qǐng)求的功能。例如，服務(wù)器無(wú)法識(shí)別請(qǐng)求方法時(shí)可能會(huì)返回此代碼。

502 (錯(cuò)誤網(wǎng)關(guān)) 服務(wù)器作為網(wǎng)關(guān)或代理，從上游服務(wù)器收到無(wú)效響應(yīng)。

503 (服務(wù)不可用) 服務(wù)器目前無(wú)法使用(由于超載或停機(jī)維護(hù))。通常，這只是暫時(shí)狀態(tài)。

504 (網(wǎng)關(guān)超時(shí)) 服務(wù)器作為網(wǎng)關(guān)或代理，但是沒(méi)有及時(shí)從上游服務(wù)器收到請(qǐng)求。

505 (HTTP 版本不受支持) 服務(wù)器不支持請(qǐng)求中所用的HTTP協(xié)議版本。

億企邦知識(shí)擴(kuò)展：

分析解讀IIS網(wǎng)站日志中的“2013-10-26 00:09:12 W3SVC962713505 61.191.55.28 GET /index.html - 80 - 61.135.168.39 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 64”是什么意思？

1、2008-08-19 00:09:12代表搜索引擎蜘蛛爬行的日期與時(shí)間

2、W3SVC962713505代表網(wǎng)站日志所在的文件夾

3、61.191.55.28就是搜索引擎蜘蛛訪(fǎng)問(wèn)的網(wǎng)站ip（比如：億企邦的ip是61.191.55.28）

4、代碼中的/index.html 就代表搜索引擎蜘蛛防問(wèn)的網(wǎng)頁(yè)

5、61.135.168.39 Baiduspider代表，百度搜索引擎蜘蛛的ip是61.135.168.39

6、http://www.baidu.com/search/spider.htm baiduspider常見(jiàn)問(wèn)題解答網(wǎng)頁(yè)

7、代碼中的200就代表搜索引擎蜘蛛爬行后返回HTTP狀態(tài)代碼，通過(guò)上面的搜索引擎爬尋返回代碼可以了解蜘蛛爬行后的反映。

8、關(guān)于蜘蛛在IIS里的200 0 64的狀態(tài)行為分析：

根據(jù)我對(duì)億企邦iis日志一段時(shí)間的觀(guān)察，雖然暫時(shí)還沒(méi)有足夠的證據(jù)，但是基本上可以肯定在IIS中，如果蜘蛛后面的號(hào)碼出現(xiàn)200 0 64，那么網(wǎng)站中的這個(gè)單頁(yè)面就會(huì)在搜索引擎中消失了。億企邦上被K的頁(yè)面后面都寫(xiě)著200 0 64，不知道大家是否認(rèn)同這個(gè)看法，當(dāng)然，我說(shuō)這個(gè)也并不是絕對(duì)的，因?yàn)槲乙灿幸粋€(gè)頁(yè)面后面顯示著200 0 64但是在搜索引擎中依舊可以找到。這也說(shuō)明著問(wèn)題，但大多200 0 64行為的網(wǎng)頁(yè)就已經(jīng)沒(méi)有了。

我認(rèn)為，抓取狀態(tài)成200 0 64的可能是不正常的抓取，正常的抓取是成功標(biāo)志200 0 0，當(dāng)變成了200 0 64的狀態(tài)時(shí)說(shuō)明搜索引擎在抓取這個(gè)頁(yè)面的時(shí)候出現(xiàn)了錯(cuò)誤，沒(méi)有正常的進(jìn)行常規(guī)抓??；對(duì)于百度來(lái)說(shuō)，百度很可能是已經(jīng)不再把這些頁(yè)面抓進(jìn)主索引庫(kù)，而是放進(jìn)了“百度沙盒”里進(jìn)行考察，至于考察多久，就看你如何改進(jìn)了。

所以?xún)|企邦覺(jué)得蜘蛛的200 0 64行為可以被解釋為清除數(shù)據(jù)。