教你分析蜘蛛的抓取特征了解網(wǎng)站運(yùn)行情況

時(shí)間：2023-01-22 04:56:01 | 來源：電子商務(wù)

時(shí)間：2023-01-22 04:56:01 來源：電子商務(wù)

在日常的網(wǎng)站運(yùn)行和維護(hù)中，我們常常需要通過空間的www日志來了解蜘蛛的抓取情況,并對(duì)平時(shí)的工作作出調(diào)整，以下將一步一步的讓你充分了解日志的設(shè)置方式以及蜘蛛的抓取特征分析讓您充分了解每一個(gè)參數(shù)的含義并作為自己調(diào)整和修改的參考。

第一：需要確認(rèn)自己的虛擬主機(jī)或者服務(wù)器開啟了日志功能,一般的虛擬空間商的控制面板中都有www日志的記錄功能，并提供站長(zhǎng)們下載和分析,以下是編者使用的一個(gè)日志樣式，因?yàn)槊恳粋€(gè)空間商不同其操作的順序和方式不僅相同，此處僅作一個(gè)參考。

首先點(diǎn)擊圖一 或進(jìn)入到圖二中的界面，點(diǎn)擊下載weblog日志就會(huì)出現(xiàn)圖三 圖四的界面，圖四里面的每一個(gè)TXT都是以年-月-日來命名的,并且記錄了日志的大小,點(diǎn)擊查看就能看到詳細(xì)的信息。

第二：在代碼中查到蜘蛛的痕跡，因?yàn)橐粋€(gè)TXT日志都是數(shù)百K，上千行，所以每條去檢查是不現(xiàn)實(shí)的，我們需要充分了解蜘蛛的特征并通過查詢功能快速的定位，因?yàn)橹┲氲拇a是spider,所以當(dāng)檢索spider時(shí)將出來所有的蜘蛛的來訪情況，比如百度,google,360等等，而百度蜘蛛的特征是 baiduspider，我們這里著重講解百度蜘蛛的情況。

我們先用記事本打開下載的TXT文檔，并通過編輯查找功能(圖五)來快速的檢索,在檢索框中輸入baidu，并按確認(rèn)就能找到百度蜘蛛的抓取代碼(圖六)

第三：找到百度蜘蛛的抓取行以后針對(duì)每一個(gè)參數(shù)，編者進(jìn)行講解并將對(duì)應(yīng)的情況進(jìn)行說明(參看示例圖)。

參數(shù)1：這是百度蜘蛛來抓取內(nèi)容的時(shí)間,這個(gè)時(shí)間一般和電腦時(shí)間相差8個(gè)小時(shí)，這主要是日志時(shí)間使用的是格林威治時(shí)間，與北京時(shí)間相差8小時(shí);即您需要將時(shí)間加8小時(shí)才是對(duì)應(yīng)的北京時(shí)間,所以參數(shù)1所示的蜘蛛來抓取的時(shí)間是 5月23日13時(shí)8分。

參數(shù)2：抓取內(nèi)容的方式, GET表示抓取的意思后面緊接著的/index.html是被抓取的頁面，這里表示蜘蛛來抓去了首頁, 如果GET 后面是 /-- 則表示蜘蛛沒有抓取任何東西，這時(shí)候需要引起網(wǎng)站維護(hù)人員的注意，你的內(nèi)容或者是有問題，或者網(wǎng)站的首頁布局，或者是內(nèi)容文章等有問題，需要具體問題具體分析。

參數(shù)3：這個(gè)是蜘蛛來抓取內(nèi)容時(shí)候服務(wù)器的IP地址，因?yàn)楝F(xiàn)在非常多的域名是使用CNAME的方式來解析的，所以很多站長(zhǎng)根本都不知道自己的網(wǎng)站的IP是多少，而這個(gè)IP就是空間商讓蜘蛛來抓取內(nèi)容的IP，當(dāng)你網(wǎng)站有問題時(shí)候可以通過查這一IP上的網(wǎng)站的個(gè)數(shù)與收錄情況等來判斷自己是否受到牽連。

參數(shù)4：這個(gè)參數(shù)是表示協(xié)議狀態(tài)，通常200表示正常，404表示找不到文件，500表示內(nèi)部服務(wù)器錯(cuò)誤，一般網(wǎng)站所有頁面都應(yīng)該是200才正確，如果改版則一般會(huì)出現(xiàn)404錯(cuò)誤，這里需要根據(jù)不同的返回值去查詢具體的原因

題外話：每一位站長(zhǎng)的新網(wǎng)站上線以后都在焦急的等待蜘蛛來抓取并索引，以讓自己的網(wǎng)站有好的排名，但是現(xiàn)在的百度蜘蛛對(duì)于新網(wǎng)站的審查已經(jīng)非常的嚴(yán)格而且時(shí)間一般都在20天以上，所以想要被百度蜘蛛來抓取內(nèi)容和獲得好的排名已經(jīng)越來越困難，隨著蜘蛛智能化程度越來越高，想通過蒙騙或者黑帽的手法來騙得蜘蛛的信任已經(jīng)不太容易，而且即使得手了也會(huì)在百度的反作弊中心的后期對(duì)網(wǎng)站的深度檢查中被發(fā)現(xiàn)并將作弊網(wǎng)站根據(jù)作弊程度做相應(yīng)的頂格懲罰，所以奉勸站長(zhǎng)們還是踏實(shí)做站，潛心做一個(gè)白帽高手，讓你維護(hù)的企業(yè)網(wǎng)站排名無憂。

以上文章由四川硼酸在A 5首發(fā),希望與所有的站長(zhǎng)們一起共勉，如需轉(zhuǎn)載請(qǐng)注明出處，謝謝合作。