真實(shí)經(jīng)歷分享：通過.htaccess文件屏蔽不良蜘蛛

時(shí)間：2023-02-17 03:24:01 | 來源：電子商務(wù)

時(shí)間：2023-02-17 03:24:01 來源：電子商務(wù)

一周前，筆者分享過一篇文章《SEO診斷：透過Log日志找到網(wǎng)站死結(jié)》，并在最后附上了兩條改善建議。由于客觀條件所限，最后采用robots屏蔽的方法。先一起來看看一周后的蜘蛛變化，三大主流蜘蛛總抓取量銳減，證明robots文件開始生效。從圖上的訪問次數(shù)、總停留時(shí)間和總抓取量看，有所進(jìn)步但路還很遠(yuǎn)。

然而，從11號(hào)開始，網(wǎng)站LOG日志開始出現(xiàn)眾多中文非主流蜘蛛訪問，其中不乏知名俄羅斯搜索引擎蜘蛛Yandexbot，還有不明“飛行物”AhrefsBot & ezooms.bot。 按照思維中定型的屏蔽蜘蛛方法，本能地將以上所有蜘蛛(對(duì)中文網(wǎng)站seo而言，以上的蜘蛛就是垃圾蜘蛛)通過Robots.txt文件disallow掉。本以為這樣就算搞定了，但是今早打開最近3天的LOG日志一看，垃圾蜘蛛抓取更加頻繁，兇猛，尤其以ezooms.bot為甚。

一般來說，搜索引擎對(duì)待Robots.txt文件有個(gè)生效期，大概2-7天。但是ezooms.bot的迅猛發(fā)展，讓我不得不懷疑他是個(gè)Robots協(xié)議違反者。

今天要分享的就是如何通過.htaccess文件屏蔽不良蜘蛛。

以下是14號(hào)的網(wǎng)站日志，導(dǎo)入到Excel進(jìn)行篩選分析，發(fā)現(xiàn)在當(dāng)天所有訪問日志(包括真實(shí)用戶和蜘蛛)中，竟然有多達(dá)342次訪問記錄。而尤以AhrefsBot & ezooms.bot居多。

(注：此例輸入“Bot”進(jìn)行篩選;國(guó)外蜘蛛一般叫Bot，國(guó)內(nèi)一般叫Spider)

Ezooms.bot究竟是何方神圣?于是通過百度去搜索相關(guān)的記錄，但是很不理想，百度沒有任何相關(guān)的記錄。沒辦法，只能求助于谷歌，滿篇幅都是英文，頭大了，咬咬牙慢慢咀嚼吧。

翻閱了七八篇國(guó)外有關(guān)ezooms.bot的博客文章，對(duì)該bot也沒有一個(gè)明確的說法，有的認(rèn)為是SEOMoz Bot，有的認(rèn)為是個(gè)文章采集者，但是大家對(duì)它的評(píng)價(jià)都很不好，被描繪成諸如吸血鬼、水蛭等。截取一段外文評(píng)語：

從了解到的知識(shí)來看，ezooms.bot對(duì)爬行的網(wǎng)站沒有任何的幫助，遂下定決心屏蔽之。由于ezooms.bot不遵守Robots.txt協(xié)議，又想起了通過htaccess文件屏蔽IP段的方法。國(guó)外的博文也多次提到此方法，

圖上的IP段與網(wǎng)站記錄的ezooms.bot爬行ip段基本吻合，應(yīng)該是個(gè)方法。但是屏蔽整個(gè)ip段，可能會(huì)造成一定的誤殺(畢竟并不能確認(rèn)所有的ip都是ezooms.bot)。有沒有更穩(wěn)妥的辦法呢?還是翻閱資料，最后找到了通過.htaccess來解決的辦法。規(guī)則如下：

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Ezooms

RewriteCond %{HTTP_USER_AGENT} ^Ezooms/1.0

RewriteRule ^(.*)$

為什么這么寫，網(wǎng)上翻翻更多關(guān)于Apache中 RewriteCond 規(guī)則參數(shù)介紹，我也是菜鳥正在學(xué)習(xí)中。

以上是筆者個(gè)人關(guān)于如何屏蔽不良蜘蛛的真實(shí)經(jīng)歷，希望對(duì)大家有所幫助。SEO就是在不斷的學(xué)習(xí)中進(jìn)步的。本文由減肥產(chǎn)品排行榜www.shou68.net原創(chuàng)供稿，歡迎大家轉(zhuǎn)載，轉(zhuǎn)載時(shí)請(qǐng)保留此鏈接，謝謝合作!