實戰(zhàn)分析：修改robots文件百度谷歌對網(wǎng)站的反應

時間：2023-01-18 21:07:02 | 來源：電子商務

時間：2023-01-18 21:07:02 來源：電子商務

做網(wǎng)站也做了這么長時間，站長們能遇到的事情都遇到過了，最常見無非就是網(wǎng)站被降權(quán)，網(wǎng)站快照不更新網(wǎng)站主要關(guān)鍵字排名下降，，外鏈數(shù)量減少等等，這些問題往往就是由于網(wǎng)站初期準備工作沒準備好就上線的結(jié)果，導致后期更換網(wǎng)站板塊或者頻繁修改其它蜘蛛經(jīng)常爬行的文件所引起的，今天小編和大家探討一下修改robots文件后對網(wǎng)站的影響及一些搜索引擎的反應。

第一次修改robots文件后百度百度谷歌反應

快照更新了，發(fā)現(xiàn)了是4天一周期，每天流量很大，但是用戶都在我屏蔽的/user/文件里，蜘蛛無法抓取，最大的流量就是用戶中心，我就試著把robots文件修改下，讓蜘蛛可以訪問那個文件。 以前谷歌收錄12萬，記得很深刻的一次是修改robots.txt文件后，谷歌當時是收錄已經(jīng)超過12萬，第二天沒事繼續(xù)以每天1000多收錄的速度抓取，再看百度這方面，也沒事。但不幸的事情還是發(fā)生了... 快照更新后再一次的site:域名發(fā)現(xiàn)，谷歌收錄6萬(原來是12萬多)，百度這方面也是變了，原來的3萬5千600到更新快照后的4萬9千整的收錄，當時修改的是把robots文件寫入屏蔽團購的頁面(那個是調(diào)用的)，當時感覺不知道是什么原因?qū)е鹿雀枋珍洿鬁p，百度收錄大增的，但繼續(xù)測試，才發(fā)現(xiàn)致命的原因...

二次修改robots文件惹怒蜘蛛，谷歌直接K站

剛開始站不是建立很久總是喜歡修改這修改那的，把首頁都動起來了，我的站的保安robots也是被我“裝飾”得極其豐富，事情發(fā)生在年底，把robots文件屏蔽了百度谷歌搜搜以外的蜘蛛(當時搜狗流氓抓取得導致網(wǎng)站流量不夠)，修改后的第三天，從谷歌收錄本一路下跌的淘寶廣東站直到那天的6萬多到1200條收錄，看了心都當時涼了一截了，至今谷歌都不大抓取網(wǎng)站了，收錄在1000上下徘徊。

小編還有一個秒收的博客站也是因為修改了robots文件，谷歌直接K站，當時那個站修改robots文件太過頻繁，導致適得其反的效果，百度也持續(xù)一周沒更新快照，蜘蛛對robots文件極度敏感，這是新站不能碰的優(yōu)化地雷區(qū)。

建站初期應當全面設(shè)置好robots文件，防止后期更改

后期對robots的修改是對各大搜索引擎的一種不友好的表現(xiàn)，特別是谷歌，隨著引擎的人性化，搜索引擎也是有“脾氣”的，當在你的網(wǎng)站產(chǎn)生了一種習慣時，你網(wǎng)站的稍微改動很有可能會引起搜索引擎的反感，就像修改了robots一樣，robots的修改不僅對內(nèi)容的收錄有影響，對網(wǎng)站的權(quán)重也有不可忽視的影響。修改robots會引起網(wǎng)站快照不更新，收錄減少，外鏈數(shù)目降低，網(wǎng)站主要關(guān)鍵字下降甚至前幾百名找不到關(guān)鍵字排名。

蜘蛛來你站首先就是看網(wǎng)站根目錄的robots文件，蜘蛛的時間也是很緊迫的，像谷歌這樣的全球搜索引擎公司每天要去成千上萬的站點抓取網(wǎng)頁內(nèi)容，頻繁地修改robots文件就是修改了你網(wǎng)站與蜘蛛之間的協(xié)議，為了網(wǎng)站安全，一般的蜘蛛都會遵守robots協(xié)議，根據(jù)你制定的規(guī)則來抓取允許的網(wǎng)頁文件及內(nèi)容。

經(jīng)過小編幾個月的實戰(zhàn)結(jié)果我建議：robots文件是在建站初期應該制定好，不要在網(wǎng)站收錄很多或權(quán)重上來了的時候想修改就去修改，除非你不在乎從搜索引擎來的那些流量。

開店省錢網(wǎng)葉蔚卿原創(chuàng)文章 本文版權(quán)歸葉蔚卿@開店省錢網(wǎng)所有，歡迎轉(zhuǎn)載，轉(zhuǎn)載請注明作者和出處。謝謝