Robots.txt的作用和使用方法

時間：2022-08-06 10:12:01 | 來源：建站知識

時間：2022-08-06 10:12:01 來源：建站知識

一、Robots.txt的由來

Robots是一個網(wǎng)站和搜索引擎的第三方協(xié)議(早期用于隱私的保護(hù))。

屏蔽解釋：屏蔽是指不讓搜索引擎放出來。百度生效會比較慢，好像就是一個老人，他已經(jīng)是一個老年人了，他反映特別的慢，谷歌很快。谷歌只要你提交了，他馬上抓取，24小時生效，你直接在谷歌站長管理工具里面看到屏蔽被攔截的頁面。但百度不行，百度反映非常的慢。

百度經(jīng)驗:jingyan.baidu.com

二、Robots.txt的作用

我們的網(wǎng)站有很多不可抗拒性因素而導(dǎo)致我們的網(wǎng)頁質(zhì)量整體下降。

1、屏蔽一些無內(nèi)容的頁面。

登錄頁: /login_c.jsp

Disallow: /login_c.jsp

注冊頁:/register_p.jsp

Disallow: /register_p.jsp

留言頁……【簽到頁/論壇的簽到頁面屬于無內(nèi)容頁面】

這點在于不管我們的網(wǎng)站是論壇、商城、博客、企業(yè)站都好，現(xiàn)在這些頁面都需要我們處理和操作的，我們只能屏蔽，不能刪除。我們的目的就是為了能夠?qū)崿F(xiàn)某個功能便于用戶找尋，更加好的理解我們網(wǎng)站。

比如我們搜索某一個詞，他也會出現(xiàn)這樣的內(nèi)容。還有提示頁面[搜索無結(jié)果頁面]、錯誤頁面、404頁面(如果你做了的話)。你會發(fā)現(xiàn)我們要屏蔽的東西越來越多了。而這些東西我們都是要處理的。

2、屏蔽一些重復(fù)頁面。

如評論頁、dz論壇的簡寫版本(ative)、wordpress的RSS，這些重復(fù)的頁面是我們需要進(jìn)行處理的。有些重復(fù)頁面是我們不得不去做的，這是沒辦法的事了。

3、屏蔽一些死鏈接頁面。

我們只屏蔽那些帶有普遍特征的頁面。蜘蛛爬不到頁面，就會顯示一個404頁面，就會形成死鏈接。

蜘蛛他爬不到并不意味著他抓取不到地址。

能否抓取到地址跟能否抓取到是2個概念。

抓取地址，我中需要一個提供地址的源頭就行了。比如說我的一個頁面里面，我不小心寫錯了一個地址，而這個超鏈接是不存在的，蜘蛛就會抓取不到，顯示404代碼，而死鏈接就出現(xiàn)了。(無中生有)

我們的網(wǎng)站頁面原來是存在的，現(xiàn)在改版了，地址不存在了，而搜索引擎抓到了，現(xiàn)在抓不到了，而形成死鏈接。(原先有現(xiàn)在沒了)

錯誤鏈接的比例達(dá)到一定程度的時候，搜索引擎就會認(rèn)為你的網(wǎng)站不及格，給予你較低的評分，開始你的收錄會下降，排名會下降。只要死鏈接的比例比較小，對網(wǎng)站的影響就不大，因為這個是無法避免的。

有的死鏈接是可以屏蔽的，有些死鏈接是不可能屏蔽的。

可以進(jìn)行處理的死鏈接，是不需要屏蔽的。是由我們站內(nèi)自己所造成的錯誤，我們是可以改正的。而有些不是我們造成的死鏈接，我們就要屏蔽，可以在IIS日志里面顯示出來。

百度經(jīng)驗:jingyan.baidu.com

三、Robots.txt的使用

1、Robots.txt的建立

Robots.txt是一個記事本文件。

2、Robots.txt放在什么地方。

用flashFXP上傳到根目錄上面。

常規(guī)的根目錄一般是wwwroot和web

3、常見的語法

User-agent定義搜索引擎爬取程序的(指定搜索引擎的爬取程序)，他不能單獨使用，要配合其它2個語法中的一個使用。

Disallow:/ 禁止允許

Allow: /

Allow要和Disallow一起使用。

常見的爬取程序

Baiduspider 百度蜘蛛谷歌機器人

Googlebot

User-agent:Baiduspider

Disallow:/admin/

我現(xiàn)在要指定百度搜索引擎不要抓取我的admin目錄

如果robots.txt文件里面什么都沒有寫，那就代表著所有搜索引擎可以來抓取。默認(rèn)的就是允許的。(冒號后面要有空格)

User-agent: Baiduspider

Disallow: /admin

指定百度搜索引擎不要來抓取我們的admin目錄和含有以admin開頭的網(wǎng)址。后面有斜杠的，會收錄/admin.php因為這個是在根目錄下的。

Allow:

他必須要和禁止一起使用的，一般來說是不會單獨使用的，他和禁止語法一起使用的目的便于目錄的屏蔽靈活的應(yīng)用，最終的目的是為了減少代碼的使用。