wordpress博客的robots.txt設(shè)置技巧

時(shí)間：2023-02-02 21:40:01 | 來(lái)源：電子商務(wù)

時(shí)間：2023-02-02 21:40:01 來(lái)源：電子商務(wù)

今日，蘿卜魚(yú)在百度site筆者的蘿卜居家園網(wǎng)的時(shí)候，發(fā)現(xiàn)百度收錄本站的內(nèi)容中至少50%的內(nèi)容為評(píng)論內(nèi)容，且收錄重復(fù)，很有可能是由于robots.txt設(shè)置不當(dāng)?shù)木壒?。蘿卜魚(yú)特地查找了一些資料，和大家一起分享一下wordpress的robots.txt的設(shè)置的相關(guān)技巧。

robots.txt是搜索引擎的蜘蛛在來(lái)到網(wǎng)站首先要查看的一個(gè)文件，由于網(wǎng)站有些內(nèi)容是不想被搜索引擎抓取的，比如網(wǎng)站的模板文件，css文件，JS文件，管理界面等等，這時(shí)候就要設(shè)置一些robots.txt文件來(lái)使蜘蛛遵循這一些協(xié)議。

Wordpress中的robots.txt文件的存放位置在網(wǎng)站的根目錄下,如果你自己沒(méi)有設(shè)置，WP會(huì)生成一個(gè)動(dòng)態(tài)的robots.txt文件。查看一個(gè)網(wǎng)站的robots.txt文件方法也很簡(jiǎn)單，只要在地址欄輸入以下路徑就可以了：你的域/robots.txt需要注意的是，文件名要全部小寫(xiě)哦。例如，最開(kāi)始蘿卜居家園網(wǎng)的rotobs.txt是動(dòng)態(tài)生成的，其對(duì)搜索引擎并不友好：

下面，蘿卜魚(yú)為大家解釋一下robots.txt的寫(xiě)作方法及注意事項(xiàng)：

1、robots.txt必須上傳到你的網(wǎng)站根名錄下，在子目錄下無(wú)效;

2、robots.txt，Disallow等必須注意大小寫(xiě)，不能變化;

3、User-agent，Disallow等后面的冒號(hào)必須是英文狀態(tài)下的，冒號(hào)后面可以空一格，也可以不空格。網(wǎng)上有人說(shuō)冒號(hào)后面必須有空格，其實(shí)沒(méi)有也是可以的，請(qǐng)看谷歌中文網(wǎng)站管理員博客的設(shè)置就是這樣： ;

4、User-agent表示搜索引擎開(kāi)放目錄：星號(hào)“*”代表對(duì)所以的搜索引擎采用下面的規(guī)則，Google的spider是“Googlebot”，百度是“Baiduspider”;

5、Disallow:表示不允許搜索引擎訪問(wèn)和索引的目錄;

6、Allow:指明允許搜索引擎訪問(wèn)和索引的目錄。

下面蘿卜魚(yú)來(lái)說(shuō)一下wordpress博客中robots.txt的具體用法：

1、阻止搜索引擎收錄wordpress博客評(píng)論及評(píng)論分頁(yè)，以免出現(xiàn)和蘿卜居家園網(wǎng)相同的問(wèn)題。

您只需要在robots.txt文件中加入下面的語(yǔ)句即可：

Disallow: /comments —限制抓取評(píng)論

Disallow: /*?replytocom= —限制抓取每一個(gè)評(píng)論頁(yè)面

上面的兩行代碼即可阻止搜索引擎收錄您博客的評(píng)論及評(píng)論分頁(yè)內(nèi)容了!

2、阻止搜索引擎收錄wordpress博客的feed訂閱頁(yè)面，防止出現(xiàn)搜索引擎索引中出現(xiàn)重復(fù)頁(yè)面。博客都有一個(gè)訂閱整站的feed，每個(gè)文章分類，每篇文章也分別有一個(gè)feed，feed頁(yè)面和網(wǎng)站頁(yè)面內(nèi)容基本相同，如果feed頁(yè)面沒(méi)有被禁止訪問(wèn)，可想而知，這將會(huì)產(chǎn)生大量的重復(fù)頁(yè)面。有博友反映將feed Disallow以后，從百度搜索引擎來(lái)的流量上升非常明顯。這里請(qǐng)注意Disallow: /feed和最后加了反斜杠的Disallow: /feed/ 是完全不一樣的。Disallow: /feed可以禁止的url包括：abc.com/feed，abc.com/feed.html，abc.com/feed/abc這三種形式，而Disallow: /feed/只能禁止搜索引擎訪問(wèn)abc.com/feed/abc這種目錄形式，所以我們應(yīng)該用Disallow: /feed。(參考于遠(yuǎn)方博客，謝謝)

Disallow: /feed —限制抓取feed內(nèi)容

Disallow: /*/*/feed —限制抓取文章分類和單獨(dú)文章文章頁(yè)面的feed

3、阻止搜索引擎收錄wordpress博客的管理頁(yè)面及模板文件，這個(gè)應(yīng)該是不需要提供給搜索引擎索引的。您只需要在robots.txt文件中加入下面的語(yǔ)句即可：

Disallow: /wp-admin —限制抓取管理員登陸頁(yè)面

Disallow: /wp-content/plugins —限制抓取插件文件

Disallow: /wp-content/themes —限制抓取模板文件

Disallow: /wp-includes —限制抓取js文件

4、為wordpress提供站點(diǎn)地圖，您可以在最后添加下面的語(yǔ)句：

Sitemap: http://您的域名/sitemap.xml

robots.txt文件中加入Sitemap鏈接，這點(diǎn)很重要，也是搜索引擎喜歡的。如何生成WordPress的Sitemap，您可以搜索一下相關(guān)插件，wordpress有很多插件可以生成您的站點(diǎn)地圖的。

5、如果您實(shí)在對(duì)編寫(xiě)robots.txt無(wú)從下手，您可以使用百度站長(zhǎng)工具中的robots工具來(lái)全自動(dòng)生成您的robots文件，這個(gè)工具可以讓您可視化的編寫(xiě)您的robots文件。

好了，設(shè)置好robots.txt文件后，請(qǐng)注意測(cè)試其的正確性，蘿卜魚(yú)推薦使用Google網(wǎng)站管理員工具里的“測(cè)試robots.txt”功能，非常實(shí)用。好了，本文由蘿卜居家園網(wǎng)原創(chuàng)發(fā)表，轉(zhuǎn)載請(qǐng)注明，謝謝。