SEO教程：撰寫(xiě)網(wǎng)站robots文件的五個(gè)事項(xiàng)

時(shí)間：2022-08-09 08:09:01 | 來(lái)源：建站知識(shí)

時(shí)間：2022-08-09 08:09:01 來(lái)源：建站知識(shí)

什么是網(wǎng)站robots?它是是一個(gè)協(xié)議，而不是一個(gè)命令。

作為學(xué)習(xí)或從事網(wǎng)站SEO優(yōu)化的朋友肯定知道搜索蜘蛛，但對(duì)于這個(gè)搜索蜘蛛遵循協(xié)議，卻不常聽(tīng)說(shuō)。robots是抓取網(wǎng)站時(shí)第一個(gè)查看的文件。它用來(lái)告訴蜘蛛程序在服務(wù)器空間上什么文件是可以被抓取的，什么文件是不需要被抓取的。也正因如此，用好robots是很容易為讓你的網(wǎng)站提權(quán)的，那是如何寫(xiě)的呢?

1.避免網(wǎng)站存在重復(fù)頁(yè)

不少網(wǎng)站一個(gè)內(nèi)容提供多種瀏覽版本，雖然在很大程度方便用戶，提高了用戶體驗(yàn)度，可對(duì)蜘蛛?yún)s造成了些許困難，因?yàn)橹┲腚y以識(shí)別主次，一旦讓它認(rèn)為你在惡意重復(fù)，那么輕則降權(quán)，重則K站拔毛呀。

User-agent： *

Disallow： /sitemap/ 《禁止蜘蛛抓取文本頁(yè)面》

擴(kuò)展閱讀：《惠州SEO博客K站之謎》 (葉劍輝也曾在博客上線之初也因類(lèi)似問(wèn)題而被k，具體可看鏈接)

2.保護(hù)網(wǎng)站安全

或許有些人會(huì)有大大的問(wèn)號(hào)。robots與網(wǎng)站安全怎么就拉上關(guān)系了?這就要說(shuō)到黑客了，不少低級(jí)黑客就是通過(guò)搜索默認(rèn)后臺(tái)登陸，以達(dá)到入侵網(wǎng)站的目標(biāo)，因此安全不得不防呀。

User-agent： *

Disallow： /admin/ 《禁止蜘蛛抓取admin目錄下所有文件》

擴(kuò)展閱讀：《WordPress程序安全設(shè)置技巧 》(本人也曾遭受攻擊，因此安全問(wèn)題哪怕細(xì)節(jié)也不容忽視，具體可查看葉劍輝博客)

3.防止鏈接被“盜”用

一般盜鏈的并不多，可是一旦被搜索引擎“盜鏈”了，那么百兆寬帶恐怕也吃不消呀，因此若非做圖片網(wǎng)站，又想避免被盜鏈，那么即可進(jìn)行屏蔽。

User-agent： *

Disallow：.jpg$

4.提交網(wǎng)站地圖

對(duì)于現(xiàn)在做網(wǎng)站SEO優(yōu)化的朋友，都懂得做網(wǎng)站地圖，可總會(huì)有那么些朋友不懂得去提交的，僅僅以為在網(wǎng)頁(yè)上加個(gè)鏈接，便完事了。其實(shí)robots是具有提交這一功能的，一下以惠州SEO博客為例。

Sitemap:

Sitemap: (需要注意的是，Sitemap的S需為大寫(xiě)字母)

5.禁止某二級(jí)域名的抓取

一些網(wǎng)站會(huì)對(duì)會(huì)員提供一些VIP特權(quán)服務(wù)，卻又不想這個(gè)服務(wù)被搜索引擎檢索到(同樣的，css及js等二級(jí)目錄文件不需要被抓取也可同樣如此)

User-agent： *

Disallow： /

以上5點(diǎn)robots說(shuō)明，相信也足以讓SEO初學(xué)者對(duì)搜索引擎蜘蛛掌控能力提升不少，猶如百度說(shuō)道，我們與搜索引擎應(yīng)該是朋友，如此就少不得增加一些溝通，如此才能消除一些不必要的隔膜，對(duì)吧!本文由惠州SEO博客 葉劍輝供稿，轉(zhuǎn)載請(qǐng)注明!