時(shí)間：2022-07-17 14:45:02 | 來(lái)源：建站知識(shí)
時(shí)間：2022-07-17 14:45:02 來(lái)源：建站知識(shí)
Robots文件是網(wǎng)站和蜘蛛程序之間的“君子協(xié)議”——robots文件不僅僅可以節(jié)省網(wǎng)站的資源，還可以幫助蜘蛛更加有效的抓取網(wǎng)，從而提高排名。
1：只允許谷歌bot
如果要攔截除谷歌bot之外的所有爬蟲：
User-agent：*
disallow：/
Uer-agent：允許的蜘蛛名
Disallow：
2：“/folder/”和“/folder”的區(qū)別
舉個(gè)例子：
User-agent：*
Disallow：/folder/
Disallow：/folder
“Disallow：/folder/”表示攔截的是一個(gè)目錄，該目錄文件下的所有文件不允許被抓取，但是允許抓取folder.hlml。
“Disallow：/folder”：對(duì)/folder/下的所有文件和folder.html都不能被抓取。
3：“*”匹配任意字符
User-agent：*
表示屏蔽所有的蜘蛛。當(dāng)我們做了偽靜態(tài)處理之后，會(huì)同時(shí)又動(dòng)態(tài)網(wǎng)頁(yè)和靜態(tài)網(wǎng)頁(yè)，網(wǎng)頁(yè)內(nèi)容一模一樣，視為鏡態(tài)頁(yè)面，所以我們要屏蔽掉動(dòng)態(tài)的網(wǎng)頁(yè)，可以用*號(hào)來(lái)屏蔽動(dòng)態(tài)的網(wǎng)頁(yè)
User-agent：*
Disallow：/?*?/
4：$匹配網(wǎng)址結(jié)束
如果要攔截以某個(gè)字符串結(jié)束的網(wǎng)址，就可以使用$，例如，要攔截以.asp結(jié)束的網(wǎng)址：
User-agent：*
Disallow：/*.asp$
也可以打開比較優(yōu)秀的網(wǎng)站，看他們的robots文件是如何書寫的，然后根據(jù)自己的需求進(jìn)行相應(yīng)的修改。Robots文件可以讓蜘蛛把更多的時(shí)間花在要抓取的內(nèi)容上，所以優(yōu)化robots文件是很有必要的。
本文來(lái)自東陽(yáng)高復(fù)：，轉(zhuǎn)載請(qǐng)注明鏈接
關(guān)鍵詞：提高,文件,掃盲
客戶&案例
營(yíng)銷資訊
關(guān)于我們
客戶&案例
營(yíng)銷資訊
關(guān)于我們
微信公眾號(hào)
版權(quán)所有? 億企邦 1997-2022 保留一切法律許可權(quán)利。
在線咨詢