網(wǎng)站Robots.txt的最新寫法是什么？這一篇就夠了

時間：2023-05-07 21:03:02 | 來源：網(wǎng)站運(yùn)營

時間：2023-05-07 21:03:02 來源：網(wǎng)站運(yùn)營

網(wǎng)站Robots.txt的最新寫法是什么？這一篇就夠了：對于站長來說，Robots協(xié)議一直是大家比較關(guān)注的問題。關(guān)于Robots協(xié)議的寫法網(wǎng)上也有很多種方法，今天就從以下幾個方面來介紹Robots，讓大家通過這篇文章對Robots有個全面系統(tǒng)的認(rèn)識。

平時在瀏覽百度的時候很少發(fā)現(xiàn)有今日頭條的內(nèi)容信息，淘寶的產(chǎn)品信息，阿里大魚自媒體信息。為什么呢？原因就是因?yàn)檫@些網(wǎng)站都對百度搜索引擎設(shè)置了Robots協(xié)議，禁止讓百度搜索引擎抓取，如題1-1所示，圖為淘寶的Robots協(xié)議，如果現(xiàn)在還看不懂下圖標(biāo)注部分的意思，通過接下來的閱讀，讓你快速完成以下三個目標(biāo)。

第一個：對Robots協(xié)議有個全面的了解

第二個：可以很好的讀懂淘寶Robots紅色標(biāo)注協(xié)議的意思

第三個：能夠看懂淘寶對待googlebot（谷歌機(jī)器人）和baiduspider（百度蜘蛛）有什么不同

本節(jié)內(nèi)容通過以下六個點(diǎn)來講解：

1. Robots定義

2. 為什么要研究Robots

3. Robots常用語法

4. 個別Robots指令示例

5. Robots在工作中常見應(yīng)用場景

6. Robots怎么做

以下為明細(xì)明細(xì)：

1. 關(guān)于定義：Robots指令是搜索引擎來到網(wǎng)站第一個訪問的文件，如果存在，搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

2. 為什么要研究Robots：更好的告訴搜索引擎哪些頁面可以抓取，哪些頁面不可以抓取，對一些沒有必要抓取的頁面進(jìn)行第一時間屏蔽

3. 常用語法：Robots常用的語法為以下幾種：

（1）User-agent：代表搜索引擎名稱

（2）Disallow釋義：不允許訪問

（3）Allow釋義：允許訪問

（4）* ：匹配任意字符內(nèi)容

（5）$ ：行結(jié)束符，通常為頁面使用，欄目通常使用“/”（示例:Disallow:/.htm$ ）

4. 個別指令示例：有個別指令需要特殊說明，可以有助于大家更好地認(rèn)識Robots，內(nèi)容如下：

（1）Disallow: 不允許

（2）Disallow:/ 根目錄下面所有文件都不允許抓取

（3）Disallow:/a a開頭的目錄文件不允許抓取

（4）Disallow:/a/ 不允許抓取a文件夾

（5）Disallow:/chanpin/

（6）Disallow:/*?* 不允許抓取動態(tài)url

5. Robots在工作中常見應(yīng)用場景：有些同學(xué)可能會問Robots在工作中到底怎么用呢？我們經(jīng)常碰到的三種使用場景如下：

（1）新網(wǎng)站沒有正式上線，屏蔽搜索引擎

（2）有些欄目不想讓搜索引擎爬行抓?。ú恢匾臋谀浚?br>
（3）動態(tài)URL屏蔽

6. Robots怎么做：

（1）新建Robots.txt文檔

（2）撰寫Robots協(xié)議規(guī)則要求

（3）上傳到網(wǎng)站空間根目錄（可以去百度搜索資源平臺，進(jìn)行檢測訪問權(quán)限是否生效）

以上為Robots的知識概括內(nèi)容，來看一下一開始留下的關(guān)于淘寶的Robots協(xié)議的答案解析，淘寶屏蔽了百度搜索引擎對淘寶產(chǎn)品頁的抓?。ㄕZ法：Disallow：/product/），但是并沒有對谷歌搜索引擎做屏蔽。了解更多關(guān)于Robots的思考，請參與留言互動吧。