網(wǎng)站添加robots時(shí)應(yīng)注意的小細(xì)節(jié)

時(shí)間：2022-07-22 18:12:01 | 來源：建站知識(shí)

時(shí)間：2022-07-22 18:12:01 來源：建站知識(shí)

前段時(shí)間參加admin5組織的seo培訓(xùn)，感覺受益不淺。按照老師講課時(shí)說的方法重新做了一個(gè)小站，是個(gè)博客 。我很用心的寫了標(biāo)題和描述，同時(shí)修改了模板并且堅(jiān)持寫原創(chuàng)性的文章，因?yàn)檫@個(gè)站的專業(yè)性很強(qiáng)所以我放的文章并不多。

前期準(zhǔn)備工作做好以后我就向google提交網(wǎng)站同時(shí)開通網(wǎng)站管理員工具等待收錄，一天的時(shí)間被google收錄， 但只是收錄了幾個(gè)頁(yè)面，內(nèi)容頁(yè)還沒有收錄。我繼續(xù)添加文章并且頻繁的去google管理員后臺(tái)查看，第二天的時(shí)候突然發(fā)現(xiàn)提示：網(wǎng)址受 robots.txt 限制。

當(dāng)時(shí)我就納悶了，我是嚴(yán)格按照課程中老師講的做法寫的啊，怎么會(huì)出問題呢?然后我打開google管理員工具提供的分析 robots.txt 終于找到了問題所在。原來我在robots里設(shè)置了Disallow: /marykay 因?yàn)槲矣袀€(gè)目錄marykay不想被百度收錄 結(jié)果google把我網(wǎng)站里 這樣的文章全部屏蔽不收錄。我試著把Disallow: /marykay后面加個(gè)/后 再測(cè)試正常。我又到百度的幫助里查詢才搞明白是怎么回事。下面是百度的

Disallow，該項(xiàng)的值用于描述不希望被訪問的一組URL，這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項(xiàng)的值開頭的URL不會(huì)被robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html，不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開放的。

robots.txt中少一個(gè)，可能就會(huì)讓你網(wǎng)站中的一些重要頁(yè)面不被收錄， 在此提醒和我一樣的新手站長(zhǎng)一定要注意。