時間：2022-07-23 07:18:01 | 來源：建站知識
時間：2022-07-23 07:18:01 來源：建站知識
把網(wǎng)站地圖鏈接放在robots.txt文件里，好處就是站長不用到每個搜索引擎的站長工具或者相似的站長部分去提交自己的sitemap文件。這樣的方法可以幫助站長減輕工作。
各大搜索引擎都發(fā)布了對網(wǎng)站地圖的新的支持方式，就是在robots.txt文件里直接包括sitemap文件的鏈接。目前對此表示支持的搜索引擎公司有Google， Yahoo，而中文搜索引擎公司，顯然不在這個圈子內(nèi)。
這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網(wǎng)頁。
這里基于一個假設(shè)，robots.txt已然是一個標準，所有的網(wǎng)站至少都有一個，而sitemap還正在建立標準中，這樣的做法，可以讓站長減輕工作，而且如果他們不需要更為詳細的索引和搜索的資料的話，那么就只需要包括sitemap到robots.txt就可以了。
讓我們現(xiàn)在就開始動手，修改robots.txt文件。
## robots.txt for xxx.com# Version 2009.04.04#User-agent: *Disallow: /function/Disallow: /FCKeditor/Disallow: /CACHE/Disallow: /SCRIPT/Disallow: /ADMIN/Disallow: /wap.aspDisallow: /cmd.aspSitemap: |
作者：愛游戲網(wǎng) 如有轉(zhuǎn)載，請務(wù)必保留作者鏈接及本聲明!謝謝合作!
關(guān)鍵詞：文件,用處,地圖,淺談
微信公眾號
版權(quán)所有? 億企邦 1997-2022 保留一切法律許可權(quán)利。
在線咨詢