時(shí)間：2022-07-21 22:51:01 | 來源：建站知識(shí)
時(shí)間：2022-07-21 22:51:01 來源：建站知識(shí)
robots.txt是一個(gè)很簡(jiǎn)單的txt文件，可以告訴搜索引擎哪些頁面可以收錄，哪些不允許收錄。
1.如何看自己網(wǎng)站的robots.txt：一你可以用ftp打看自己網(wǎng)站的根目錄，里面就有這個(gè)文件，傳送到本地就可以看，二你可以在自己網(wǎng)站的域名后加上/robots.txt就可以看了，如果打不開，說明這個(gè)文件沒有正確放置。如：www.joy0574.com/robots.txt就可以看到。
2.要點(diǎn)：一般情況下，robots.txt里只寫著兩個(gè)函數(shù)：User-agent和 Disallow。User-agent: *后面加星號(hào)說明允許所有搜索引擎收錄;有幾個(gè)禁止，就得有幾個(gè)Disallow函數(shù)，每行一個(gè)進(jìn)行描述;至少要有一個(gè)Disallow函數(shù)，如果都允許收錄，則寫: Disallow: 如果都不允許收錄，則寫:Disallow: /(注：兩者只相差一個(gè)斜桿)。
3.必須命名為robots.txt，不然就白做了，而且必須為小寫英文。
4.另外，如果你的站點(diǎn)允許對(duì)所有搜索引擎公開，則不做這個(gè)文件或者robots.txt為空就行。
看到這里很多人或許會(huì)說，那最好就是不做，管他干嘛呢。你必須明白，做SEO第一個(gè)步驟就是弄好robots.txt，如果這個(gè)出點(diǎn)問題，對(duì)你網(wǎng)站的收錄是極其不利的。所以，當(dāng)你向搜索引擎提交你的網(wǎng)站前，必須先檢查一下這個(gè)，幾分鐘的事，不要怕麻煩。
另外，寫在最后，robots.txt最大的一個(gè)作用：百度不像Google網(wǎng)站管理工具可以提交googel sitemaps，你可以把自己網(wǎng)站地圖的地址放在robots.txt的任意位置，那就是間接向百度提交了你的網(wǎng)站地圖，何樂而不為呢。
本文作者：www.joy0574.com
關(guān)鍵詞：
客戶&案例
營銷資訊
關(guān)于我們
微信公眾號(hào)
版權(quán)所有? 億企邦 1997-2022 保留一切法律許可權(quán)利。
在線咨詢