怎么制作和使用sitemap.xml、 robots.txt

時間：2022-07-06 08:48:01 | 來源：建站知識

時間：2022-07-06 08:48:01 來源：建站知識

聲明：該文章僅僅針對剛剛進入seo的菜鳥級別，大鳥請飛過。首先我們先來看一下蜘蛛是怎么爬去我們的網(wǎng)站的。一般蜘蛛到我們的網(wǎng)站后，它會先看有沒有sitmap.xml這個文件，然后再看有沒有robots.txt這個文件。如果有sitemap.xml，則再看robots.txt這個文件給了那些爬去權(quán)限，接著就沿著地圖的路線去爬行。如果這兩個文都沒有，那蜘蛛就會漫無目的的亂打亂闖，可見這兩個文件對于搜索引擎是多么重要。

那么網(wǎng)站地圖是什么?有什么作用，為什么要做網(wǎng)站地圖?怎么做網(wǎng)站地圖?這可能是困擾剛剛進入seo行業(yè)的seoer最大的問題。首先我們來看網(wǎng)站地圖，網(wǎng)站地圖顧名思義就是一個地圖，其作用和我們平時的地圖是一樣的，但是這個地圖是給搜索引擎看的，有了網(wǎng)站地圖搜索引擎蜘蛛就不會在你的網(wǎng)站上漫無邊際的爬了，有利于搜索引擎的收錄。

關(guān)于網(wǎng)站地圖的制作其實很簡單，這里有一個在線生成的網(wǎng)址 可以免費生成500個url，如果要生成完全的,需要付費,對于一個小站來說,先收錄5百頁也是不錯的主意,生成速度有點慢,你可要耐心等待一下。也可以用來在線生成yahoo的urllist.txt，但是yahoo也是sitemap成員，所以個人覺得有個sitemap.xml文件已經(jīng)夠用了。當(dāng)然還有其他的在線生成工具，和離線生成工具，可以在網(wǎng)上搜一下。

當(dāng).xml文件在線生成后，再下載下來在google sitemap網(wǎng)站提交網(wǎng)址為：。但是需要你有g(shù)oogle帳號才可以,注冊一個就可以了，你也可以提交后過一段時間檢查一下是否有錯誤。

下載在線生成后的urllist.txt文件提交到y(tǒng)ahoo,網(wǎng)址為：方便雅虎收錄你的網(wǎng)站，當(dāng)然也需要你有雅虎的帳號。

另外有了sitemap，還需要有一個robots.txt來把門。那么robots.txt又是什么呢?這是一個給蜘蛛沿sitemap爬行網(wǎng)站分配權(quán)限文件。告訴蜘蛛那些可以爬行，那些不可以爬行的。另外百度不能直接支持sitemap怎么辦?那么我們就要在robots.txt中告訴百度蜘蛛，你的sitemap在哪里。在robots.txt中加入這樣一句代碼就可以了。Sitemap：根目錄/sitemap.xml。這一句等于是告訴百度蜘蛛我的sitemap文件在網(wǎng)站的根目錄下。

另外還有一點就是，sitemap.xml和robots.txt這兩個文件要放在根目錄下，而且robots這個文件只能是純文本文件即后綴是.txt。如有轉(zhuǎn)載，請保留作者和出處，謝謝!QQ：32092216 歡迎交流，共同學(xué)習(xí)!