站長如何制作住正確的robots來

時(shí)間：2022-07-06 15:30:02 | 來源：建站知識(shí)

時(shí)間：2022-07-06 15:30:02 來源：建站知識(shí)

seo優(yōu)化的技術(shù)好壞不僅僅在于內(nèi)容和外鏈上，更重要的是一些細(xì)節(jié)上的處理，因?yàn)閮?nèi)容和外鏈相對(duì)來說需要掌握的要點(diǎn)不是很多，而且易于操作、容易理解;而網(wǎng)站優(yōu)化的其他一些細(xì)節(jié)處理，相對(duì)來說平時(shí)接觸的少，對(duì)于這些了解的也很少，真正要處理時(shí)卻遇到很多問題，比如seo優(yōu)化常規(guī)的404頁面的制作，301重定向的處理，robots的一個(gè)創(chuàng)建等，對(duì)于網(wǎng)站來說都是不可或缺的一部分。

下面來說說robots，首先它是一個(gè)協(xié)議，對(duì)于網(wǎng)站的抓取取到重要作用，創(chuàng)建robots的意義在于它可以讓蜘蛛聽從命令服從安排，解決了網(wǎng)站的一些隱私和不必要抓取的頁面，同時(shí)也可以強(qiáng)調(diào)某一部分必須抓取。robots看似一個(gè)非常簡單的操作，但平時(shí)如果沒有太注意或多操作，你寫的robots未必就是正確的，因?yàn)槔锩嫔婕暗揭恍┲噶?，沒有寫對(duì)可能會(huì)影響網(wǎng)站的抓取。

百度站長平臺(tái)推出了robots工具()，只要注冊(cè)下，認(rèn)證下網(wǎng)站就ok了，它可以很好的檢驗(yàn)?zāi)愕膔obots寫的是否正確，該工具可以檢測您的網(wǎng)站是否有robots.txt文件，及robots.txt文件內(nèi)容,并能按照您的需求生成正確的robots.txt文件，為robots文件的制作起到了很大的幫助。

一、可以檢測到網(wǎng)站是否有robots文件

通過網(wǎng)站驗(yàn)證后，你可以任意測試網(wǎng)站，看該是否有制作robots，如果有它會(huì)一一列出你網(wǎng)站設(shè)置的情況，比如什么文件有抓取，什么文件被屏蔽了，一目了然，并且提示是否有錯(cuò)誤的地方;而沒做robots協(xié)議的，他也會(huì)提示：“您的網(wǎng)站沒有robots.txt文件，表示您允許搜索引擎可以抓取您網(wǎng)站全部的內(nèi)容”。如圖所示(chinaz的robots檢測結(jié)果)：

二、可以檢測到網(wǎng)站robots是否正確

很多朋友都是想當(dāng)然，認(rèn)為robots書寫很簡單，真正測試一下就會(huì)發(fā)現(xiàn)是錯(cuò)誤的。在robots添加網(wǎng)站地圖相信是大家都很熟悉的，主要目的是讓搜索引擎蜘蛛順利抓取網(wǎng)站地圖，屏蔽蜘蛛是用Disallow，允許抓取時(shí)用Allow，想當(dāng)然很多站長為了讓蜘蛛抓取網(wǎng)站，直接把網(wǎng)站地圖定義為：Allow： .***.com/sitemap.html，結(jié)果檢測一下原來是錯(cuò)誤的，如圖：

百度一下才發(fā)現(xiàn)，原來格式為Sitemap: .***.com/sitemap.html，雖然這個(gè)操作很簡單，但如果沒有robots工具的輔助，你可能長時(shí)間也不會(huì)發(fā)現(xiàn)這個(gè)問題。

三、按你的需求生成正確的robots.txt文件

如果你不懂如何制作robots文件，里面有很詳細(xì)的內(nèi)容介紹，包括robots的概念、如何制作等，利用表格的形式一一列出來，并且還有多方面的例子，比起百度百科要清晰明了的多，了解了概念后，當(dāng)然就是手動(dòng)制作了，它能夠很好的按照你的想法一一生成內(nèi)容，比如你不想讓制作抓取聯(lián)系我們這個(gè)頁面，你就可以直接在上面操作：

完成后只需要將文件下載下來，放到網(wǎng)站的根目錄就大功告成了，感覺是不是比看百度百科要清晰明了的多了?另外很多操作的細(xì)節(jié)利用百度是沒辦法解決的，畢竟網(wǎng)站上的內(nèi)容或者觀點(diǎn)很多都是有誤的，只能好好利用百度官方的工具才是最好的!文章由淘寶網(wǎng)登陸 小編原創(chuàng)，轉(zhuǎn)載請(qǐng)加上文章中鏈接，謝謝合作。