菜鳥SEOer淺談robots.txt文件

時(shí)間：2022-07-18 00:15:02 | 來源：建站知識(shí)

時(shí)間：2022-07-18 00:15:02 來源：建站知識(shí)

做SEO應(yīng)該知道，robots.txt文件是一個(gè)網(wǎng)站必不可少的文件，但小馬看到在很多中小企業(yè)的網(wǎng)站上還是沒有這個(gè)文件，今天我們便來研究一下robots.txt文件的重要性。

一：從搜索引擎角度

當(dāng)我們網(wǎng)站上有一些文件不想被搜索引擎蜘蛛抓取時(shí)，我們需要寫個(gè)robots.txt文件，以此來告訴蜘蛛，這些文件不能被抓取，但是有的企業(yè)認(rèn)為自己網(wǎng)站上沒有不想蜘蛛抓取的內(nèi)容，所以就忽略了robots.txt文件，那么，這樣是不對的。

隨著搜索引擎越來越智能化，它訪問一個(gè)新網(wǎng)站時(shí)，會(huì)首先訪問這個(gè)網(wǎng)站的robots.txt文件，這也成為搜索引擎蜘蛛訪問網(wǎng)站時(shí)的一個(gè)習(xí)慣，這個(gè)時(shí)候，如果你的網(wǎng)站上沒有robots.txt這個(gè)文件，反而可能會(huì)造成搜索引擎蜘蛛對你的網(wǎng)站頁面不能正常的抓取。所以小馬建議，即使你的網(wǎng)站內(nèi)容全都允許搜索引擎蜘蛛抓取，你也應(yīng)該建立一個(gè)robots.txt文件，這代表的是對搜索引擎蜘蛛的友好。

二：時(shí)常檢查robots.txt文件

每當(dāng)我們在做網(wǎng)站的維護(hù)時(shí)，我們總是圍著網(wǎng)站內(nèi)容和網(wǎng)站外鏈轉(zhuǎn)悠，每當(dāng)我們的網(wǎng)站出現(xiàn)問題，我們首先就是對這些地方進(jìn)行一一排查，而對于robots.txt文件，估計(jì)除了當(dāng)初建立網(wǎng)站時(shí)寫過外，已經(jīng)好久都沒搭理過了，這樣是不對的。

當(dāng)一個(gè)黑客攻入我們的網(wǎng)站，它不需要在我們的網(wǎng)站上掛上黑鏈，鏈上黃賭毒網(wǎng)站，也不需要在我們的內(nèi)容頁加上指向它網(wǎng)站的隱藏鏈接，它只需要修改一下我們小小的robots.txt文件，就可以搞定我們了，經(jīng)?？吹接行┤嗽谒阉饕嫔喜樵冏约壕W(wǎng)站的收錄時(shí)，發(fā)現(xiàn)出現(xiàn)了異常，于是開始排查，但是外鏈和內(nèi)鏈都沒有問題，這個(gè)時(shí)候，急的真是焦頭爛額。這就是忽視了最簡單而且最重要的因素----robots.txt文件。

三：寫robots.txt文件要全面

robots.txt文件寫作時(shí)也是需要規(guī)范的，不然就如同虛設(shè)，比如我們的網(wǎng)站上有的頁面時(shí)動(dòng)態(tài)化地址，我們知道這些動(dòng)態(tài)化地址搜索引擎蜘蛛不能很好的抓取，于是我們在robots.txt文件里注明，有些SEOer在注明時(shí)會(huì)在第二行這樣寫：Disallow：/*?*，這就是不全面的。

我們都知道動(dòng)態(tài)化網(wǎng)址的結(jié)尾都是有好多參數(shù)的，如?,%等，所以當(dāng)我們不希望搜索引擎蜘蛛抓取動(dòng)態(tài)網(wǎng)址的頁面時(shí)，我們就要在robots.txt文件里注明自己網(wǎng)站動(dòng)態(tài)化網(wǎng)址出現(xiàn)的所有參數(shù)。不然，搜索引擎蜘蛛還是能夠抓取我們網(wǎng)站的動(dòng)態(tài)化網(wǎng)址，我們的robots.txt文件就如同虛設(shè)。

文章出自SEO技巧博客鄉(xiāng)村小馬原創(chuàng)，轉(zhuǎn)載請注明出處及作者