不利于蜘蛛爬取的網(wǎng)頁-蜘蛛陷阱

時(shí)間：2022-07-18 22:48:01 | 來源：建站知識(shí)

時(shí)間：2022-07-18 22:48:01 來源：建站知識(shí)

大家好，我是第一次在這上面發(fā)表文章，如有不好地方請(qǐng)高手多多指教。

1、搜索引擎能不能找到網(wǎng)頁。

1要讓搜搜引擎發(fā)現(xiàn)網(wǎng)站首頁，就必須有良好的外部鏈接鏈接到首頁，就找到了首頁，然后蜘蛛會(huì)沿著鏈接爬的更深。

讓蜘蛛通過簡(jiǎn)單的html頁面的鏈接到達(dá)，javascript鏈接，flash鏈接都是蜘蛛的陷阱。這點(diǎn)要注意。

2找到網(wǎng)頁后能不能抓去內(nèi)容。

被發(fā)現(xiàn)的蜘蛛是可以被爬取的，數(shù)據(jù)庫動(dòng)態(tài)生成，帶過很多的參數(shù)url、sessionID、整個(gè)頁面都是flash、框架結(jié)構(gòu)、大量的轉(zhuǎn)向，和大量的復(fù)制內(nèi)容都可能把蜘蛛攔截在門外。這也也是要注意的

2、flash

1在網(wǎng)頁某一個(gè)部分使用flash來增強(qiáng)視覺效果很正常，比如現(xiàn)在很多的flash廣告、圖標(biāo)等。但是這是一個(gè)html頁面的一部分。不會(huì)有太大的影響

2但是有的網(wǎng)站就是一個(gè)很大的flash文件，這就構(gòu)成了蜘蛛的陷阱，這時(shí)候蜘蛛爬取的只有一個(gè)flash鏈接，沒有其他的內(nèi)容，所以這點(diǎn)盡量要避免。

3、sessionID

1有些網(wǎng)站使用sessionID(會(huì)話ID)跟蹤用戶的訪問，用戶的沒一次訪問都會(huì)生成一個(gè)獨(dú)立的ID，然后加在url里，這是蜘蛛每一次抓取網(wǎng)站都會(huì)把蜘蛛當(dāng)作一個(gè)新的用戶，造成蜘蛛不能正常爬取，這也是蜘蛛的一大陷阱。

2通常建議跟蹤用戶訪問應(yīng)該使用cookies而不要生存sessionID 。

4、各種的跳轉(zhuǎn)

1除了大家熟悉的301轉(zhuǎn)向之外，其他的轉(zhuǎn)向?qū)λ阉髦┲攵急容^敏感的，比如302暫時(shí)轉(zhuǎn)向，javascript轉(zhuǎn)向，flash轉(zhuǎn)向，meta refresh跳轉(zhuǎn)，所以建議大家不要做其他不利于網(wǎng)頁的轉(zhuǎn)向，301也包括，不到萬不得已的時(shí)候也不要用301轉(zhuǎn)向。這是個(gè)建議。

5、框架結(jié)構(gòu)

1如果你不知道框架結(jié)構(gòu)的話，你就可以省略這一個(gè)步驟，因?yàn)槟阋呀?jīng)避免了這個(gè)蜘蛛陷阱。

2使用框架設(shè)計(jì)頁面，在早期的時(shí)候有，不過現(xiàn)在的網(wǎng)站都很少用框架設(shè)計(jì)，所以這里就不多說了，無論你是在用或者沒用，記住一句話：不要讓搜索引擎去討好你。忘記框架這回事。

6、動(dòng)態(tài)url

1動(dòng)態(tài)url是指數(shù)據(jù)庫驅(qū)動(dòng)的網(wǎng)站所生成的，帶有? =號(hào)的等參數(shù)的都是，一般來說要避免這種動(dòng)態(tài)參數(shù)url、因?yàn)檫@樣不利于蜘蛛爬取。

7、javascript鏈接

1現(xiàn)在有很多的網(wǎng)站都喜歡用java腳本生成導(dǎo)航系統(tǒng)，這是一個(gè)很嚴(yán)重的蜘蛛陷阱，就等于在蜘蛛還沒開始爬的時(shí)候你就已經(jīng)把門關(guān)上了。所以要盡量避免

2java鏈接在seo中也有一定的用途，站長(zhǎng)可以讓一些不參與排名的網(wǎng)頁和重復(fù)的內(nèi)容頁面，可以用java鏈接阻止蜘蛛爬取。

8、要求登錄

1 有些網(wǎng)站的內(nèi)容是需要用戶登錄才能看到的會(huì)員區(qū)域，因?yàn)檫@部分蜘蛛爬取不到，因?yàn)橹┲氩粫?huì)注冊(cè)，也不會(huì)登錄，也不會(huì)輸入帳號(hào)密碼。所以要修改掉。

9、強(qiáng)制使用cookies

1有些網(wǎng)站為了實(shí)現(xiàn)某種功能，如記住用戶信息，跟蹤用戶訪問路徑等。強(qiáng)制用戶用cookies，如果用戶沒有用cookies，頁面就會(huì)現(xiàn)實(shí)不正常。所以強(qiáng)制使用cookies只能造成蜘蛛無法正常訪問。

好了，謝謝大家能把我的文章看完，雖然不怎么好，但也是我的一點(diǎn)心得，希望能放到首頁供更多的人參考 小弟謝謝。

技術(shù)交流 83884473