搜索引擎及搜索引擎蜘蛛是什么？

時間：2022-08-22 17:51:01 | 來源：建站知識

時間：2022-08-22 17:51:01 來源：建站知識

搜索引擎及搜索引擎蜘蛛是什么？

我在實戰(zhàn)培訓第一課講搜索引擎基本工作原理時，都會給新人講搜索引擎是什么，然后再來講，搜索引擎蜘蛛是什么。那么，在這里再講一下。主要分類如下：

1、按國內(nèi)與國外分

國內(nèi)： 百度、搜狗、360、神馬（UC）、頭條等； 國外： google、bing、yahoo、yandex(俄羅 斯 )等。

2、按PC與移動端分

PC：google、bing、yahoo、百度、搜狗、360

移動：神馬、頭條

PC+移動都有： google、bing、yahoo、百度、搜狗

當然除了上面介紹的通用搜索引擎，其實還有一些垂直的搜索引擎。比如像搜文庫的豆丁網(wǎng)，搜索工作的職友集等等。

各個搜索引擎蜘蛛是什么？

這里的【蜘蛛】非生活現(xiàn)實中的蜘蛛，我們只是把搜索引擎去爬取各網(wǎng)頁內(nèi)容那個代碼我們形象的稱它為蜘蛛。

如何識別百度搜索引擎蜘蛛呢？

其實，很多新人SEO同學很少接觸到搜索引擎蜘蛛，即使百度蜘蛛也未必能接觸到。即使接觸到了，也不知道它是不是。為什么呢？因為很多SEO新人沒有分析網(wǎng)站日志，所以沒看到。

如果你有分析過網(wǎng)站日志的話，就應該見過百度蜘蛛了（baiduspider）。

目前百度UA（useragent簡稱，即用戶）分為移動、PC、和小程序三個應用場景來訪，這三個渠道UA分別如下：

移動UA：

Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1MobileSafari/10600.6.3

(compatible;Baiduspider/2.0;

+http://www.baidu.com/search/spider.html)

或

Mozilla/5.0 (iPhone;CPUiPhoneOS9_1likeMacOSX) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

PC UA：

Mozilla/5.0(compatible;Baiduspider/2.0;

+http://www.baidu.com/search/spider.html)

或

Mozilla/5.0(compatible;Baiduspider-render/2.0;

+http://www.baidu.com/search/spider.html)

小程序UA：

Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible;Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

如果UA信息不對，可以直接判斷為非百度搜索的蜘蛛。關(guān)于日志分析，可以看文尾相關(guān)推薦文章。

網(wǎng)站HTTP狀態(tài)碼是什么意思？有哪些？

網(wǎng)站的HTTP狀態(tài)碼是用以表示網(wǎng)頁服務器超文本傳輸協(xié)議響應狀態(tài)的3位數(shù)字代碼。

文章來源：白楊seo

來源地址：https://www.baiyangseo.com/blog/189.html