搜索引擎（Search Engine）定義及基本功能介紹

時(shí)間：2023-03-27 06:08:02 | 來(lái)源：電子商務(wù)

時(shí)間：2023-03-27 06:08:02 來(lái)源：電子商務(wù)

搜索引擎（Search Engine）是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費(fèi)鏈接列表等。

定義

一個(gè)搜索引擎由搜索器 、索引器 、檢索器 和用戶接口 四個(gè)部分組成。搜索器的功能是在互聯(lián)網(wǎng) 中漫游，發(fā)現(xiàn)和搜集信息。索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項(xiàng)，用于表示文檔 以及生成文檔庫(kù)的索引表。檢索器的功能是根據(jù)用戶的查詢?cè)谒饕龓?kù)中快速檢出文檔，進(jìn)行文檔與查詢的相關(guān)度評(píng)價(jià)，對(duì)將要輸出的結(jié)果進(jìn)行排序，并實(shí)現(xiàn)某種用戶相關(guān)性反饋機(jī)制。用戶接口的作用是輸入用戶查詢、顯示查詢結(jié)果、提供用戶相關(guān)性反饋機(jī)制。

全文索引

搜索引擎分類部分提到過(guò)全文搜索引擎從網(wǎng)站提取信息建立網(wǎng)頁(yè)數(shù)據(jù)庫(kù)的概念。搜索引擎的自動(dòng)信息搜集功能分兩種。一種是定期搜索，即每隔一段時(shí)間（比如Google一般是28天），

蜘蛛搜索引擎

搜索引擎主動(dòng)派出“蜘蛛”程序，對(duì)一定IP地址范圍內(nèi)的互聯(lián)網(wǎng)網(wǎng)站進(jìn)行檢索，一旦發(fā)現(xiàn)新的網(wǎng)站，它會(huì)自動(dòng)提取網(wǎng)站的信息和網(wǎng)址加入自己的數(shù)據(jù)庫(kù)。另一種是提交網(wǎng)站搜索，即網(wǎng)站擁有者主動(dòng)向搜索引擎提交網(wǎng)址，它在一定時(shí)間內(nèi)（2天到數(shù)月不等）定向向你的網(wǎng)站派出“蜘蛛”程序，掃描你的網(wǎng)站并將有關(guān)信息存入數(shù)據(jù)庫(kù)，以備用戶查詢。隨著搜索引擎索引規(guī)則發(fā)生很大變化，主動(dòng)提交網(wǎng)址并不保證你的網(wǎng)站能進(jìn)入搜索引擎數(shù)據(jù)庫(kù)，最好的辦法是多獲得一些外部鏈接，讓搜索引擎有更多機(jī)會(huì)找到你并自動(dòng)將你的網(wǎng)站收錄。

當(dāng)用戶以關(guān)鍵詞查找信息時(shí)，搜索引擎會(huì)在數(shù)據(jù)庫(kù)中進(jìn)行搜尋，如果找到與用戶要求內(nèi)容相符的網(wǎng)站，便采用特殊的算法——通常根據(jù)網(wǎng)頁(yè)中關(guān)鍵詞的匹配程度、出現(xiàn)的位置、頻次、鏈接質(zhì)量——計(jì)算出各網(wǎng)頁(yè)的相關(guān)度及排名等級(jí)，然后根據(jù)關(guān)聯(lián)度高低，按順序?qū)⑦@些網(wǎng)頁(yè)鏈接返回給用戶。這種引擎的特點(diǎn)是搜全率比較高。

目錄索引

目錄索引也稱為：分類檢索，是因特網(wǎng)上最早提供WWW資源查詢的服務(wù)，主要通過(guò)搜集和整理因特網(wǎng)的資源，根據(jù)搜索到網(wǎng)頁(yè)的內(nèi)容，將其網(wǎng)址分配到相關(guān)分類主題目錄的不同層次的類目之下，形成像圖書(shū)館目錄一樣的分類樹(shù)形結(jié)構(gòu)索引。目錄索引無(wú)需輸入任何文字，只要根據(jù)網(wǎng)站提供的主題分類目錄，層層點(diǎn)擊進(jìn)入，便可查到所需的網(wǎng)絡(luò)信息資源。

雖然有搜索功能，但嚴(yán)格意義上不能稱為真正的搜索引擎，只是按目錄分類的網(wǎng)站鏈接列表而已。用戶完全可以按照分類目錄找到所需要的信息，不依靠關(guān)鍵詞（Keywords）進(jìn)行查詢。

與全文搜索引擎相比，目錄索引有許多不同之處。

首先，搜索引擎屬于自動(dòng)網(wǎng)站檢索，而目錄索引則完全依賴手工操作。用戶提交網(wǎng)站后，目錄編輯人員會(huì)親自瀏覽你的網(wǎng)站，然后根據(jù)一套自定的評(píng)判標(biāo)準(zhǔn)甚至編輯人員的主觀印象，決定是否接納你的網(wǎng)站。其次，搜索引擎收錄網(wǎng)站時(shí)，只要網(wǎng)站本身沒(méi)有違反有關(guān)的規(guī)則，一般都能登錄成功；而目錄索引對(duì)網(wǎng)站的要求則高得多，有時(shí)即使登錄多次也不一定成功。尤其像Yahoo這樣的超級(jí)索引，登錄更是困難。

此外，在登錄搜索引擎時(shí)，一般不用考慮網(wǎng)站的分類問(wèn)題，而登錄目錄索引時(shí)則必須將網(wǎng)站放在一個(gè)最合適的目錄（Directory）。

最后，搜索引擎中各網(wǎng)站的有關(guān)信息都是從用戶網(wǎng)頁(yè)中自動(dòng)提取的，所以用戶的角度看，我們擁有更多的自主權(quán)；而目錄索引則要求必須手工另外填寫(xiě)網(wǎng)站信息，而且還有各種各樣的限制。更有甚者，如果工作人員認(rèn)為你提交網(wǎng)站的目錄、網(wǎng)站信息不合適，他可以隨時(shí)對(duì)其進(jìn)行調(diào)整，當(dāng)然事先是不會(huì)和你商量的。

搜索引擎與目錄索引有相互融合滲透的趨勢(shì)。一些純粹的全文搜索引擎也提供目錄搜索，如Google就借用Open Directory目錄提供分類查詢。而像Yahoo! ；這些老牌目錄索引則通過(guò)與Google等搜索引擎合作擴(kuò)大搜索范圍（注）。在默認(rèn)搜索模式下，一些目錄類搜索引擎首先返回的是自己目錄中匹配的網(wǎng)站，如中國(guó)的搜狐、新浪、網(wǎng)易等；而另外一些則默認(rèn)的是網(wǎng)頁(yè)搜索，如Yahoo。這種引擎的特點(diǎn)是找的準(zhǔn)確率比較高。

元搜索

元搜索引擎（METASearch Engine）接受用戶查詢請(qǐng)求后，同時(shí)在多個(gè)搜索引擎上搜索，并將結(jié)果返回給用戶。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索結(jié)果排列方面，有的直接按來(lái)源排列搜索結(jié)果，如Dogpile；有的則按自定的規(guī)則將結(jié)果重新排列組合，如Vivisimo。

垂直搜索

垂直搜索引擎為2006年后逐步興起的一類搜索引擎。不同于通用的網(wǎng)頁(yè)搜索引擎，垂直搜索專注于特定的搜索領(lǐng)域和搜索需求（例如：機(jī)票搜索、旅游搜索、生活搜索、小說(shuō)搜索、視頻搜索、購(gòu)物搜索等等），在其特定的搜索領(lǐng)域有更好的用戶體驗(yàn)。相比通用搜索動(dòng)輒數(shù)千臺(tái)檢索服務(wù)器，垂直搜索需要的硬件成本低、用戶需求特定、查詢的方式多樣。

集合式搜索

集合式搜索引擎：該搜索引擎類似元搜索引擎，區(qū)別在于它并非同時(shí)調(diào)用多個(gè)搜索引擎進(jìn)行搜索，而是由用戶從提供的若干搜索引擎中選擇，如HotBot在2002年底推出的搜索引擎。

門戶搜索

門戶搜索引擎：AOLSearch、MSNSearch等雖然提供搜索服務(wù)，但自身既沒(méi)有分類目錄也沒(méi)有網(wǎng)頁(yè)數(shù)據(jù)庫(kù)，其搜索結(jié)果完全來(lái)自其他搜索引擎。

免費(fèi)鏈接

免費(fèi)鏈接列表（Free For All Links簡(jiǎn)稱FFA）：一般只簡(jiǎn)單地滾動(dòng)鏈接條目，少部分有簡(jiǎn)單的分類目錄，不過(guò)規(guī)模要比Yahoo！等目錄索引小很多。

工作原理

第一步：爬行

搜索引擎是通過(guò)一種特定規(guī)律的軟件跟蹤網(wǎng)頁(yè)的鏈接，從一個(gè)鏈接爬到另外一個(gè)鏈接，像蜘蛛在蜘蛛網(wǎng)上爬行一樣，所以被稱為“蜘蛛”也被稱為“機(jī)器人”。搜索引擎蜘蛛的爬行是被輸入了一定的規(guī)則的，它需要遵從一些命令或文件的內(nèi)容。

第二步：抓取存儲(chǔ)

搜索引擎是通過(guò)蜘蛛跟蹤鏈接爬行到網(wǎng)頁(yè)，并將爬行的數(shù)據(jù)存入原始頁(yè)面數(shù)據(jù)庫(kù)。其中的頁(yè)面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的。搜索引擎蜘蛛在抓取頁(yè)面時(shí)，也做一定的重復(fù)內(nèi)容檢測(cè)，一旦遇到權(quán)重很低的網(wǎng)站上有大量抄襲、采集或者復(fù)制的內(nèi)容，很可能就不再爬行。

第三步：預(yù)處理

搜索引擎將蜘蛛抓取回來(lái)的頁(yè)面，進(jìn)行各種步驟的預(yù)處理。

⒈提取文字

⒉中文分詞

⒊去停止詞

⒋消除噪音（搜索引擎需要識(shí)別并消除這些噪聲，比如版權(quán)聲明文字、導(dǎo)航條、廣告等……）

5.正向索引

6.倒排索引

7.鏈接關(guān)系計(jì)算

8.特殊文件處理

除了HTML 文件外，搜索引擎通常還能抓取和索引以文字為基礎(chǔ)的多種文件類型，如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我們?cè)谒阉鹘Y(jié)果中也經(jīng)常會(huì)看到這些文件類型。 但搜索引擎還不能處理圖片、視頻、Flash 這類非文字內(nèi)容，也不能執(zhí)行腳本和程序。

第四步：排名

用戶在搜索框輸入關(guān)鍵詞后，排名程序調(diào)用索引庫(kù)數(shù)據(jù)，計(jì)算排名顯示給用戶，排名過(guò)程與用戶直接互動(dòng)的。但是，由于搜索引擎的數(shù)據(jù)量龐大，雖然能達(dá)到每日都有小的更新，但是一般情況搜索引擎的排名規(guī)則都是根據(jù)日、周、月階段性不同幅度的更新。