搜索引擎簡史筆記

時間：2023-03-06 09:00:02 | 來源：電子商務(wù)

時間：2023-03-06 09:00:02 來源：電子商務(wù)

2006年低，接到一個朋友的委托，幫忙整理搜索引擎的發(fā)展歷史，于是春節(jié)期間花了點時間整理出來一份粗糙的簡史。以為自己研究互聯(lián)網(wǎng)歷史的一點筆記吧。

1、搜索引擎的發(fā)展歷史

1）搜索簡史History of Search

緣起“亞奇”

    網(wǎng)絡(luò)搜索引擎的歷史可以追溯到1991年。最早的搜索引擎是麥吉爾大學(xué)（McGill University）開發(fā)的“亞奇”（Archie）?！皝喥妗痹试S對網(wǎng)站上的文件名進行關(guān)鍵詞搜索。

    1992年“Gopher”（萬維網(wǎng)的先驅(qū)）的降臨帶來了“維羅妮卡”（Veronica）搜索引擎的誕生（Poulter，1997），它允許多詞檢索和布爾檢索（就是可以使用and和or等運算符搜索）。盡管有這些早期的進步，1994年才真正算互聯(lián)網(wǎng)發(fā)展的一個分水嶺，不僅僅因為在這一年里萬維網(wǎng)開始普及，還因為在這一年中出現(xiàn)了兩個項目，后來都被當(dāng)作免費服務(wù)對公眾開放——它們共同改變了互聯(lián)網(wǎng)發(fā)展的歷程。

    到1994年，今天互聯(lián)網(wǎng)流行的兩類搜索服務(wù)——關(guān)鍵詞搜索和主題目錄就已出現(xiàn)（Poutler，1997）。第一個成功的全文關(guān)鍵詞搜索引擎“網(wǎng)絡(luò)爬行者”（Webcrawler）那時也誕生了，并且發(fā)展成為最成功的早期“網(wǎng)絡(luò)機器人”（Web Robot)之一（注釋2：本質(zhì)上，網(wǎng)絡(luò)機器人是一種不斷在網(wǎng)絡(luò)上巡游的程序，它隨著連接去尋找網(wǎng)頁并自己月度網(wǎng)頁。每發(fā)現(xiàn)一個頁面，就將它復(fù)制到數(shù)據(jù)庫中，這樣人們利用關(guān)鍵詞就能找到它。）。在網(wǎng)上尋找信息方面的技術(shù)進展受到了廣泛歡迎。布賴恩·平克頓（Brian Pinkerton）的“網(wǎng)絡(luò)爬行者”很快帶動了現(xiàn)在更有名的搜索引擎如Lycos和AltaVista的出現(xiàn)。

    1994年1月，第一個既可搜索又可瀏覽的分類目錄EINet Galaxy（Tradewave Galaxy）上線，除了網(wǎng)站搜索，它還支持Gopher和Telnet搜索。

雅虎出現(xiàn)

    這一年4月，斯坦福（Stanford）大學(xué)的兩名博士生，David Filo和美籍華人楊致遠(yuǎn)（Gerry Yang）共同創(chuàng)辦了超級目錄索引Yahoo，并成功地使搜索引擎的概念深入人心。從此搜索引擎進入了高速發(fā)展時期。Stanford兩名博士生，美籍華人Jerry Yang（楊致遠(yuǎn)）和David Filo共同創(chuàng)辦了Yahoo。隨著訪問量和收錄鏈接數(shù)的增長，Yahoo目錄開始支持簡單的數(shù)據(jù)庫搜索。因為Yahoo!的數(shù)據(jù)是手工輸入的，所以不能真正被歸為搜索引擎，事實上只是一個可搜索的目錄。但雅虎的出現(xiàn)使得分類搜索進入搜索引擎的視野，由于搜索效率的明顯提高，非常受歡迎。Yahoo此后陸續(xù)采用Altavista、Inktomi、Google提供搜索引擎服務(wù)，是搜索引擎發(fā)展中很多主要技術(shù)的跟蹤者和推行者，因此其存在對于搜索引擎來說意義非常，由于并非本文的主題，因此不在此贅述。

全文搜索

    1994年4月20日，WebCrawler正式亮相。WebCrawler是互聯(lián)網(wǎng)上第一個支持搜索文件全部文字的全文搜索引擎，后來webcrawler陸續(xù)被AOL和Excite收購，現(xiàn)在和excite一樣改用元搜索引擎Dogpile。此后全文搜索漸漸成為大多數(shù)搜索引擎的功能。

現(xiàn)代意義的搜索引擎

    Lycos，號稱最早的現(xiàn)代意義上的搜索引擎出現(xiàn)于1994年7月。當(dāng)時Michael Mauldin將John Leavitt的蜘蛛程序接入到其索引程序中，創(chuàng)建了大家現(xiàn)在熟知的Lycos。Lycos（Carnegie Mellon University Center for Machine Translation Announces Lycos）是搜索引擎史上又一個重要的進步。Carnegie Mellon University的Michael Mauldin將John Leavitt的spider程序接入到其索引程序中，創(chuàng)建了Lycos。1994年7月20日，數(shù)據(jù)量為54,000的Lycos正式發(fā)布。除了相關(guān)性排序外，Lycos還提供了前綴匹配和字符相近限制，Lycos第一個在搜索結(jié)果中使用了網(wǎng)頁自動摘要，而最大的優(yōu)勢還是它遠(yuǎn)勝過其它搜索引擎的數(shù)據(jù)量：1994年8月－－394,000 documents；1995年1月－－1.5 million documents；1996年11月－－over 60 million documents。（注：1999年4月，Lycos停止自己的Spider，改由Fast提供搜索引擎服務(wù)）