關(guān)于搜索引擎的技術(shù)和理念

時間：2023-03-08 02:58:01 | 來源：電子商務(wù)

時間：2023-03-08 02:58:01 來源：電子商務(wù)

本文先引用幾句話：

1.“確解用戶之意，切返用戶之需。”

2.“門戶網(wǎng)站都想著是怎樣省錢，而不是怎樣花錢來買技術(shù)。”

3.“搜索引擎不是人人都能做的領(lǐng)域，進(jìn)入的門檻比較高。”

4.“只是優(yōu)秀還不夠，最好的方式是將一件事情做到極致。”（google十大真理）

5.“做搜索引擎需要專注” “對于一項(xiàng)排到第四的業(yè)務(wù)，門戶很難做到專注。”

6.“用戶無法描述道他要找什么，除非讓他看到想找的東西。”

7. “所謂楔形，其實(shí)就是個倒三角，倒三角的尖端部分代表搜索技術(shù)，中部是基于技術(shù)的產(chǎn)品應(yīng)用平臺，最上端是對整個搜索引擎用戶人群文化的認(rèn)識和理解，以及現(xiàn)代公司競爭最關(guān)鍵也最捉摸不定的所謂品牌。” “楔形”蘊(yùn)涵的另一個意義是：楔子要打到墻里，尖端是否銳利很重要，但楔子的破壞性有多強(qiáng)，究竟能在墻面擠壓出多大的空間，其中端、后端的沉穩(wěn)與厚重才是關(guān)鍵。

搜索引擎的技術(shù)和理念都是需要時間和經(jīng)驗(yàn)的積累

更是需要長期不斷的完善進(jìn)步的，絕對不要認(rèn)為可以一蹴而就，要達(dá)到一個相對成熟領(lǐng)先的搜索引擎從開始到領(lǐng)先的周期一般需要是四年。著急不得。原因是因?yàn)樗阉饕嫣珡?fù)雜，而且“用戶無法描述他要找什么，除非讓他看到想找的東西。” 一切都需要摸索，嘗試，問題需要一個一個解決，用戶的需要得一點(diǎn)點(diǎn)的挖掘。

搜索引擎是一個產(chǎn)品，給用戶提供服務(wù)的產(chǎn)品

需要長期的不斷的改進(jìn)升級調(diào)整才能持續(xù)不斷的提用戶體驗(yàn)，需要滿足用戶不斷增長并且變化的需求、需要不斷適應(yīng)網(wǎng)絡(luò)的變化。這是因?yàn)榫W(wǎng)絡(luò)環(huán)境是不斷變化的、網(wǎng)民的需求也是不斷變化的。千萬不要把搜索當(dāng)成項(xiàng)目來做，做完了撂那讓用戶去用那你肯定沒戲。在搜索引擎領(lǐng)域是講體驗(yàn)的、新的引擎如果用戶體驗(yàn)一旦整體上有領(lǐng)先一年以上的差距并且持續(xù)2年，那前期的領(lǐng)先者的優(yōu)勢就蕩然無存，因?yàn)樗阉饕娴挠脩艮D(zhuǎn)移成本相對而言是比較低的而且口碑是最佳的傳播方式。如果一個搜索引擎不能持續(xù)不斷的技術(shù)創(chuàng)新理念創(chuàng)新，那對于這個搜索引擎來說就等于死亡。我們一般形容搜索引擎的領(lǐng)先是以時間計(jì)算的。比如：中搜離百度整體差距×年，百度離google的整體差距×年，……只要你能在用戶體驗(yàn)上保持一年的領(lǐng)先優(yōu)勢持續(xù)2年，不需要炒作，一切紛至沓來。在用戶體驗(yàn)面前，任何的炒作都顯得很渺小。

作垂直搜索引擎，麻雀雖小，但是五臟俱全。

無論理念文化、產(chǎn)品管理、應(yīng)用、技術(shù)都和搜索引擎的楔形理論沒有什么區(qū)別。所以要做好一垂直搜索必須解決這幾個方面。

楔形的尖：垂直搜索技術(shù)。

垂直搜索技術(shù)主要分為兩個層次：模板級和網(wǎng)頁庫級。

模板級是針對網(wǎng)頁進(jìn)行模板設(shè)定或者自動生成模板的方式抽取數(shù)據(jù)，對網(wǎng)頁的采集也是針對性的采集，適合規(guī)模比較小、信息源少且穩(wěn)定的需求，優(yōu)點(diǎn)是快速實(shí)施、成本低、靈活性強(qiáng)，缺點(diǎn)是后期維護(hù)成本高，信息源和信息量小。網(wǎng)頁庫級就是在信息源數(shù)量上、數(shù)據(jù)容量上檢索容量上、穩(wěn)定性可靠性上都是網(wǎng)頁庫搜索引擎級別的要求，和模板方式最大的區(qū)別是對具體網(wǎng)頁不依賴，可針對任意正常的網(wǎng)頁進(jìn)信息采集信息抽取……。這就導(dǎo)致這種方式數(shù)據(jù)容量上和模板方式有質(zhì)的區(qū)別，但是其靈活性差、成本高。當(dāng)然模板方式和網(wǎng)頁庫級的方式不是對立的，這兩者對于垂直搜索引擎來說是相互補(bǔ)充的，因?yàn)榧夹g(shù)只是手段，目的是切反用戶之需。本文談及的技術(shù)主要是指網(wǎng)頁庫級別垂直搜索引擎技術(shù)。

搜索引擎的確是一項(xiàng)對技術(shù)要求比較高的應(yīng)用，幾年前相關(guān)的人才也比較少?，F(xiàn)在搜索技術(shù)人才多了，相關(guān)的技術(shù)和技術(shù)的應(yīng)用得相對以前而言更加成熟，但是競爭也更加激烈了。

垂直搜索大致需要以下技術(shù)：

1. 信息采集技術(shù)

2. 網(wǎng)頁信息抽取技術(shù)

3. 信息的處理技術(shù)，包括：重復(fù)識別、重復(fù)識別、聚類、比較、分析、語料分析等

4. 語意相關(guān)性分析

5. 分詞

6. 索引

信息采集技術(shù)，垂直搜索引擎spider和網(wǎng)頁庫的spider相比應(yīng)該是更加專業(yè)，可定制化?？啥ㄏ蛐缘牟杉痛怪彼阉鞣秶嚓P(guān)的網(wǎng)頁忽略不相關(guān)的網(wǎng)頁和不必要的網(wǎng)頁，選擇內(nèi)容相關(guān)的以及適合做進(jìn)一步處理的網(wǎng)頁深度優(yōu)先采集、對頁面有選擇的調(diào)整更新頻率……，采集可通過人工設(shè)定網(wǎng)址和網(wǎng)頁分析url方式共同進(jìn)行。