網(wǎng)站采集器需求概述

時(shí)間：2023-07-16 01:09:01 | 來(lái)源：營(yíng)銷百科

時(shí)間：2023-07-16 01:09:01 來(lái)源：營(yíng)銷百科

網(wǎng)站采集器需求概述：網(wǎng)站采集

網(wǎng)站管理員希望將別人的整站數(shù)據(jù)下載到自己的網(wǎng)站里或者將別人網(wǎng)站的一些內(nèi)容保存到自己的服務(wù)器上。從內(nèi)容中抽取相關(guān)的字段，發(fā)布到自己的 網(wǎng)站系統(tǒng)中。有時(shí)需要將網(wǎng)頁(yè)相關(guān)的文件也保存到本地，如圖片、附件等。

網(wǎng)站管理員會(huì)定時(shí)從同一網(wǎng)站上抓取內(nèi)容，希望已經(jīng)抓取的內(nèi)容不要再發(fā)布到網(wǎng)站系統(tǒng)中。對(duì)于一些網(wǎng)站，需要登陸才能獲取頁(yè)面。網(wǎng)站管理員希望通能夠通過(guò)一個(gè)內(nèi)容列表頁(yè)面獲取所有的相關(guān)內(nèi)容，包括內(nèi)容列表的其它分頁(yè)。當(dāng)?shù)诙巫ト∠嗤W(wǎng)站時(shí)，希望不要再重復(fù)第一次的設(shè)定。

信息采集

網(wǎng)站管理員從互聯(lián)網(wǎng)中收集各類圖片、笑話、新聞、技術(shù)等各類信息，然后分類、編輯，發(fā)布到自己的網(wǎng)站系統(tǒng)中。網(wǎng)站管理員一般通過(guò)搜索引擎搜索各類關(guān)鍵字獲取目標(biāo)網(wǎng)址，然后再提取網(wǎng)頁(yè)中的內(nèi)容。關(guān)鍵字的組織決定獲取內(nèi)容的準(zhǔn)確性和數(shù)量。由于內(nèi)容來(lái)自不同的網(wǎng)站，所以提取內(nèi)容的方法也各不相同。對(duì)于某一類的信息，發(fā)布到 網(wǎng)站系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)是相同的。

網(wǎng)站管理員對(duì)站內(nèi)進(jìn)行搜索，將相關(guān)的內(nèi)容在首頁(yè)上進(jìn)行編排和索引。

企業(yè)從互聯(lián)網(wǎng)上搜索email和電話號(hào)碼，并且能夠查看該信息的相關(guān)信息，以便了解該對(duì)象的基本情況。企業(yè)希望能夠搜索某一類別的客戶信息，如這個(gè)客戶屬于女性，年齡為20到30歲等。并且能夠?qū)⒉杉降膶?duì)象信息保存到企業(yè)內(nèi)部的客戶管理系統(tǒng)中。

企業(yè)需要了解某一產(chǎn)品的信息，希望得到該類產(chǎn)品的報(bào)價(jià)、廠商等，以及這些信息的對(duì)比情況。并且能夠得到報(bào)價(jià)、廠商的近一步信息。這些信息希望能夠保存到企業(yè)的內(nèi)部的ERP系統(tǒng)或其它系統(tǒng)中。

數(shù)據(jù)結(jié)構(gòu)化

企業(yè)辦公產(chǎn)生的電子文檔，客戶提交的客戶資料等這些數(shù)據(jù)，一般需要大量的人力手工輸入到企業(yè)的ERP系統(tǒng)或信息系統(tǒng)中，企業(yè)希望能夠通過(guò)軟件從這些文檔中抽取相關(guān)的數(shù)據(jù)自動(dòng)導(dǎo)入到系統(tǒng)中。這些數(shù)據(jù)一般都有固定的模板格式，并且同一類文檔的模板格式是相同的。如客戶的家庭信息，客戶1和客戶2的模板格式是一樣的，只是內(nèi)容不一樣。