新浪微博采集-大神教你5分鐘配置一個(gè)微博爬蟲(chóng)

時(shí)間：2023-05-22 08:04:01 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-05-22 08:04:01 來(lái)源：網(wǎng)站運(yùn)營(yíng)

新浪微博采集-大神教你5分鐘配置一個(gè)微博爬蟲(chóng)：介紹使用八爪魚(yú)8.3采集新浪微博數(shù)據(jù)的方法

采集網(wǎng)站：

https://weibo.com/

使用功能點(diǎn)：

l Ajax滾動(dòng)加載設(shè)置

l 分頁(yè)列表詳情頁(yè)內(nèi)容提取

步驟1：創(chuàng)建采集任務(wù)

1）進(jìn)入主界面選擇，選擇自定義模式

2）將上面網(wǎng)址的網(wǎng)址復(fù)制粘貼到網(wǎng)站輸入框中，點(diǎn)擊“保存網(wǎng)址”

3）保存網(wǎng)址后，頁(yè)面將在八爪魚(yú)采集器中打開(kāi)，紅色方框中的信息是這次演示要采集的內(nèi)容

步驟2：設(shè)置ajax頁(yè)面加載時(shí)間

l 設(shè)置打開(kāi)網(wǎng)頁(yè)步驟的ajax滾動(dòng)加載時(shí)間

l 找到翻頁(yè)按鈕，設(shè)置翻頁(yè)循環(huán)

l 設(shè)置翻頁(yè)步驟ajax下拉加載時(shí)間

1）在頁(yè)面打開(kāi)后，當(dāng)下拉頁(yè)面時(shí)，會(huì)發(fā)現(xiàn)頁(yè)面有新的數(shù)據(jù)在進(jìn)行加載




所以需要進(jìn)行以下設(shè)置：打開(kāi)流程圖，點(diǎn)擊“打開(kāi)網(wǎng)頁(yè)”步驟，在右側(cè)的高級(jí)選項(xiàng)框中，勾選“頁(yè)面加載完成向下滾動(dòng)”，設(shè)置滾動(dòng)次數(shù)，每次滾動(dòng)間隔時(shí)間，一般設(shè)置2秒，這個(gè)頁(yè)面的滾動(dòng)方式，選擇直接滾動(dòng)到底部；最后點(diǎn)擊確定







2）將頁(yè)面下拉到底部，找到下一頁(yè)按鈕，鼠標(biāo)點(diǎn)擊，在右側(cè)操作提示框中，

選擇“循環(huán)點(diǎn)擊下一頁(yè)”

由于頁(yè)面使用了ajax加載技術(shù)，當(dāng)采集時(shí)候，網(wǎng)站總需要重新加載，所以對(duì)翻頁(yè)步驟需進(jìn)行上面打開(kāi)網(wǎng)頁(yè)步驟中的設(shè)置

步驟3：采集微博內(nèi)容

l 選中需要采集的微博時(shí)間，創(chuàng)建循環(huán)點(diǎn)擊列表

l 進(jìn)入微博頁(yè)創(chuàng)建采集列表

1）如圖，移動(dòng)鼠標(biāo)選中列表中商家的名稱(chēng)，右鍵點(diǎn)擊，需采集的內(nèi)容會(huì)變成綠色

然后點(diǎn)擊“選中全部”




注意：點(diǎn)擊右上角的“流程”按鈕，即可展現(xiàn)出可視化流程圖。

2）然后點(diǎn)擊“循環(huán)點(diǎn)擊每個(gè)鏈接”




3）網(wǎng)頁(yè)會(huì)跳轉(zhuǎn)到詳情頁(yè)中，移動(dòng)鼠標(biāo)選中要采集的內(nèi)容，右鍵點(diǎn)擊，

選擇“采集該鏈接的文本”

4）鼠標(biāo)點(diǎn)擊需要采集的文本字段，點(diǎn)擊“選中全部”

注意： 鼠標(biāo)放在提示框中的字段上會(huì)出現(xiàn)一個(gè)刪除標(biāo)識(shí)，點(diǎn)擊即可刪除該字段。

5）修改采集字段名稱(chēng)，點(diǎn)擊下方紅色方框中的“保存并開(kāi)始采集”

步驟4：數(shù)據(jù)采集及導(dǎo)出

1）根據(jù)采集的情況選擇合適的采集方式，這里選擇“啟動(dòng)本地采集”

說(shuō)明：本地采集占用當(dāng)前電腦資源進(jìn)行采集，如果存在采集時(shí)間要求或當(dāng)前電腦無(wú)法長(zhǎng)時(shí)間進(jìn)行采集可以使用云采集功能，云采集在網(wǎng)絡(luò)中進(jìn)行采集，無(wú)需當(dāng)前電腦支持，電腦可以關(guān)機(jī)，可以設(shè)置多個(gè)云節(jié)點(diǎn)分?jǐn)側(cè)蝿?wù)，10個(gè)節(jié)點(diǎn)相當(dāng)于10臺(tái)電腦分配任務(wù)幫你采集，速度降低為原來(lái)的十分之一；采集到的數(shù)據(jù)可以在云上保存三個(gè)月，可以隨時(shí)進(jìn)行導(dǎo)出操作。

2）采集完成后，選擇合適的導(dǎo)出方式，將采集好的數(shù)據(jù)導(dǎo)出

希望這篇文檔的介紹，能讓你掌握新浪微博網(wǎng)頁(yè)數(shù)據(jù)采集，你可以試著上八爪魚(yú)官網(wǎng)http://www.bazhuayu.com下載八爪魚(yú)最新版本客戶端，也可以關(guān)注八爪魚(yú)官方微信了解到更多教程案例。

八爪魚(yú)·三分鐘就上手的網(wǎng)頁(yè)數(shù)據(jù)采集軟件·而且是免費(fèi)軟件

點(diǎn)擊鏈接進(jìn)入官網(wǎng)

八爪魚(yú)采集器 - 最好用的網(wǎng)頁(yè)數(shù)據(jù)采集器