如何用八爪魚采集器提取新浪微博的數(shù)據(jù)呢？

時(shí)間：2023-11-22 07:42:02 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-11-22 07:42:02 來(lái)源：網(wǎng)站運(yùn)營(yíng)

如何用八爪魚采集器提取新浪微博的數(shù)據(jù)呢？：新浪微博在八爪魚里的登錄需要一定的判斷條件，對(duì)于不熟悉八爪魚的人確實(shí)存在一定困擾，這里有個(gè)八爪魚的私人小技巧推薦給樓主，文末有彩蛋哦，這里先講講方法。

我用的方式也是預(yù)先登錄的方法，先制作一個(gè)簡(jiǎn)單的打開(kāi)新浪微博并隨意采集一個(gè)字段的規(guī)則如下：

保存并啟動(dòng)本地采集，只提取一個(gè)字段的規(guī)則幾秒就會(huì)采集完成，之后在采集完成的頁(yè)面上我們就可以輸入賬號(hào)密碼登陸了。







到這里我們相當(dāng)于已經(jīng)將登陸狀態(tài)保存在八爪魚內(nèi)置瀏覽器當(dāng)中了，之后就可以正常采集了，這里方便樓主我還是對(duì)采集過(guò)程做個(gè)簡(jiǎn)單的說(shuō)明，我們用采集微博評(píng)論舉例，這也是很多人需求的內(nèi)容。

1.打開(kāi)八爪魚采集器，找到主頁(yè)下自定義采集，點(diǎn)擊立即使用。







2.輸入需要采集的微博頁(yè)面網(wǎng)址，多個(gè)網(wǎng)址用換行符分隔，點(diǎn)擊保存網(wǎng)址。通過(guò)關(guān)鍵詞搜索獲取微博頁(yè)面網(wǎng)址也可以使用本文方法采集，這里不多贅述。




3.打開(kāi)后八爪魚已經(jīng)生成了打開(kāi)網(wǎng)站的循環(huán)，可以看到網(wǎng)頁(yè)已經(jīng)是登錄上的狀態(tài)了。




4.觀察網(wǎng)頁(yè)發(fā)現(xiàn)如果想看更多評(píng)論需要下拉網(wǎng)頁(yè)2次，之后點(diǎn)擊查看更多來(lái)獲取。這里我們?cè)诖蜷_(kāi)網(wǎng)頁(yè)步驟設(shè)置頁(yè)面加載完成后向下滾動(dòng)，具體設(shè)置如下圖：




之后循環(huán)點(diǎn)擊查看更多來(lái)加載內(nèi)容，這里我們需要提前加載到需要采集的頁(yè)數(shù)后再進(jìn)行采集，因?yàn)榧虞d后的內(nèi)容是一直存在的，如果邊采集邊翻頁(yè)會(huì)造成采集內(nèi)容的重復(fù)。具體設(shè)置如下：










之后循環(huán)提取所需要的評(píng)論內(nèi)容即可，這里附上我提取的字段如下：







手動(dòng)運(yùn)行規(guī)則無(wú)誤后，就可以采集了，結(jié)果如下：




這里我加載了100頁(yè)的內(nèi)容，所以耗時(shí)較久，樓主如果需求數(shù)據(jù)較少可以減少加載更多頁(yè)次數(shù)，可以使采集更加迅速。

彩蛋彩蛋：不知道樓主有沒(méi)有注意到，八爪魚在主頁(yè)下的網(wǎng)站簡(jiǎn)易采集下，有微博網(wǎng)頁(yè)關(guān)鍵詞搜索的模板，如果樓主需求不是很復(fù)雜可以直接使用簡(jiǎn)易采集的，省下了做規(guī)則的時(shí)間。

八爪魚采集器對(duì)采集新手算很友好，遇到問(wèn)題往往問(wèn)客服或者找爪友交流一下也能很快解決，多嘗試嘗試還是可以很好滿足需求的。

希望可以幫助到樓主^_^