自動(dòng)抓取網(wǎng)頁(yè)圖片-圖片下載神器

時(shí)間：2023-06-07 23:24:02 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-06-07 23:24:02 來(lái)源：網(wǎng)站運(yùn)營(yíng)

自動(dòng)抓取網(wǎng)頁(yè)圖片-圖片下載神器：前一陣因?yàn)橐粋€(gè)項(xiàng)目中的爬取需求，用python3寫(xiě)了個(gè)爬取網(wǎng)頁(yè)圖片的工具，中間碰到了不少問(wèn)題，例如不同網(wǎng)頁(yè)的圖片地址格式不同，存放位置也不盡相同，就很讓人頭疼，趟了不少雷還好都解決了，客戶是IT小白，所以操作界面必須也得傻瓜式的簡(jiǎn)單易懂，吐槽一下wxpython開(kāi)發(fā)界面真夠原始的。

本工具有以下功能特點(diǎn)：1、支持多個(gè)網(wǎng)頁(yè)的圖片抓取，支持模板網(wǎng)頁(yè)類似迅雷下載多個(gè)文件，支持導(dǎo)入網(wǎng)址文件；2、支持本機(jī)抓取和代理抓?。?、支持手工中斷抓??；4、支持自定義圖片存儲(chǔ)目錄，并按照網(wǎng)址特征自動(dòng)為圖片創(chuàng)建分類目錄；5、支持下載圖片失敗自動(dòng)清理；6、支持下載圖片去重功能；7、支持抓取過(guò)程中查看已下載圖片；

功能介紹視頻地址：優(yōu)酷視頻

https://v.youku.com/v_show/id_XNDcyOTk2NDYxMg==.html

功能測(cè)試結(jié)果：搜索網(wǎng)站類似百度，知識(shí)網(wǎng)站類似本站、行業(yè)網(wǎng)站類似汽車X家、常見(jiàn)美女/美景網(wǎng)站，均可抓取成功。

功能界面截圖：

1、下載后解壓縮到本地，雙擊get_page_image.exe即可啟動(dòng)本軟件

2、填寫(xiě)普通網(wǎng)址--填寫(xiě)要下載圖片網(wǎng)頁(yè)的地址，從瀏覽器中直接粘貼過(guò)來(lái)即可；填寫(xiě)模板網(wǎng)址--填寫(xiě)下載圖片網(wǎng)頁(yè)的網(wǎng)址，把改變的部分修改為通配符；導(dǎo)入網(wǎng)址文件--支持文本文件一個(gè)圖片網(wǎng)址一行；導(dǎo)入圖片網(wǎng)址文件--支持文本文件一個(gè)圖片網(wǎng)址一行

3、填寫(xiě)下載圖片存儲(chǔ)文件夾名稱，例如汽車、裝修等等，支持自動(dòng)創(chuàng)建圖片分類目錄

4、點(diǎn)擊“開(kāi)始抓取”按鈕即可，抓取過(guò)程中會(huì)顯示日志，抓取過(guò)程中可以點(diǎn)擊“打開(kāi)圖片目錄”按鈕查看已下載的圖片 ，下載完成可通過(guò)點(diǎn)擊“調(diào)整尺寸”按鈕調(diào)整為指定尺寸

下載下來(lái)的每張圖片會(huì)根據(jù)網(wǎng)頁(yè)和網(wǎng)頁(yè)中的順序生成一個(gè)唯一編號(hào)

補(bǔ)充說(shuō)明：

a.歡迎各位同學(xué)下載體驗(yàn)交流，下載地址：

http://www.tomsoftcent.com:8180/download/抓取網(wǎng)頁(yè)圖片.rar

b.針對(duì)各大搜索引擎例如百度/360/微軟必應(yīng)等，門(mén)戶電商網(wǎng)站例如新浪微博、京東、淘寶等，知名圖片網(wǎng)站例如匯圖網(wǎng)、昵圖網(wǎng)、紅動(dòng)中國(guó)等的都進(jìn)行了針對(duì)的反爬蟲(chóng)處理。