搭建代理池---》開(kāi)源(參照：python，flask+爬蟲(chóng))

通過(guò)爬蟲(chóng)去免費(fèi)網(wǎng)站爬取 免費(fèi)代理--》驗(yàn)證一下---》存到庫(kù)中(redis)--->請(qǐng)求" />

国产成人精品无码青草_亚洲国产美女精品久久久久∴_欧美人与鲁交大毛片免费_国产果冻豆传媒麻婆精东

所在位置： 首頁(yè) > 營(yíng)銷(xiāo)資訊 > 網(wǎng)站運(yùn)營(yíng) > 6,搭建免費(fèi)代理池

6,搭建免費(fèi)代理池

時(shí)間：2023-04-23 15:45:02 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-04-23 15:45:02 來(lái)源：網(wǎng)站運(yùn)營(yíng)

6,搭建免費(fèi)代理池： requests模擬發(fā)送http請(qǐng)求，頻率限制---》變換ip---》代理（免費(fèi)，收費(fèi)）---》

搭建代理池---》開(kāi)源(參照：python，flask+爬蟲(chóng))

通過(guò)爬蟲(chóng)去免費(fèi)網(wǎng)站爬取 免費(fèi)代理--》驗(yàn)證一下---》存到庫(kù)中(redis)--->請(qǐng)求一個(gè)接口，就隨機(jī)返回一個(gè)代理地址

搭建步驟 ### 第一步：下載代碼 git clone git@github.com:jhao104/proxy_pool.git ### 第二步：安裝依賴(lài) pip3 install -r requirements.txt ### 第三步：修改配置--》項(xiàng)目路徑下的settings.py # 配置API服務(wù) HOST = "0.0.0.0" # IP PORT = 5000 # 監(jiān)聽(tīng)端口 # 配置數(shù)據(jù)庫(kù) DB_CONN = 'redis://127.0.0.1:8888/0' # 配置 ProxyFetcher--->配置爬取哪幾個(gè)免費(fèi)代理的網(wǎng)站 PROXY_FETCHER = [ "freeProxy01", # 這里是啟用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py "freeProxy02", # .... ] ### 第四步，啟動(dòng)項(xiàng)目 # 啟動(dòng)調(diào)度程序（爬取代理） python3 proxyPool.py schedule # 啟動(dòng)webApi服務(wù)（提供接口） python3 proxyPool.py server

使用代理池

#1 使用代理池import requests# res=requests.get('http://127.0.0.1:5010/get/')# print(res.json()['proxy'])### ## 咱們的爬蟲(chóng)，隨機(jī)使用代理去訪(fǎng)問(wèn)# proxies={# 'http':res.json()['proxy']# }# respone=requests.get('https://www.12306.cn',# proxies=proxies)## print(respone.status_code)

關(guān)鍵詞：代理,免費(fèi)

74
73
25
news

版權(quán)所有? 億企邦 1997-2025 保留一切法律許可權(quán)利。

為了最佳展示效果，本站不支持IE9及以下版本的瀏覽器，建議您使用谷歌Chrome瀏覽器。 點(diǎn)擊下載Chrome瀏覽器
關(guān)閉