Python從網(wǎng)頁上下載文件的9種方法
時(shí)間：2023-05-24 01:39:01 | 來源：網(wǎng)站運(yùn)營
時(shí)間：2023-05-24 01:39:01 來源：網(wǎng)站運(yùn)營
Python從網(wǎng)頁上下載文件的9種方法：
前言 使用腳本進(jìn)行下載的需求很常見，可以是常規(guī)文件、web頁面、Amazon S3和其他資源。Python 提供了很多模塊從 web 下載文件。下面介紹
一、使用 requests requests 模塊是模仿網(wǎng)頁請求的形式從一個(gè)URL下載文件
示例代碼：
二、使用 wget 安裝 wget 庫
示例代碼
三、下載重定向資源 有些 URL 會(huì)被重定向到另一個(gè) URL，后者是真正的下載鏈接。很多軟件的下載其實(shí)都是這樣的形式。URL看起來如下
重定向的 URL 也可以用 requests 庫進(jìn)行下載，只需加一個(gè)參數(shù)就可以
四、大文件分塊下載 有些文件非常的大，如果我們直接下載，可能會(huì)因?yàn)槭录蚧蛘呔W(wǎng)絡(luò)原因造成下載失敗，這時(shí)候我可以使用分塊下載的形式進(jìn)行下載。
requests 支持分塊下載，只需要將 stream 設(shè)為True 即可
五、并行下載 多線程、多進(jìn)程并發(fā)下載，大大提高下載速度
六、下載中加入進(jìn)度條 使用進(jìn)度條更直觀的查看下載進(jìn)度，這里使用 clint 模塊實(shí)現(xiàn)進(jìn)度條功能
下載
七、使用 urllib 模塊下載 urllib庫是Python的標(biāo)準(zhǔn)庫，因此不需要安裝它。
下載代碼
八、通過代理下載 因?yàn)橐恍┍娝苤脑蛭覀兿螺d國外的資源會(huì)非常的慢，這時(shí)候可以使用代理的方式進(jìn)行下載
requests 模塊使用代理
urllib 模塊使用代理
九、使用 urllib3 urllib3 是 urllib 模塊的改進(jìn)版本。使用pip下載并安裝
轉(zhuǎn)自：Python 下載的9種方法-侵刪
在線咨詢