有哪些網(wǎng)站用爬蟲爬取能得到很有價值的數(shù)據(jù)？

時間：2023-11-20 02:24:02 | 來源：網(wǎng)站運營

時間：2023-11-20 02:24:02 來源：網(wǎng)站運營

有哪些網(wǎng)站用爬蟲爬取能得到很有價值的數(shù)據(jù)？：這里給出了一些網(wǎng)站平臺，我們可以使用爬蟲爬取網(wǎng)站上的數(shù)據(jù)，某些網(wǎng)站上也給出獲取數(shù)據(jù)的API接口，但需要付費。




財經(jīng)數(shù)據(jù)

（1）新浪財經(jīng)：免費提供接口，這篇博客教授了如何在新浪財經(jīng)上獲取獲取歷史和實時股票數(shù)據(jù)。

（2）東方財富網(wǎng)：可以查看財務指標或者根據(jù)財務指標選股。

（3）中財網(wǎng)：提供各類財經(jīng)數(shù)據(jù)。

（4）黃金頭條：各種財經(jīng)資訊。

（5）StockQ：國際股市指數(shù)行情。

（6）Quandl：金融數(shù)據(jù)界的維基百科。

（7）Investing：投資數(shù)據(jù)。

（8）整合的96個股票API合集。

（9）Market Data Feed and API：提供大量數(shù)據(jù)，付費，有試用期。




網(wǎng)貸數(shù)據(jù)

（1）網(wǎng)貸之家：包含各大網(wǎng)貸平臺不同時間段的放貸數(shù)據(jù)。

（2）零壹數(shù)據(jù)：各大平臺的放貸數(shù)據(jù)。

（4）網(wǎng)貸天眼：網(wǎng)貸平臺、行業(yè)數(shù)據(jù)。

（5）76676互聯(lián)網(wǎng)金融門戶：網(wǎng)貸、P2P、理財?shù)然ソ饠?shù)據(jù)。




公司年報

（1）巨潮資訊：各種股市咨詢，公司股票、財務信息。

（2）SEC.gov：美國證券交易數(shù)據(jù)

（3）HKEx news披露易：年度業(yè)績報告和年報。




創(chuàng)投數(shù)據(jù)

（1）36氪：最新的投資資訊。

（2）投資潮：投資資訊、上市公司信息。

（3）IT桔子：各種創(chuàng)投數(shù)據(jù)。




社交平臺

（1）新浪微博：評論、輿情數(shù)據(jù)，社交關系數(shù)據(jù)。

（2）Twitter：輿情數(shù)據(jù)，社交關系數(shù)據(jù)。

（3）本站：優(yōu)質問答、用戶數(shù)據(jù)。

（4）微信公眾號：公眾號運營數(shù)據(jù)。

（5）百度貼吧：輿情數(shù)據(jù)

（6）Tumblr：各種福利圖片、視頻。




就業(yè)招聘

（1）拉勾：互聯(lián)網(wǎng)行業(yè)人才需求數(shù)據(jù)。

（2）中華英才網(wǎng)：招聘信息數(shù)據(jù)。

（3）智聯(lián)招聘：招聘信息數(shù)據(jù)。

（4）獵聘網(wǎng)：高端職位招聘數(shù)據(jù)。




餐飲食品

（1）美團外賣：區(qū)域商家、銷量、評論數(shù)據(jù)。

（2）百度外賣：區(qū)域商家、銷量、評論數(shù)據(jù)。

（3）餓了么：區(qū)域商家、銷量、評論數(shù)據(jù)。

（4）大眾點評：點評、輿情數(shù)據(jù)。




交通旅游

（1）12306：鐵路運行數(shù)據(jù)。

（2）攜程：景點、路線、機票、酒店等數(shù)據(jù)。

（3）去哪兒：景點、路線、機票、酒店等數(shù)據(jù)。

（4）途牛：景點、路線、機票、酒店等數(shù)據(jù)。

（5）貓途鷹：世界各地旅游景點數(shù)據(jù)，來自全球旅行者的真實點評。

類似的還有同程、驢媽媽、途家等




電商平臺

（1）亞馬遜：商品、銷量、折扣、點評等數(shù)據(jù)

（2）淘寶：商品、銷量、折扣、點評等數(shù)據(jù)

（3）天貓：商品、銷量、折扣、點評等數(shù)據(jù)

（4）京東：3C產(chǎn)品為主的商品信息、銷量、折扣、點評等數(shù)據(jù)

（5）當當：圖書信息、銷量、點評數(shù)據(jù)。

類似的唯品會、聚美優(yōu)品、1號店等。




影音數(shù)據(jù)

（1）豆瓣電影：國內最受歡迎的電影信息、評分、評論數(shù)據(jù)。

（2）時光網(wǎng)：最全的影視資料庫，評分、影評數(shù)據(jù)。

（3）貓眼電影專業(yè)版：實時票房數(shù)據(jù)，電影票房排行。

（4）網(wǎng)易云音樂：音樂歌單、歌手信息、音樂評論數(shù)據(jù)。




房屋信息

（1）58同城房產(chǎn)：二手房數(shù)據(jù)。

（2）安居客：新房和二手房數(shù)據(jù)。

（3）Q房網(wǎng)：新房信息、銷售數(shù)據(jù)。

（4）房天下：新房、二手房、租房數(shù)據(jù)。

（5）小豬短租：短租房源數(shù)據(jù)。




購車租車

（1）網(wǎng)易汽車：汽車資訊、汽車數(shù)據(jù)。

（2）人人車：二手車信息、交易數(shù)據(jù)。

（3）中國汽車工業(yè)協(xié)會：汽車制造商產(chǎn)量、銷量數(shù)據(jù)。




新媒體數(shù)據(jù)

新榜：新媒體平臺運營數(shù)據(jù)。

清博大數(shù)據(jù)：微信公眾號運營榜單及輿情數(shù)據(jù)。

微問數(shù)據(jù)：一個針對微信的數(shù)據(jù)網(wǎng)站。

知微傳播分析：微博傳播數(shù)據(jù)。




分類信息

（1）58同城：豐富的同城分類信息。

（2）趕集網(wǎng)：豐富的同城分類信息。




網(wǎng)絡指數(shù)（可能需用圖像識別）

（1）百度指數(shù)：最大中文搜索數(shù)據(jù)，觀測網(wǎng)絡熱點趨勢。

（2）阿里指數(shù)：商品搜索和交易數(shù)據(jù)，基于淘寶、天貓和1688平臺的交易數(shù)據(jù)，分析國內商品交易的概況。

（3）友盟指數(shù)：移動互聯(lián)網(wǎng)應用數(shù)據(jù)，包含下載量、活躍度、用戶情況等多維度數(shù)據(jù)。

（4）愛奇藝指數(shù)：涉及到播放趨勢、播放設備、用戶畫像、地域分布、等多個方面數(shù)據(jù)。

（5）微指數(shù)：通過關鍵詞的熱議度，以及行業(yè)/類別的平均影響力，來反映微博輿情或賬號的發(fā)展走勢。




目錄持續(xù)更新，如果你是小白，并且希望用爬蟲來獲取有價值的數(shù)據(jù)，可以看看我們的課程：Python爬蟲：入門+進階

——————————

關注公眾號（datacastle2016），獲取更多數(shù)據(jù)分析干貨。