數(shù)據(jù)查詢哪里找?數(shù)據(jù)網(wǎng)站匯總大全來(lái)啦

時(shí)間：2023-05-15 19:39:01 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-05-15 19:39:01 來(lái)源：網(wǎng)站運(yùn)營(yíng)

數(shù)據(jù)查詢哪里找?數(shù)據(jù)網(wǎng)站匯總大全來(lái)啦：人工智能，數(shù)據(jù)挖掘，數(shù)據(jù)分析，都離不開(kāi)數(shù)據(jù)。

對(duì)于從業(yè)者來(lái)說(shuō)，數(shù)據(jù)獲取自然不是問(wèn)題?？墒?，對(duì)于初學(xué)者來(lái)說(shuō)，數(shù)據(jù)的獲取成了大難題。下面就總結(jié)一些有用的數(shù)據(jù)網(wǎng)站：

一.通用數(shù)據(jù)

1.data.gov( Data.gov )

這是美國(guó)政府公開(kāi)數(shù)據(jù)的所在地，該站點(diǎn)包含了超過(guò)19萬(wàn)的數(shù)據(jù)點(diǎn)。這些數(shù)據(jù)集不同于氣候、教育、能源、金融和更多領(lǐng)域的數(shù)據(jù)。

2.data.gov.in( https://data.gov.in/ )

這是印度政府公開(kāi)數(shù)據(jù)的所在地，通過(guò)各種行業(yè)、氣候、醫(yī)療保健等來(lái)尋找數(shù)據(jù)，你可以在這里找到一些靈感。根據(jù)你居住的國(guó)家的不同，你也可以從其他一些網(wǎng)站上瀏覽類似的網(wǎng)站。

3.WorldBank( World Bank Open Data )

世界銀行的開(kāi)放數(shù)據(jù)。該平臺(tái)提供 Open Data Catalog，世界發(fā)展指數(shù)，教育指數(shù)等幾個(gè)工具。

4.RBI( https://rbi.org.in/Scripts/Statistics.aspx )

印度儲(chǔ)備銀行提供的數(shù)據(jù)。這包括了貨幣市場(chǎng)操作、收支平衡、銀行使用和一些產(chǎn)品的幾個(gè)指標(biāo)。

5.Five ThirtyEight Datasets ( GitHub - fivethirtyeight/data: Data and code behind the articles and graphics at FiveThirtyEight )

Five Thirty Eight，亦稱作 538，專注與民意調(diào)查分析，政治，經(jīng)濟(jì)與體育的博客。該數(shù)據(jù)集為 Five ThirtyEight Datasets 使用的數(shù)據(jù)集。每個(gè)數(shù)據(jù)集包括數(shù)據(jù)，解釋數(shù)據(jù)的字典和Five ThirtyEight 文章的鏈接。如果你想學(xué)習(xí)如何創(chuàng)建數(shù)據(jù)故事，沒(méi)有比這個(gè)更好。

6.國(guó)家數(shù)據(jù)。國(guó)家數(shù)據(jù)

7.CEIC.CEIC|統(tǒng)計(jì)數(shù)據(jù)庫(kù)|全球經(jīng)濟(jì)數(shù)據(jù)|世界經(jīng)濟(jì)排名|宏觀經(jīng)濟(jì)數(shù)據(jù)分析

8.datahub Home

9.搜數(shù)網(wǎng) 新版搜數(shù)網(wǎng)

10.中國(guó)統(tǒng)計(jì)信息網(wǎng) 中國(guó)統(tǒng)計(jì)信息網(wǎng) - 中國(guó)統(tǒng)計(jì)年鑒2020

11. figshare credit for all your research 研究成果共享平臺(tái)，在這里你會(huì)發(fā)現(xiàn)來(lái)自世界的大牛們的研究成果分享，同時(shí)get其中的研究數(shù)據(jù)，內(nèi)容很有啟發(fā)性，網(wǎng)站頗具設(shè)計(jì)感。

12.github GitHub - awesomedata/awesome-public-datasets: A topic-centric list of HQ open datasets. github上的大神已經(jīng)為大家整理好了一個(gè)非常全面的數(shù)據(jù)獲取渠道，包含各個(gè)細(xì)分領(lǐng)域的數(shù)據(jù)庫(kù)資源，自然科學(xué)和社會(huì)科學(xué)的覆蓋都很全面，簡(jiǎn)直是做研究和數(shù)據(jù)分析的利器。

13.香港政府?dāng)?shù)據(jù)中心 https://data.gov.hk/en/

14.紐約市開(kāi)放數(shù)據(jù)中心 NYC Open Data

15.紐約政府?dāng)?shù)據(jù)中心 https://data.ny.gov/

16 澳大利亞國(guó)家開(kāi)放數(shù)據(jù)中心 Search

17 英國(guó)國(guó)家數(shù)據(jù)中心 Find open data - data.gov.uk

18 日本統(tǒng)計(jì)局 統(tǒng)計(jì)局ホームページ

19 美國(guó)勞工統(tǒng)計(jì)局 https://www.bls.gov/data/

20.經(jīng)合組織（OECD） OECD data

21 歐盟數(shù)據(jù)門戶 data.europa.eu

22 伯克利亞數(shù)據(jù)實(shí)驗(yàn)室 http://www.lib.berkeley.edu/libraries/data-lab 數(shù)據(jù)實(shí)驗(yàn)室是由當(dāng)前加州大學(xué)伯克利分校的學(xué)生和教員提供有關(guān)數(shù)字?jǐn)?shù)據(jù)的研究，他們會(huì)查找并推薦好的數(shù)據(jù)源到網(wǎng)站，并會(huì)對(duì)像文件格式轉(zhuǎn)換、網(wǎng)頁(yè)抓取和基本統(tǒng)計(jì)軟件等技術(shù)數(shù)據(jù)問(wèn)題提供咨詢。實(shí)驗(yàn)室還提供工作站分析軟件如ArcGIS、SAS、SPSS、STATA，Stata，R和Python等。

23.數(shù)據(jù)美國(guó) Data USA 美國(guó)大數(shù)據(jù)(Data Usa)主要研究宏觀的社會(huì)聯(lián)系，在海量數(shù)據(jù)中找出人們的某個(gè)被忽略的特征。網(wǎng)站根據(jù)地區(qū)、行業(yè)、職業(yè)、教育背景做了初步的分類，用戶可以進(jìn)入任何你想了解的部分，探索美國(guó)社會(huì)局部的詳細(xì)情況。它們也提供了地圖式的閱讀視圖。

24 Open Data 500 http://www.opendata500.com/us/ Open Data 500是首個(gè)以開(kāi)放政府?dāng)?shù)據(jù)來(lái)產(chǎn)生新的業(yè)務(wù)和開(kāi)發(fā)新的產(chǎn)品和服務(wù)的綜合研究性美國(guó)公司。研究機(jī)構(gòu)可以發(fā)布網(wǎng)站上收集的數(shù)據(jù)，企業(yè)、組織和公民也可以分析網(wǎng)站上的數(shù)據(jù)，并使用這些信息。

25 Open Data Inception Open Data Inception - A Comprehensive List of 2600+ Open Data Portals in the World 網(wǎng)站記錄了2600+個(gè)開(kāi)放式數(shù)據(jù)信息門戶網(wǎng)站，可直接通過(guò)地圖精準(zhǔn)找到你需要的不同地區(qū)的數(shù)據(jù)門戶網(wǎng)站。

二.大型數(shù)據(jù)集

1.Amazon WebServices（AWS）datasets

( Registry of Open Data on AWS )

Amazon提供了一些大數(shù)據(jù)集，可以在他們的平臺(tái)上使用，也可以在本地計(jì)算機(jī)上使用。您還可以通過(guò)EMR使用EC2和Hadoop來(lái)分析云中的數(shù)據(jù)。在亞馬遜上流行的數(shù)據(jù)集包括完整的安然電子郵件數(shù)據(jù)集，Google Booksn-gram，NASA NEX 數(shù)據(jù)集，百萬(wàn)歌曲數(shù)據(jù)集等。

2.Googledatasets

( BigQuery public datasets | Google Cloud )

Google 提供了一些數(shù)據(jù)集作為其 Big Query 工具的一部分。包括 GitHub 公共資料庫(kù)的數(shù)據(jù)，Hacker News 的所有故事和評(píng)論。

3.Youtubelabeled Video Dataset

( A Large and Diverse Labeled Video Dataset for Video Understanding Research )

幾個(gè)月前，谷歌研究小組發(fā)布了YouTube上的“數(shù)據(jù)集”，它由800萬(wàn)個(gè)YouTube視頻id和4800個(gè)視覺(jué)實(shí)體的相關(guān)標(biāo)簽組成。它來(lái)自數(shù)十億幀的預(yù)先計(jì)算的，最先進(jìn)的視覺(jué)特征。

4.亞馬遜公共數(shù)據(jù)集

（404 Not Found

網(wǎng)站來(lái)自亞馬遜的跨科學(xué)云數(shù)據(jù)平臺(tái)，其中包含化學(xué)、生物、經(jīng)濟(jì)等多個(gè)領(lǐng)域的數(shù)據(jù)集，當(dāng)數(shù)據(jù)在 AWS 上公開(kāi)提供后，任何人都可以分析任意數(shù)量的數(shù)據(jù)，而無(wú)需自行下載或存儲(chǔ)這些數(shù)據(jù)

三.預(yù)測(cè)建模與機(jī)器學(xué)習(xí)數(shù)據(jù)集

1.UCI MachineLearning Repository

( https://archive.ics.uci.edu/ml/datasets.html )

UCI機(jī)器學(xué)習(xí)庫(kù)顯然是最著名的數(shù)據(jù)存儲(chǔ)庫(kù)。如果您正在尋找與機(jī)器學(xué)習(xí)存儲(chǔ)庫(kù)相關(guān)的數(shù)據(jù)集，通常是首選的地方。這些數(shù)據(jù)集包括了各種各樣的數(shù)據(jù)集，從像Iris和泰坦尼克這樣的流行數(shù)據(jù)集到最近的貢獻(xiàn)，比如空氣質(zhì)量和GPS軌跡。存儲(chǔ)庫(kù)包含超過(guò)350個(gè)與域名類似的數(shù)據(jù)集(分類/回歸)。您可以使用這些過(guò)濾器來(lái)確定您需要的數(shù)據(jù)集。

2.Kaggle

( Find Open Datasets and Machine Learning Projects | Kaggle )

Kaggle提出了一個(gè)平臺(tái)，人們可以貢獻(xiàn)數(shù)據(jù)集，其他社區(qū)成員可以投票并運(yùn)行內(nèi)核/腳本。他們總共有超過(guò)350個(gè)數(shù)據(jù)集——有超過(guò)200個(gè)特征數(shù)據(jù)集。雖然一些最初的數(shù)據(jù)集通常出現(xiàn)在其他地方，但我在平臺(tái)上看到了一些有趣的數(shù)據(jù)集，而不是在其他地方出現(xiàn)。與新的數(shù)據(jù)集一起，界面的另一個(gè)好處是，您可以在相同的界面上看到來(lái)自社區(qū)成員的腳本和問(wèn)題。

3.AnalyticsVidhya

(https://datahack.analyticsvidhya.com/contest/all/ )

您可以從我們的實(shí)踐問(wèn)題和黑客馬拉松問(wèn)題中參與和下載數(shù)據(jù)集。問(wèn)題數(shù)據(jù)集基于真實(shí)的行業(yè)問(wèn)題，并且相對(duì)較小，因?yàn)樗鼈円馕吨? - 7天的黑客馬拉松。

4.Quandl

( Quandl )

Quandl 通過(guò)起網(wǎng)站、API 或一些工具的直接集成提供了不同來(lái)源的財(cái)務(wù)、經(jīng)濟(jì)和替代數(shù)據(jù)。他們的數(shù)據(jù)集分為開(kāi)放和付費(fèi)。所有開(kāi)放數(shù)據(jù)集為免費(fèi)，但高級(jí)數(shù)據(jù)集需要付費(fèi)。通過(guò)搜索仍然可以在平臺(tái)上找到優(yōu)質(zhì)數(shù)據(jù)集。例如，來(lái)自印度的證券交易所數(shù)據(jù)是免費(fèi)的。

5.Past KDDCups

( SIGKDD - KDD Cup )

KDD Cup 是 ACM Special Interest Group 組織的年度數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)競(jìng)賽。

6.DrivenData

( https://www.drivendata.org/ )

Driven Data 發(fā)現(xiàn)運(yùn)用數(shù)據(jù)科學(xué)帶來(lái)積極社會(huì)影響的現(xiàn)實(shí)問(wèn)題。然后，他們?yōu)閿?shù)據(jù)科學(xué)家組織在線模擬競(jìng)賽，從而開(kāi)發(fā)出最好的模型來(lái)解決這些問(wèn)題。

四.圖像分類數(shù)據(jù)集

1.The MNISTDatabase

( MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges )

最流行的圖像識(shí)別數(shù)據(jù)集，使用手寫(xiě)數(shù)字。它包括6萬(wàn)個(gè)示例和1萬(wàn)個(gè)示例的測(cè)試集。這通常是第一個(gè)進(jìn)行圖像識(shí)別的數(shù)據(jù)集。

2.Chars74K

(Character Recognition in Natural Images )

這里是下一階段的進(jìn)化，如果你已經(jīng)通過(guò)了手寫(xiě)的數(shù)字。該數(shù)據(jù)集包括自然圖像中的字符識(shí)別。數(shù)據(jù)集包含74,000個(gè)圖像，因此數(shù)據(jù)集的名稱。

3.Frontal FaceImages

(http://vasc.ri.cmu.edu//idb/html/face/frontal_images/index.html )

如果你已經(jīng)完成了前兩個(gè)項(xiàng)目，并且能夠識(shí)別數(shù)字和字符，這是圖像識(shí)別中的下一個(gè)挑戰(zhàn)級(jí)別——正面人臉圖像。這些圖像是由CMU & MIT收集的，排列在四個(gè)文件夾中。

4.ImageNet

( ImageNet )

現(xiàn)在是時(shí)候構(gòu)建一些通用的東西了。根據(jù)WordNet層次結(jié)構(gòu)組織的圖像數(shù)據(jù)庫(kù)(目前僅為名詞)。層次結(jié)構(gòu)的每個(gè)節(jié)點(diǎn)都由數(shù)百個(gè)圖像描述。目前，該集合平均每個(gè)節(jié)點(diǎn)有超過(guò)500個(gè)圖像(而且還在增加)。

五.文本分類數(shù)據(jù)集

1.Spam – NonSpam

(http://www.esp.uem.es/jmgomez/smsspamcorpus/)

區(qū)分短信是否為垃圾郵件是一個(gè)有趣的問(wèn)題。你需要構(gòu)建一個(gè)分類器將短信進(jìn)行分類。

2.TwitterSentiment Analysis

(Twitter Sentiment Analysis Training Corpus (Dataset))

該數(shù)據(jù)集包含 1578627 個(gè)分類推文，每行被標(biāo)記為1的積極情緒，0位負(fù)面情緒。數(shù)據(jù)依次基于 Kaggle 比賽和 Nick Sanders 的分析。

3.Movie ReviewData

(Data)

這個(gè)網(wǎng)站提供了一系列的電影評(píng)論文件，這些文件標(biāo)注了他們的總體情緒極性(正面或負(fù)面)或主觀評(píng)價(jià)(例如，“兩個(gè)半明星”)和對(duì)其主觀性地位(主觀或客觀)或極性的標(biāo)簽。

六.推薦引擎數(shù)據(jù)集

1.MovieLens

( GroupLens )

MovieLens 是一個(gè)幫助人們查找電影的網(wǎng)站。它有成千上萬(wàn)的注冊(cè)用戶。他們進(jìn)行自動(dòng)內(nèi)容推薦，推薦界面，基于標(biāo)簽的推薦頁(yè)面等在線實(shí)驗(yàn)。這些數(shù)據(jù)集可供下載，可用于創(chuàng)建自己的推薦系統(tǒng)。

2.Jester

(http://www.ieor.berkeley.edu/~goldberg/jester-data/)

在線笑話推薦系統(tǒng)。

七.各種來(lái)源的數(shù)據(jù)集網(wǎng)站

1.KDNuggets

(Datasets for Data Mining, Data Science, and Machine Learning - KDnuggets)

KDNuggets 的數(shù)據(jù)集頁(yè)面一直是人們搜索數(shù)據(jù)集的參考。列表全面，但是某些來(lái)源不再提供數(shù)據(jù)集。因此，需要謹(jǐn)慎選擇數(shù)據(jù)集和來(lái)源。

2.Awesome PublicDatasets

(https://github.com/caesar0301/awesome-public-datasets)

一個(gè)GitHub存儲(chǔ)庫(kù)，它包含一個(gè)由域分類的完整的數(shù)據(jù)集列表。數(shù)據(jù)集被整齊地分類在不同的領(lǐng)域，這是非常有用的。但是，對(duì)于存儲(chǔ)庫(kù)本身的數(shù)據(jù)集沒(méi)有描述，這可能使它非常有用。

3.RedditDatasets Subreddit

(https://www.reddit.com/r/datasets/)

由于這是一個(gè)社區(qū)驅(qū)動(dòng)的論壇，它可能會(huì)遇到一些麻煩(與之前的兩個(gè)來(lái)源相比)。但是，您可以通過(guò)流行/投票來(lái)對(duì)數(shù)據(jù)集進(jìn)行排序，以查看最流行的數(shù)據(jù)集。另外，它還有一些有趣的數(shù)據(jù)集和討論。

八.數(shù)據(jù)交易平臺(tái)

1.優(yōu)易數(shù)據(jù) 優(yōu)易數(shù)據(jù)_流通數(shù)據(jù) 跨界增值

2. 數(shù)據(jù)堂 數(shù)據(jù)堂_專業(yè)的人工智能數(shù)據(jù)服務(wù)提供商_AI數(shù)據(jù)采集標(biāo)注