25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

Category: STEM國際競賽 Date: 2019年8月5日下午6:44

如果你是一個(gè)有經(jīng)驗(yàn)的數(shù)據(jù)科學(xué)專家，你一定知道學(xué)習(xí)數(shù)據(jù)科學(xué)的最佳辦法是應(yīng)用數(shù)據(jù)科學(xué)。?在大數(shù)據(jù)時(shí)代，比不會(huì)數(shù)據(jù)分析更可怕的是什么？——空有數(shù)據(jù)分析能力，卻沒有數(shù)據(jù)可以施展。今天，吐血整理這篇數(shù)據(jù)集干貨。各類公開數(shù)據(jù)集資源，從簡單通用到大型數(shù)據(jù)集，超級福利全部送上！

01簡單通用數(shù)據(jù)集

1.data.gov

網(wǎng)址：http://www.data.gov/

▌官方數(shù)據(jù)，數(shù)據(jù)量大這是美國政府公開數(shù)據(jù)的所在地，該站點(diǎn)包含了超過19萬的數(shù)據(jù)點(diǎn)。

▌數(shù)據(jù)內(nèi)容覆蓋多領(lǐng)域?該數(shù)據(jù)庫包括氣候、教育、能源、金融等更多領(lǐng)域的數(shù)據(jù)集，可以進(jìn)行數(shù)據(jù)可視化。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

2.World Bank

網(wǎng)址：http://data.worldbank.org/

▌開放數(shù)據(jù)，工具廣泛世界銀行的開放數(shù)據(jù)。該平臺(tái)提供了open data catalog、世界發(fā)展指數(shù)、教育指數(shù)等幾個(gè)工具。

▌多主題時(shí)間序列數(shù)據(jù)該數(shù)據(jù)集包括分析和可視化工具，包含各種主題的時(shí)間序列集合。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

3.Five?Thirty?Eight?Datasets

網(wǎng)址：http://github.com/fivethirtyeight/data

▌適用于調(diào)查分析Five Thirty Eight，亦稱作538，專注于民意調(diào)查分析、政治、經(jīng)濟(jì)與體育的博客。

▌數(shù)據(jù)集內(nèi)容完善每個(gè)數(shù)據(jù)集包括數(shù)據(jù)、解釋數(shù)據(jù)的字典和Five Thirty Eight文章的鏈接。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

02大型數(shù)據(jù)集

1.Amazon Web?Services（AWS）datasets

網(wǎng)址：?https://aws.amazon.com/cn/datasets/

▌大數(shù)據(jù)集亞馬遜提供了一些大數(shù)據(jù)集，可以在他們的平臺(tái)上使用，也可以在本地計(jì)算機(jī)上使用。

▌數(shù)據(jù)集類型多樣?在亞馬遜上流行的數(shù)據(jù)集包括安然電子郵件數(shù)據(jù)集、NASA NEX數(shù)據(jù)集、百萬歌曲數(shù)據(jù)集等。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

?2.Youtube?labeled?Video?Dataset

網(wǎng)址：https://research.google.com/youtube8m/

▌數(shù)據(jù)集內(nèi)容龐大谷歌研究小組發(fā)布了YouTube上的數(shù)據(jù)集，它由800萬個(gè)YouTube視頻id和4800個(gè)視覺實(shí)體的相關(guān)標(biāo)簽組成。

▌先進(jìn)的視覺特征它來自數(shù)十億幀的預(yù)先計(jì)算的、最先進(jìn)的視覺特征。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

03機(jī)器學(xué)習(xí)數(shù)據(jù)集

1.Kaggle數(shù)據(jù)集

網(wǎng)址：https://www.kaggle.com/datasets

▌專業(yè)性強(qiáng)、多是學(xué)術(shù)活動(dòng)數(shù)據(jù)集Kaggle是一個(gè)主要為開發(fā)商和數(shù)據(jù)科學(xué)家提供舉辦機(jī)器學(xué)習(xí)學(xué)術(shù)活動(dòng)、托管數(shù)據(jù)庫、編寫和分享代碼的平臺(tái)。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

2.加州大學(xué)歐文分校機(jī)器學(xué)習(xí)庫

網(wǎng)址：?http://archive.ics.uci.edu/ml/index.php

▌數(shù)據(jù)集龐大，適用于實(shí)證分析?加州大學(xué)歐文分校機(jī)器學(xué)習(xí)庫包含476個(gè)數(shù)據(jù)集。它是機(jī)器學(xué)習(xí)社區(qū)用于機(jī)器學(xué)習(xí)算法的實(shí)證分析的數(shù)據(jù)庫，是理論和數(shù)據(jù)生成器的集合。

▌適用于初學(xué)者和高階學(xué)習(xí)者?對于初學(xué)者和高級學(xué)習(xí)者來說，這是一個(gè)很好的“go-to-shop”。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

3.Datahub，分享高質(zhì)量數(shù)據(jù)集平臺(tái)

網(wǎng)址：?https://datahub.io/

▌高質(zhì)量數(shù)據(jù)資源?Datahub數(shù)據(jù)集平臺(tái)擁有高質(zhì)量的數(shù)據(jù)資源，包括書目數(shù)據(jù)、經(jīng)濟(jì)數(shù)據(jù)與指標(biāo)、人口統(tǒng)計(jì)學(xué)、醫(yī)療保健等相關(guān)數(shù)據(jù)集。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

4.KDNuggets網(wǎng)站

網(wǎng)址：www.kdnuggets.com/datasets/

▌內(nèi)容覆蓋廣泛?KDNuggets是一個(gè)內(nèi)容覆蓋非常廣泛的網(wǎng)站，無論是就職干貨還是技術(shù)難題，它總會(huì)有相關(guān)的文章。

▌高質(zhì)量數(shù)據(jù)集?在KDNuggets上有Datasets欄目，提供了一些高質(zhì)量的數(shù)據(jù)集。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

04圖像數(shù)據(jù)集

1.The?MNIST?Database

網(wǎng)址：http://yann.lecun.com/exdb/mnist/

▌最流行的圖像識(shí)別數(shù)據(jù)集它是最流行的圖像識(shí)別數(shù)據(jù)集，包括6萬個(gè)示例的測試集。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

2.Chars74K

網(wǎng)址：http://www.ee.surrey.ac.uk/CVSSP/demos/chars74k/

▌字符識(shí)別，內(nèi)容豐富?該數(shù)據(jù)集包括自然圖像中的字符識(shí)別，包含74000個(gè)圖像。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

3.Chars74K

網(wǎng)址：http://www.cs.tau.ac.il/~wolf/ytfaces/

▌面部視頻數(shù)據(jù)這是一個(gè)面部視頻數(shù)據(jù)庫，旨在研究視頻中無約束的人臉識(shí)別問題。

▌數(shù)據(jù)量大該數(shù)據(jù)集包含3425個(gè)不同的人的視頻。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

4.室內(nèi)場景識(shí)別

網(wǎng)址：http://web.mit.edu/torralba/www/indoor.html

▌?lì)悇e齊全、圖像量大該數(shù)據(jù)庫包含67個(gè)室內(nèi)類別，總共15620個(gè)圖像。圖像數(shù)量因類別而異，但每個(gè)類別至少有100張圖像。?

05文本數(shù)據(jù)集

1.路透社新聞數(shù)據(jù)集

網(wǎng)址：https://archive.ics.uci.edu/ml/datasets/Reuters-21578+Text+Categorization+Collection

▌新聞專線，常用于教程該數(shù)據(jù)集純粹基于分類，包含來自新聞專線的文本，常用于教程。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

2.SQuAD：斯坦福問答數(shù)據(jù)集?

網(wǎng)址：?https://rajpurkar.github.io/SQuAD-explorer/

▌文本形式呈現(xiàn)?該數(shù)據(jù)集為應(yīng)用廣泛的問答和閱讀理解的數(shù)據(jù)集，其中每個(gè)問題的答案都是以文本形式呈現(xiàn)。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

3.Billion Words數(shù)據(jù)集?

網(wǎng)址：?http://www.statmt.org/lm-benchmark/

▌?wù)Z言建模數(shù)據(jù)集?該數(shù)據(jù)集是一種大型通用語言建模數(shù)據(jù)集，通常用于訓(xùn)練分布式單詞表征，如word2vec。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

4.復(fù)旦大學(xué)中文文本分類語料庫?

網(wǎng)址：https://www.kesci.com/home/dataset/5d3a9c86cf76a600360edd04/document

▌可用于NLP學(xué)習(xí)該數(shù)據(jù)集包含20個(gè)不同的類別，可用于NLP學(xué)習(xí)。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

5.6000條周杰倫微博超話數(shù)據(jù)?

網(wǎng)址：https://www.kesci.com/home/dataset/5d3551bdcf76a60036f605aa

▌最新數(shù)據(jù)，時(shí)效性強(qiáng)數(shù)據(jù)主要爬自周杰倫超話下網(wǎng)友的評論。字段為rid、用戶名稱、微博等級、微博內(nèi)容、微博轉(zhuǎn)發(fā)量、微博評論量、微博點(diǎn)贊以及發(fā)布時(shí)間。獲取數(shù)據(jù)的時(shí)間為2019年7月22日12點(diǎn)。

5.來自Taylor Swift所有轉(zhuǎn)接的歌曲歌詞?

網(wǎng)址：https://www.kesci.com/home/dataset/5d301fa7cf76a60036e0d60a

▌可進(jìn)行文本挖掘本數(shù)據(jù)集包含Taylor Swift六張錄音室專輯的全部歌詞信息，包括專輯名稱、曲目標(biāo)題、追蹤號碼、歌詞文本、專輯發(fā)行年份。可以進(jìn)行文本挖掘。

06語音數(shù)據(jù)集

1.LibriSpeech

網(wǎng)址：http://www.openslr.org/12/

▌文本與語音兼具?包含文本和語音的有聲讀物數(shù)據(jù)集，由多個(gè)朗讀者閱讀的近500小時(shí)的各種有聲讀物演講內(nèi)容組成，包含帶有文本和語音的章節(jié)。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！

2.CHIME

網(wǎng)址：?http://spandh.dcs.shef.ac.uk/chime_challenge/data.html

▌數(shù)據(jù)為錄音，可進(jìn)行語音分離與識(shí)別?數(shù)據(jù)集包含真實(shí)、仿真和干凈的錄音。真實(shí)錄音由4個(gè)揚(yáng)聲器在4個(gè)嘈雜位置的近9000個(gè)錄音組成，仿真錄音由多個(gè)語音環(huán)境和清洗的無噪聲錄音結(jié)合而成。

25個(gè)開源數(shù)據(jù)集超全匯總，收藏這個(gè)數(shù)據(jù)金礦！