深度學習資料集

海量資料（又稱大資料）已經成為各大網際網路企業面臨的最大問題，如何處理海量資料，提供更好的解決方案，是目前相當熱門的一個話題。類似MapReduce、 Hadoop等架構的普遍推廣，大家都在構建自己的大資料處理，大資料分析平臺。

相應之下，目前對於海量資料處理人才的需求也在不斷增多，此類人才可謂炙手可熱！越來越多的開發者把目光轉移到海量資料的處理上。但是不是所有人都能真正接觸到，或者有機會去處理海量資料的，所以就需要一些公開的海量資料集來研究。

在Quora上有人就問到，如何獲取海量資料集。此問題得到了很多人的關注。具體可以看看回答，資料集的種類多種多樣，有化學分析，基因遺傳等等，從中你肯定能得到自己想要個資料集。 
Where can I get large datasets open to the public?

*先來個不能錯過的資料集網站（深度學習者的福音）：* 
http://deeplearning.net/datasets/**

首先說說幾個收集資料集的網站： 
1、Public Data Sets on Amazon Web Services (AWS) 
http://aws.amazon.com/datasets 
Amazon從2008年開始就為開發者提供幾十TB的開發資料。

2、Yahoo! Webscope 
http://webscope.sandbox.yahoo.com/index.php

3、Konect is a collection of network datasets 
http://konect.uni-koblenz.de/

4、Stanford Large Network Dataset Collection 
http://snap.stanford.edu/data/index.html

再就是說說幾個跟網際網路有關的資料集： 
1、Dataset for “Statistics and Social Network of YouTube Videos” 
http://netsg.cs.sfu.ca/youtubedata/

2、1998 World Cup Web Site Access Logs 
http://ita.ee.lbl.gov/html/contrib/WorldCup.html 
這個是1998年世界盃期間的資料集。從1998/04/26 到 1998/07/26 的92天中，發生了 1,352,804,107次請求。

3、Page view statistics for Wikimedia projects 
http://dammit.lt/wikistats/

4、AOL Search Query Logs - RP 
http://www.researchpipeline.com/mediawiki/index.php?title=AOL_Search_Query_Logs

5、livedoor gourmet 
http://blog.livedoor.jp/techblog/archives/65836960.html

海量影像資料集： 
1、ImageNet 
http://www.image-net.org/ 
包含1400萬的影像。

2、Tiny Images Dataset 
http://horatio.cs.nyu.edu/mit/tiny/data/index.html 
包含8000萬的32x32影像。

3、 MirFlickr1M 
http://press.liacs.nl/mirflickr/ 
Flickr中的100萬的影像集。

4、 CoPhIR 
http://cophir.isti.cnr.it/whatis.html 
Flickr中的1億600萬的影像

5、SBU captioned photo dataset 
http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/ 
Flickr中的100萬的影像集。

6、Large-Scale Image Annotation using Visual Synset(ICCV 2011) 
http://cpl.cc.gatech.edu/projects/VisualSynset/ 
包含2億影像

7、NUS-WIDE 
http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm 
Flickr中的27萬的影像集。

8、SUN dataset 
http://people.csail.mit.edu/jxiao/SUN/ 
包含13萬的影像

9、MSRA-MM 
http://research.microsoft.com/en-us/projects/msrammdata/ 
包含100萬的影像，23000視訊

10、TRECVID 
http://trecvid.nist.gov/

截止目前好像還沒有國內的企業或者組織開放自己的資料集。希望也能有企業開發自己的資料集給研究人員使用，從而推動海量資料處理在國內的發展！

2014/07/07 雅虎釋出超大Flickr資料集 1億的圖片+視訊 
http://yahoolabs.tumblr.com/post/89783581601/one-hundred-million-creative-commons-flickr-images-for

100多個有趣的資料集 
http://www.csdn.net/article/2014-06-06/2820111-100-Interesting-Data-Sets-for-Statistics