若是本文能幫助到大家，希望可以關注 並轉發分享！（thanks）
現如今構建人工智慧或機器學習系統比以往的時候更加容易。普遍存在的尖端開源工具如 TensorFlow、Torch 和 Spark，再加上通過 AWS 的大規模計算力、Google Cloud 或其他供應商的雲端計算，這些都意味著你可以在下午休閒時間使用膝上型電腦去訓練出最前沿的機器學習模型。
資料集對於深度學習模型的重要性不言而喻，然而根據性質、型別、領域的不同，資料集往往散落在不同的資源平 臺裡，急需人們做出整理。
少了資料，我們的機器學習和深度學習模型什麼也幹不了。這麼說吧，那些建立了資料集、讓我們可以訓練模型的 人，都是我們的英雄，雖然這些人常常並沒有得到足夠的感謝。讓人慶幸的是，那批最有價值的資料集後來成了 「學術基準線」——被研究人員廣泛引用，尤其在演算法變化的對比上；不少名字則成為圈內外都耳熟能詳的名 稱，如 MNIST、CIFAR 10 以及 Imagenet 等。
如果您在研究中使用了這些資料集，我們希望您記得引用原始論文（我們已經在表單中提供引用 連結）；如果您將它們用作商業或教育專案的一部分，請考慮新增致謝文及資料集原連結。
我們之所以經常在教學中引用這些資料集，是因為它們就是學生們很有可能遇到的資料型別的絕佳例子，此外，學 生可以將自己的工作與引用這些資料集的學術成果進行對比，從而取得進步。此外，我們也會使用 Kaggle Competitions 資料集，Kaggle 的 public leaderboards 允許學生在世界最好的資料集裡測試自己的模型，不過 Kaggle 資料集並不會在本次表單中出現。
影象分類領域
1）MNIST
經典的小型（28x28 畫素）灰度手寫數字資料集，開發於 20 世紀 90 年代，主要用於測試當時最複雜的模型；到 了今日，MNIST 資料集更多被視作深度學習的基礎教材。fast.ai 版本的資料集捨棄了原始的特殊二進位制格式，轉 而採用標準的 PNG 格式，以便在目前大多數程式碼庫中作為正常的工作流使用；如果您只想使用與原始同樣的單輸 入通道，只需在通道軸中選取單個切片即可。
引文：http://yann.lecun.com/exdb/publis/index.html#lecun-98
下載地址：https://s3.amazonaws.com/fast-ai-imageclas/mnist_png.tgz
2）CIFAR10
10 個類別，多達 60000 張的 32x32 畫素彩色影象（50000 張訓練影象和 10000 張測試影象），平均每種類別 擁有 6000 張影象。廣泛用於測試新演算法的效能。fast.ai 版本的資料集捨棄了原始的特殊二進位制格式，轉而採用
標準的 PNG 格式，以便在目前大多數程式碼庫中作為正常的工作流使用。
引文：https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf
下載地址：https://s3.amazonaws.com/fast-ai-imageclas/cifar10.tgz
3）CIFAR100
與 CIFAR-10 類似，區別在於 CIFAR-100 擁有 100 種類別，每個類別包含 600 張影象（500 張訓練影象和 100 張測試影象），然後這 100 個類別又被劃分為 20 個超類。因此，資料集裡的每張影象自帶一個「精細」標籤 （所屬的類）和一個「粗略」標籤（所屬的超類）。
引文：https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf
下載地址：https://s3.amazonaws.com/fast-ai-imageclas/cifar100.tgz
4）Caltech-UCSD Birds-200-2011
包含 200 種鳥類（主要為北美洲鳥類）照片的影象資料集，可用於影象識別工作。分類數量：200；圖片數量： 11,788；平均每張圖片含有的標註數量：15 個區域性位置，312 個二進位制屬性，1 個邊框框。
引文：http://vis-www.cs.umass.edu/bcnn/
下載地址：https://s3.amazonaws.com/fast-ai-imageclas/CUB_200_2011.tgz
5）Caltech 101
包含 101 種物品類別的影象資料集，平均每個類別擁有 40—800 張影象，其中很大一部分類別的影象數量固為 50 張左右。每張影象的大小約為 300 x 200 畫素。本資料集也可以用於目標檢測定位。
引文：http://www.vision.caltech.edu/feifeili/Fei-Fei_GMBV04.pdf
下載地址：https://s3.amazonaws.com/fast-ai-imageclas/caltech_101.tar.gz
6）Oxford-IIIT Pet
包含 37 種寵物類別的影象資料集，每個類別約有 200 張影象。這些影象在比例、姿勢以及光照方面有著豐富的 變化。本資料集也可以用於目標檢測定位。
引文：http://www.robots.ox.ac.uk/~vgg/publications/2012/parkhi12a/parkhi12a.pdf
下載地址：https://s3.amazonaws.com/fast-ai-imageclas/oxford-iiit-pet.tgz
7）Oxford 102 Flowers
包含 102 種花類的影象資料集（主要是一些英國常見的花類），每個類別包含 40—258 張影象。這些影象在比 例、姿勢以及光照方面有著豐富的變化。
引文：http://www.robots.ox.ac.uk/~vgg/publications/papers/nilsback08.pdf
下載地址：https://s3.amazonaws.com/fast-ai-imageclas/oxford-102-flowers.tgz
8）Food-101
包含 101 種食品類別的影象資料集，共有 101,000 張影象，平均每個類別擁有 250 張測試影象和 750 張訓練圖 像。訓練影象未經過資料清洗。所有影象都已經重新進行了尺寸縮放，最大邊長達到了 512 畫素。
引文：https://pdfs.semanticscholar.org/8e3f/12804882b60ad5f59aad92755c5edb34860e.pdf
下載地址：https://s3.amazonaws.com/fast-ai-imageclas/food-101.tgz
9）Stanford cars
包含 196 種汽車類別的影象資料集，共有 16,185 張影象，分別為 8,144 張訓練影象和 8,041 張測試影象，每個 類別的影象型別比例基本上都是五五開。本資料集的類別主要基於汽車的牌子、車型以及年份進行劃分。
引文：https://ai.stanford.edu/~jkrause/papers/3drr13.pdf
下載地址：https://s3.amazonaws.com/fast-ai-imageclas/stanford-cars.tgz
自然語言處理領域
1）IMDb Large Movie Review Dataset
用於情感二元分類的資料集，其中包含 25,000 條用於訓練的電影評論和 25,000 條用於測試的電影評論，這些電 影評論的特點是兩極分化特別明顯。另外資料集裡也包含未標記的資料可供使用。
引文：http://ai.stanford.edu/~amaas/papers/wvSent_acl2011.pdf
下載地址：https://s3.amazonaws.com/fast-ai-nlp/imdb.tgz
2）Wikitext-103
超過 1 億個語句的資料合集，全部從維基百科的 Good 與 Featured 文章中提煉出來。廣泛用於語言建模，當中 包括 fastai 庫和 ULMFiT 演算法中經常用到的預訓練模型。
引文：https://arxiv.org/abs/1609.07843
下載地址：https://s3.amazonaws.com/fast-ai-nlp/wikitext-103.tgz
3）Wikitext-2
Wikitext-103 的子集，主要用於測試小型資料集的語言模型訓練效果。
引文：https://arxiv.org/abs/1609.07843
下載地址：https://s3.amazonaws.com/fast-ai-nlp/wikitext-2.tgz
4）WMT 2015 French/English parallel texts
用於訓練翻譯模型的法語/英語平行文字，擁有超過 2000 萬句法語與英語句子。本資料集由 Chris CallisonBurch 建立，他抓取了上百萬個網頁，然後通過一組簡單的啟發式演算法將法語網址轉換為英文網址，並預設這些 文件之間互為譯文。
引文：https://www.cis.upenn.edu/~ccb/publications/findings-of-the-wmt09-shared-tasks.pdf
下載地址：https://s3.amazonaws.com/fast-ai-nlp/giga-fren.tgz
5）AG News
496,835 條來自 AG 新聞語料庫 4 大類別超過 2000 個新聞源的新聞文章，資料集僅僅援用了標題和描述欄位。 每個類別分別擁有 30,000 個訓練樣本及 1900 個測試樣本。
引文：https://arxiv.org/abs/1509.01626
下載地址：https://s3.amazonaws.com/fast-ai-nlp/ag_news_csv.tgz
6）Amazon reviews - Full
34,686,770 條來自 6,643,669 名亞馬遜使用者針對 2,441,053 款產品的評論，資料集主要來源於史丹佛網路分析項 目（SNAP）。資料集的每個類別分別包含 600,000 個訓練樣本和 130,000 個測試樣本。
引文：https://arxiv.org/abs/1509.01626
下載地址：https://s3.amazonaws.com/fast-ai-nlp/amazon_review_full_csv.tgz
7）Amazon reviews - Polarity
34,686,770 條來自 6,643,669 名亞馬遜使用者針對 2,441,053 款產品的評論，資料集主要來源於史丹佛網路分析項 目（SNAP）。該子集的每個情緒極性資料集分別包含 1,800,000 個訓練樣本和 200,000 個測試樣本。
引文：https://arxiv.org/abs/1509.01626
下載地址：https://s3.amazonaws.com/fast-ai-nlp/amazon_review_polarity_csv.tgz
8）DBPedia ontology
來自 DBpedia 2014 的 14 個不重疊的分類的 40,000 個訓練樣本和 5,000 個測試樣本。
引文：https://arxiv.org/abs/1509.01626
下載地址：https://s3.amazonaws.com/fast-ai-nlp/dbpedia_csv.tgz
9）Sogou news
2,909,551 篇來自 SogouCA 和 SogouCS 新聞語料庫 5 個類別的新聞文章。每個類別分別包含 90,000 個訓練樣 本和 12,000 個測試樣本。這些漢字都已經轉換成拼音。
引文：https://arxiv.org/abs/1509.01626
下載地址：https://s3.amazonaws.com/fast-ai-nlp/sogou_news_csv.tgz
10）Yahoo! Answers
來自雅虎 Yahoo! Answers Comprehensive Questions and Answers1.0 資料集的 10 個主要分類資料。每個類 別分別包含 140,000 個訓練樣本和 5,000 個測試樣本。
引文：https://arxiv.org/abs/1509.01626
下載地址：https://s3.amazonaws.com/fast-ai-nlp/yahoo_answers_csv.tgz
11）Yelp reviews - Full
來自 2015 年 Yelp Dataset Challenge 資料集的 1,569,264 個樣本。每個評級分別包含 130,000 個訓練樣本和 10,000 個 測試樣本。
引文：https://arxiv.org/abs/1509.01626
下載地址：https://s3.amazonaws.com/fast-ai-nlp/yelp_review_full_csv.tgz
12）Yelp reviews - Polarity
來自 2015 年 Yelp Dataset Challenge 資料集的 1,569,264 個樣本。該子集中的不同極性分別包含 280,000 個 訓練樣本和 19,000 個測試樣本。
引文：https://arxiv.org/abs/1509.01626
下載地址：https://s3.amazonaws.com/fast-ai-nlp/yelp_review_polarity_csv.tgz
目標檢測定位
1）Camvid: Motion-based Segmentation and Recognition Dataset
700 張包含畫素級別語義分割的影象分割資料集，每張影象都經過第二個人的檢查和確認來確保資料的準確性。
引文：https://pdfs.semanticscholar.org/08f6/24f7ee5c3b05b1b604357fb1532241e208db.pdf
下載地址：https://s3.amazonaws.com/fast-ai-imagelocal/camvid.tgz
2）PASCAL Visual Object Classes (VOC)
用於類識別的標準影象資料集——這裡同時提供了 2007 與 2012 版本。2012 年的版本擁有 20 個類別。訓練數 據的 11,530 張影象中包含了 27,450 個 ROI 註釋物件和 6,929 個目標分割資料。
引文：http://host.robots.ox.ac.uk/pascal/VOC/pubs/everingham10.pdf
下載地址：https://s3.amazonaws.com/fast-ai-imagelocal/pascal-voc.tgz
COCO 資料集
目前最常用於影象檢測定位的資料集應該要屬 COCO 資料集（全稱為 Common Objects in Context）。本文提 供 2017 版 COCO 資料集的所有檔案，另外附帶由 fast.ai 建立的子集資料集。我們可以從 COCO 資料集下載頁 面（http://cocodataset.org/#download）獲取每個 COCO 資料集的詳情。fast.ai 建立的子集資料集包含五個 選定類別的所有影象，這五個選定類別分別為：椅子、沙發、電視遙控、書籍和花瓶。
fast.ai 建立的子集資料集：https://s3.amazonaws.com/fast-ai-coco/coco_sample.tgz
訓練影象資料集：https://s3.amazonaws.com/fast-ai-coco/train2017.zip
驗證影象資料集：https://s3.amazonaws.com/fast-ai-coco/val2017.zip
測試影象資料集：https://s3.amazonaws.com/fast-ai-coco/test2017.zip
未經標註的影象資料集：https://s3.amazonaws.com/fast-ai-coco/unlabeled2017.zip
測試影象資料集詳情：https://s3.amazonaws.com/fast-ai-coco/image_info_test2017.zip
未經標註的影象資料集詳情：https://s3.amazonaws.com/fast-ai-coco/image_info_unlabeled2017.zip
訓練/驗證註釋集：https://s3.amazonaws.com/fast-ai-coco/annotations_trainval2017.zip
主體訓練/驗證註釋集：https://s3.amazonaws.com/fast-ai-coco/stuff_annotations_trainval2017.zip
全景訓練/驗證註釋集：https://s3.amazonaws.com/fast-ai-coco/panoptic_annotations_trainval2017.zip
資料集收集者：黃善清（僅供學習使用）