談談如何訓練一個效能不錯的深度神經網路
【原文:http://blog.csdn.net/kuaitoukid/article/details/45821891】
深度學習大火,將各個資料集的state of the art不斷地重新整理,到了開原始碼一放出,有種全民皆可刷排名的節奏。
不過可別把刷資料想的那麼簡單,不然大家去哪發paper,怎麼混飯吃= = 但是我不想發paper就想佔坑刷資料怎麼辦,看到cifar10都尼瑪刷到了95%了,我這用caffe自帶的小demo才得出78%的結果,caffe你確定不是在騙我?
caffe確實沒在騙你= =今天我給大家介紹一下如何刷出一個效能接近paper的神經網路
以CNN為例,基本分為三步:
第一步使用leaky relu,dropout(具體參見blog.kaggle.com/2015/01/02/cifar-10-competition-winners-interviews-with-dr-ben-graham-phil-culliton-zygmunt-zajac/)
第二步,資料擾動,將資料上下左右平移,放大縮小,泛綠,泛紅,反色等等,做很多的合理的擾動,
第三步,固定步長學習,直到訓練不動,找一個高精度的solverstate作為起點,將學習率下降再訓練,按理說降到1e-4就訓練的差不多了
其實當你研究多了就發現,真正提高效能的還是第二步,其他的只能說是錦上添花,資料擾動才是根本,當然這也揭示了分類器本身的缺陷。
當然了,有人問,你網路結構還沒給呢,這個嘛,paper跟實驗接觸多了,自己自然就會設計了,我倒是覺得網路結構不是主要的,因為CNN的致命缺陷其他分類器也都有,要解決只能說是都一起解決。
MNIST我靠資料擾動將結果刷到了99.58%,結構很簡單粗暴無腦,cifar10擾動太少只是88%,做多了上90%應該很輕鬆,ImageNet,呵呵,看看金連文老師微博上對百度在ImageNet上的評論你就知道我想說什麼了。
(百度把指標刷到了4.58%,主要的工作就是(1)更多的銀子(144塊GPU叢集)(2)更大的網路(6個16層212M的模型整合)(3)更多的資料(每張圖合成出上萬種變化)——金連文)
相關文章
- Batch Normalization: 如何更快地訓練深度神經網路BATORM神經網路
- 3.3 神經網路的訓練神經網路
- 如何應對訓練的神經網路不工作?神經網路
- 訓練自己的Android TensorFlow神經網路Android神經網路
- 從零開始:教你如何訓練神經網路神經網路
- 訓練神經網路時如何確定batch size?神經網路BAT
- 深度學習與CV教程(6) | 神經網路訓練技巧 (上)深度學習神經網路
- 神經網路訓練的三個基本概念Epoch, Batch, Iteration神經網路BAT
- 用神經網路測量訓練集的半衰期神經網路
- 阿里P8談談淺層神經網路的學習方法阿里神經網路
- 4種除錯深度神經網路的方法除錯神經網路
- 深度神經網路的分散式訓練概述:常用方法和技巧全面總結神經網路分散式
- 如何優化深度神經網路?優化神經網路
- 如何入門Pytorch之四:搭建神經網路訓練MNISTPyTorch神經網路
- 使用tf.estimator.Estimator訓練神經網路神經網路
- 零基礎入門深度學習(一):用numpy實現神經網路訓練深度學習神經網路
- 面向統一的AI神經網路架構和預訓練方法AI神經網路架構
- umich cv-5-1 神經網路訓練1神經網路
- umich cv-5-2 神經網路訓練2神經網路
- Yelp訓練了一個神經網路來debug,然後就被這個AI刪庫了神經網路AI
- 【深度學習篇】--神經網路中的卷積神經網路深度學習神經網路卷積
- 如何除錯神經網路引數除錯神經網路
- 如何調整一個不收斂的神經網路神經網路
- 機器學習之訓練神經網路:最佳做法機器學習神經網路
- 【python實現卷積神經網路】開始訓練Python卷積神經網路
- DLL:一個炙手可熱的快速深度神經網路庫神經網路
- 白話深度神經網路神經網路
- 送你9個快速使用Pytorch訓練解決神經網路的技巧(附程式碼)PyTorch神經網路
- 使用 PyTorch 構建和訓練一個卷積神經網路進行影像分類任務PyTorch卷積神經網路
- 深度剖析卷積神經網路卷積神經網路
- 深度學習 | 訓練網路trick——mixup深度學習
- 迴圈神經網路之embedding,padding,模型構建與訓練神經網路padding模型
- 神經網路之反向傳播訓練(8行程式碼)神經網路反向傳播行程
- 如何用Python和深度神經網路識別影象?Python神經網路
- 深度神經網路的壓縮與加速神經網路
- Python深度學習(在小型資料集上從頭開始訓練一個卷積神經網路)--學習筆記(十)Python深度學習卷積神經網路筆記
- 關於訓練神經網路的諸多技巧Tricks(完全總結版)神經網路
- 深度學習與圖神經網路深度學習神經網路
- 【深度學習】神經網路入門深度學習神經網路