Mixup vs. SamplePairing:ICLR2018投稿論文的兩種資料增廣方式

Paper_weekly發表於2018-03-06


640?wxfrom=5&wx_lazy=1


在碎片化閱讀充斥眼球的時代,越來越少的人會去關注每篇論文背後的探索和思考。


在這個欄目裡,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。


點選本文底部的「閱讀原文」即刻加入社群,檢視更多最新論文推薦。

這是 PaperDaily 的第 47 篇文章

關於作者:陳泰紅,小米高階演算法工程師,研究方向為人臉檢測識別,手勢識別與跟蹤。


■ 論文 | mixup: Beyond Empirical Risk Minimization

■ 連結 | https://www.paperweekly.site/papers/1605


論文動機


神經網路訓練需要海量的人工標註資料集,一般的資料增廣方式是裁剪、翻轉以及旋轉、尺度變化。之前在 arXiv 上看到過 IBM的一篇文章 SamplePairing:針對影像處理領域的高效資料增強方式,該論文主要是關於資料增強方式,沒有公式沒有網路架構,只通過簡單的相加求平均值方式


而在最近公佈的 ICLR 2018 入圍名單中,另一篇資料增廣相關論文脫穎而出,而 SamplePairing 出局。仔細閱讀 Mixup 的論文,發現它其實是對 SamplePairing 的更進一步延伸。


名詞解釋


Empirical Risk Minimization (ERM):機器學習的經驗風險最小化,ERM 策略認為,經驗風險最小化的模型是最優化的模型。可參照李航的《統計學習方法》[1] 進行理解。 


Βeta分佈:既然概率論中的貝塔分佈,是指一組定義在是指一組定義在(0,1)區間的連續概率分佈,有兩個引數 α 和 β。論文中 α 和 β 相等。Βeta 分佈的定義、概率密度函式和性質可參考 PRML [2]。 


為了理解 Beta 分佈,使用 Python 視覺化 Beta 的模型。論文選擇的超引數是 α=0.2 和 0.4,此處主要觀察 α 變化對應的概率分佈變化。


from scipy.stats import beta
import matplotlib.pyplot as plt
import numpy as np
x = np.linspace(0, 1, 100)
a_array = [1,0.5 ,0.1 ,0.2, 0.01,0.001]
for  a in a_array:
   plt.plot(x, beta.pdf(x, a, a), lw=1, alpha=0.6, label='a=' + str(a) + ',b=' + str(a))
plt.legend(frameon=False)
plt.show()


640


從上圖可以看出,α 趨近於 0 時,概率分佈趨近於 x-0 和 x=1 兩種情況,在論文中代表 ERM。


模型細節


SamplePairing


SamplePairing 的實現很簡單,兩幅圖片直接畫素相加求平均,監督的 label 不變。但是在訓練過程中,先用 ILSVRC 資料集普通資料增廣方式,完成多個 epoch 後間歇性禁止 SamplePairing,在訓練損失函式和精度穩定後,禁止 SamplePairing 進行微調。


個人認為相當於隨機引入噪聲,在訓練樣本中人為引入誤導性的訓練樣本。


mixup


640

 mixup實現公式、Python原始碼和視覺化實現


其中 (xi, yi) 和 (xj, yj) 是訓練集隨機選取的兩個資料,λ ∈ [0,1],λ ∼ Beta(α,α)。


mixup 擴充套件訓練集分佈基於這樣的先驗知識:線性特徵向量的混合導致相關目標線性混合。混合超引數 α 控制特徵目標之間的插值強度,α→0 時表示 ERM。


mixup 模型實現方式簡單,PyTorch 7 行程式碼即可實現。上圖中的視覺化表明,mixup 導致決策邊界模糊化,提供更平滑的預測。


實驗


論文的實驗過程很豐富,包括 CIFAR-10,CIFAR-100,和 ImageNet-2012,隨機噪音測試,語音資料,facing adversarial examples 黑盒攻擊和白盒攻擊,UCI 資料集,以及穩定訓練 GAN 網路。


640


640


640


640


640


640


對於具有代表性的 ImageNet-2012,Top-1 的精度至少提高 1.2%。


640


討論


論文提出,在訓練過程中,隨著 α 增加,訓練誤差越來越大,而在驗證驗證集測試中泛化誤差反而減少。這與論文提出的假設相同:mixup 隱含控制模型的複雜度。但是論文沒有提出 bias-variance trade-off 的理論解釋。 


論文提出一些進一步探索的可行性:


  • mixup 是否可以應用在其他監督學習問題,比如迴歸和結構化預測。mixup 可能在迴歸問題容易實現,結構化預測如影像分割等問題,實驗效果不明顯。


  • mixup 是否可以用於半監督學習、無監督學習或強化學習。當然作者是假設,希望有後來者證明 mixup 是理論可行的。 


mixup 來自 MIT 和 Facebook AI Research。ICLR 是雙盲評審,官網上的匿名評審意見普遍認為 mixup 缺乏理論基礎,但是實驗效果具有明顯優勢。筆者個人認為在 mixup 基礎上,還有很多坑可以填。


參考文獻


[1] 《統計學習方法》,李航

[2] Pattern Recognition and Machine Learning, Bishop


本文由 AI 學術社群 PaperWeekly 精選推薦,社群目前已覆蓋自然語言處理、計算機視覺、人工智慧、機器學習、資料探勘和資訊檢索等研究方向,點選「閱讀原文」即刻加入社群!

640?


點選以下標題檢視相關內容: 




640?


640?#榜 單 公 布 #


2017年度最值得讀的AI論文 | NLP篇 · 評選結果公佈

2017年度最值得讀的AI論文 | CV篇 · 評選結果公佈



  我是彩蛋 


解鎖新功能:熱門職位推薦!


PaperWeekly小程式升級啦


今日arXiv√猜你喜歡√熱門職位


找全職找實習都不是問題

 

 解鎖方式 

1. 識別下方二維碼開啟小程式

2. 用PaperWeekly社群賬號進行登陸

3. 登陸後即可解鎖所有功能


 職位釋出 

請新增小助手微信(pwbot01)進行諮詢

 

長按識別二維碼,使用小程式

*點選閱讀原文即可註冊


640?


           



關於PaperWeekly


PaperWeekly 是一個推薦、解讀、討論、報導人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號後臺點選「交流群」,小助手將把你帶入 PaperWeekly 的交流群裡。


640?

▽ 點選 | 閱讀原文 | 檢視原論文

相關文章