影像資料不足時的處理方法

一個模型所能提供的資訊一般來源於兩個方面，一是訓練資料中蘊含的資訊；二是在模型的形成過程中（構造，學習，推理），人們提供的先驗資訊。訓練資料不足時，說明模型從從原始資訊獲取的資訊比較少，要想保證效果，就要更多的先驗資訊。先驗資訊可以作用在模型上，例如讓模型採用特定的內在結構，條件假設；先驗資訊也可以直接施加在資料集上，即根據特定的先驗假設去調整，變換或擴充套件訓練資料，讓其展現出更多更有用的資訊，以利於後續模型的訓練和練習。

我們知道訓練資料不足主要表現在過擬合方面，模型可能在訓練樣本上的效果不錯，但是在測試集上的泛化效果不好。對於上述討論，可以分為兩類。

一，基於模型的方法，主要是採取降低過擬合的措施，包括簡化模型(L1/L2正則項)，整合學習，Dropout超參

二，基於資料的方法，主要通過資料擴充，即根據一些先驗知識，在保持特定資訊的前提下，對原始資料進行適當變換達到擴充資料集的效果。具體到影像分類可以：

1.一定程度內的隨機旋轉，平移，裁剪，填充，左右翻轉，這些變換對應著同一個目標在不同角度的觀察結果。
2.對影像中的畫素新增噪聲擾動，比如椒鹽噪聲，高斯白噪聲。
3.顏色變換，在影像的RGB顏色空間上進行主成分分析，得到3個主成分的特徵向量p1,p2,p3及其對應的特徵值$\lambda_1,\lambda_2,\lambda_3$，然後在每一個畫素的RGB值上新增增量
4.改變影像的亮度，清晰度，對比度，銳度等

使用生成模型，GAN

藉助已有的其他模型或資料來進行遷移學習。對於大部分圖片分類任務，並不需要從頭開始訓練模型，二是借用一個在大規模資料集上預訓練好的通用模型，並在針對目標任務的小資料集上進行微調（fine-tune），這種微調操作就可以看成是一種簡單的遷移學習。