元學習

在元學習過程中，模型在元訓練集中學習不同的任務。在該過程中存在兩種優化：學習新任務的學習者(器)和訓練學習者的元學習者。元學習方法通常屬於下面三個範疇中的一個：迴圈模型（recurrent model）、度量學習（metric learning）和學習優化器（learning optimizer）（三種元學習方法）。

迴圈模型

這種元學習方法訓練一個迴圈模型（即 LSTM），模型從資料集中獲取序列輸入，然後處理任務中新的輸入。在影像分類設定中，這可能包括從（影像、標籤）對資料集中獲取序列輸入，再處理必須分類的新樣本。

輸入 xt 和對應標籤 yt 的迴圈模型（一個Epiode包含訓練和測試，參考LSTM_Optimization as a model for few-shot learning對資料集的解釋）

元學習者使用梯度下降(Adam )，而學習者僅執行迴圈網路。該方法是最通用的方法之一，且已經用於小樣本的分類、迴歸任務，以及元強化學習中。儘管該方法比較靈活，但由於學習者網路需要從頭設計學習策略，因此該方法比其他元學習方法的效率略低。

度量學習

即學習一個度量空間，在該空間中的學習異常高效，這種方法多用於小樣本分類。直觀來看，如果我們的目標是從少量樣本影像中學習，那麼一個簡單的方法就是對比你想進行分類的影像和已有的樣本影像。但是，正如你可能想到的那樣，在畫素空間裡進行影像對比的效果並不好。不過，你可以訓練一個 Siamese 網路或在學習的度量空間裡進行影像對比。與前一個方法類似，元學習通過梯度下降（或者其他神經網路優化器）來進行，而學習者對應對比機制，即在元學習度量空間裡對比最近鄰。這些方法用於小樣本分類時效果很好，不過度量學習方法的效果尚未在迴歸或強化學習等其他元學習領域中驗證。

學習優化器

(感覺跟迴圈模型相似？在論文中：Learning to learn by gradient descent by gradient descent)

最後一個方法是學習一個優化器，即一個網路（元學習者）學習如何更新另一個網路（學習者），以使學習者能高效地學習該任務。該方法得到廣泛研究，以獲得更好的神經網路優化效果。元學習者通常是一個迴圈網路，該網路可以記住它之前更新學習者模型的方式。我們可以使用強化學習或監督學習對元學習者進行訓練。近期，Ravi 和 Larochelle 證明了該方法在小樣本影像分類方面的優勢，並表示學習者模型是一個可學習的優化過程。