一項根本性的新技術LO-shot使AI幾乎無需資料即可學習 - technologyreview

如何工作？
研究人員在嘗試使用流行的MNIST的計算機視覺資料集時，首先證明了這一想法。MNIST包含60,000個從0到9的手寫數字的訓練影像，通常用於測試該領域的新想法。
在以前的論文中，麻省理工學院的研究人員介紹了一種將大資料集“提取”為微小資料集的技術，並且作為概念證明，他們將MNIST壓縮到僅10張影像。這些影像不是從原始資料集中選擇的，而是經過精心設計和最佳化以包含與整個資料集相當的資訊量。結果，當僅對10個影像進行訓練時，一個AI模型可以達到與對所有MNIST影像進行訓練的精度幾乎相同的精度。
滑鐵盧研究人員希望進一步進行蒸餾過程。如果可以將60,000張影像縮小到10張，為什麼不將它們壓縮到5張呢？他們意識到，訣竅是建立將多個數字混合在一起的影像，然後將它們輸入帶有混合或“軟”標籤的AI模型中。（回想一下具有獨角獸特徵的馬和犀牛。）
“如果考慮數字3，它看起來也像數字8，但不像數字7，”滑鐵盧大學博士研究生，論文的主要作者伊利亞·蘇科洛茨基（Ilia Sucholutsky）說。“軟標籤試圖捕獲這些共享功能。因此，我們無需告訴機器“此影像是數字3”，而是說：“此影像是數字3的60％，數字8的30％和數字0的10％。”
 

LO-shot學習的侷限性
一旦研究人員成功地使用軟標籤在MNIST上實現LO-shot學習，他們便開始懷疑這個想法實際上可以走多遠。您可以教AI模型從少量示例中進行識別的類別數量是否有限制？
令人驚訝的是，答案似乎是否定的。使用精心設計的軟標籤，理論上甚至兩個示例都可以編碼任意數量的類別。Sucholutsky說：“只有兩點，您可以將一千個型別，一萬個型別或一百萬個型別分開。”
這是研究人員透過純數學探索在最新論文中證明的。他們使用一種最簡單的機器學習演算法（稱為k最近鄰居（kNN））來體現這一概念，該演算法使用圖形方法對物件進行分類。
要了解kNN的工作原理，請以對水果進行分類的任務為例。如果要訓練kNN模型以瞭解蘋果和橘子之間的區別，則必須首先選擇要用於表示每個水果的特徵。也許您選擇顏色和權重，所以對於每個蘋果和橙子，您都將水果的顏色作為其x值並將其重量作為y值來輸入kNN一個資料點。然後，kNN演算法將所有資料點繪製在2D圖表上，並在蘋果和橘子之間的中間沿直線向下繪製一條邊界線。此時，將圖整齊地分為兩類，該演算法現在可以根據新資料點落線上的哪一側來決定它們代表一個還是另一個。
為了探索使用kNN演算法的LO-shot學習，研究人員建立了一系列微小的合成資料集，並精心設計了它們的軟標籤。然後，他們讓kNN繪製了所看到的邊界線，並發現它成功地將繪製圖分成了比資料點更多的類。研究人員還對邊界線的下降位置進行了高度控制。透過對軟標籤進行各種調整，他們可以獲得kNN演算法以繪製花朵形狀的精確圖案。

當然，這些理論探索有一定的侷限性。儘管LO快照學習的思想應該轉移到更復雜的演算法上，但是設計帶有軟標籤的示例的任務卻變得越來越困難。kNN演算法具有可解釋性和可視性，使人們可以設計標籤。神經網路是複雜且不可穿透的，這意味著事實並非如此。資料蒸餾用於設計神經網路的軟標籤示例，但它也有一個主要缺點：它要求您從龐大的資料集入手，以將其縮減為更有效的資料。
Sucholutsky說，他正在研究其他方法來工程化這些微小的合成資料集，無論這意味著要手動設計還是使用其他演算法進行設計。儘管有這些額外的研究挑戰，但是本文為LO-shot學習提供了理論基礎。他說：“結論取決於您擁有什麼樣的資料集，您可能會獲得巨大的效率提升。”
麻省理工學院博士生Tongzhou Wang是最感興趣的人，他領導了較早的資料蒸餾研究。他談到Sucholutsky的貢獻時說：“本文基於一個真正新穎而重要的目標：從小型資料集中學習強大的模型。”
蒙特利爾AI倫理研究所的研究員Ryan Khurana回應了這一觀點：“最重要的是，LO-shot一次性的學習將從根本上減少建立功能模型所需的資料。” 這可能使迄今為止受該領域資料要求所困擾的公司和行業更容易使用AI。它還可以改善資料隱私性，因為從個人那裡提取的資訊更少，可以訓練有用的模型。
Sucholutsky強調研究還很早，但是他很興奮。他說，每當他開始向其他研究人員介紹論文時，他們的最初反應就是說這個想法是不可能的。當他們突然意識到事實並非如此時，它開啟了一個全新的世界。