前言

我跨過山河大海，也穿過人山人海…然而前面還是高山大海，人山人海。初入機器學習的大門，爬上DEEPLEARNING的高山，發現前面還是高山，更多，更高，更難爬…ZST就是一座待爬的高山，很顯然，“不學習就會ZST”，“或者一學就會OST”的願景是美好的，正如小時候看的武俠小說和電影裡講的迴夢心經等等神奇武功，但現實卻告訴你，要想達成這樣的本領，你要學的就更多了，學多了就可以觸類旁通，事半功倍，機器學習也是這個道理。知乎專欄裡的前輩分享了一篇博文零次學習（Zero-Shot Learning）入門，給我們準備了爬山的攻略，我就跟著前人的腳步，試讀一下這十篇ZST的論文，跟著前輩啃paper，順便做個讀書筆記，看看能不能對這個問題收穫一知半解，找到解決我困境的鑰匙，再次突破自我。

zero-shot learning

ZSL在人類世界中是存在的，比如今早在地鐵上看到一位姑娘，雖然她帶著口罩，以前從未見過，我也斷定這是個美女，為什麼呢？因為在我的腦海裡，美女都有白皙的皮膚，苗條的身段，還有一雙清澈透明，會說話的眼睛…其實講到這裡，zero-shot的思想也就有了眉目，正如經典的斑馬問題，雖然大多數人沒有見過斑馬，但是擁有馬的外形和黑白相間的線條兩個顯著的特徵，人類就可以推斷出這是斑馬，機器只要在學習特徵和未訓練標籤再做一次決策樹之類的分類，就能得出這樣的推論。

Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer

這是2009年（人工智慧boost次世代前夕）的文章，學習網路用的還是SVM，所以文章也沒有大篇幅的吹噓神經網路的神奇，而是很樸素的提出了自己的基於屬性學習的分類觀點：Attribute-Based Classification。文中提到了人類能至少識別出30000個相關目標的類別，然後用斑馬的例子引出了他的觀點，其主要的工作和貢獻就在下圖裡講述了，即DAP-直接特徵學習和IAP-間接特徵學習。DAP是比較直觀的，各種特徵被平等對待。而IAP對特徵做了一層中間層，可以理解為對特徵做了加權處理，很像DP中的預訓練，凍結層之後做轉移學習的場景，這顯然像一個全連線層。

英文中關於attribute和feature在文中分的比較清，但6級英語水平的我很顯然對此有些困惑。翻遍了baidu和谷歌也是見仁見智，嗨。最後找一篇stanford大學網站機器學習術語表關於兩者的闡述：

An attribute has a domain defined by the attribute type, which denotes the values that can be taken by an attribute.
A feature is the specification of an attribute and its value. 
For example, color is an attribute. ``Color is blue'' is a feature of an example. 

差強人意的理解一下，但feature, attribute兩個概念將貫穿整個系列論文的學習中，慢慢領悟吧。

Label-Embedding for Attribute-Based Classification

這篇論文誕生於2013年，算是比較早期的文章，作者對屬性Attributes在機器學習領域有個很具體的定義，屬性Attributes是機器學習的中間表示，這個表示允許引數（我理解為feature特徵）在不同的類別之間分享。基於此，論文將基於屬性的影像分類當做了一種標籤嵌入（向量）問題，每一個類別被嵌入到一個屬性向量空間。我覺得這個Abstract寫的非常好，原文如下：

Attributes are an intermediate representation, which en-ables  parameter  sharing  between  classes,  a  must  when training 
data is scarce. We propose to view attribute-basedimage classification as a label-embedding problem:  each class  is  embedded 
in  the  space  of  attribute  vectors.   Weintroduce a function which measures the compatibility be-tween an image and a label 
embedding. The parameters ofthis function are learned on a training set of labeled sam-ples to ensure that, given an image, 
thecorrect classes rankhigher than the incorrect ones. Results on the Animals WithAttributes and Caltech-UCSD-Birds datasets 
show that theproposed  framework  outperforms  the  standard  Direct  At-tribute Prediction baseline in a zero-shot learning 
scenario.The  label  embedding  framework  offers  other  advantagessuch as the ability to leverage alternative sources 
of infor-mation in addition to attributes (e.g. class hierarchies) orto transition smoothly from zero-shot learning to learningwith large 
quantities of data.

An embarrassingly simple approach to zero-shot learning

這篇文章成文與2015年，zero-shot的概念已經提出來了，而且在介紹的段落，文章很清晰的提出可以分訓練階段和預測階段提高zero shot能力。這篇論文的Related Work還是對zero shot做了很多的篇幅的介紹，還強化了Attributes learnings的定義，

Transductive Multi-View Zero-Shot Learning

Zero-shot recognition using dual visualsemantic mapping paths

Predicting visual exemplars of unseen classes for zero-shot learning

Semantic Autoencoder for Zero-Shot Learning

Zero-Shot Learning - A Comprehensive Evaluation of the Good, the Bad and the Ugly

Zero-Shot Learning via Class-Conditioned Deep Generative Models

Preserving Semantic Relations for Zero-Shot Learning

Recent Advances in Zero-shot Recognition