Learning to detect unseen object classes by between-class attribute這篇文章首次提出了Zero-shot Learning這一問題的概念，並給出了基於物體屬性的解決方法。

演算法概要

前提

$(x_1,l_1),\cdots ,(x_n,l_n)$為訓練樣本$x$和相應類別標籤$l$，這樣的成對資料共有$n$組，$l$中一共有$K$類，用 Y = { y 1 , ⋯   , y K } Y=\{y_1,\cdots,y_K\} Y={y1​,⋯,yK​}表示， Z = { z 1 , ⋯   , z L } Z=\{z_1,\cdots,z_L\} Z={z1​,⋯,zL​} 為測試集中所包含的$L$個類別，這裡$Y$和$Z$就分別是可見類和不可見類，二者之間沒有交集.

目標

學習一個分類器：$f:X\to Z$，也就是通過學習分類器，找到訓練資料$x$和相應可見類別標籤$l$與位置類別標籤$Z$之間的關係。

思路

通過建立一個人工定義的屬性層A，這個屬性層是高維的、可以表徵訓練樣本的各項特徵，比如顏色、條紋等，目的是將基於圖片的低維特徵分類器轉化到一個表徵高維語義特徵的屬性層。這樣可以使得分類器分類能力更廣，具備突破類別邊界的可能。
基於這個思路，作者提出了兩種方法，分別是DAP和IAP.

具體原理

DAP(Direct attribute prediction)

如下圖，DAP在樣本和訓練類別標籤之間加入了一個屬性表示層A，$a$為$M$維屬性向量$(a_1,\cdots ,a_M)$，每一維代表一個屬性，且在 { 0 , 1 } \{0,1\} {0,1}之間取值，對於每個標籤都對應一個M維向量作為其屬性向量（原型）。通過訓練集$X$的對應屬性進行訓練，學習得到屬性層的引數$\beta$，之後便可以得到$P(a|x)$，
將輸入測試例項x輸出的標籤作為待估計的引數，對於測試例項x，即可利用MAP的思想，找出概率最大的類為輸出的估計類。

MAP的原理見此連結https://blog.csdn.net/River_J777/article/details/111500068

z的後驗概率為：
p ( z ∣ x ) = ∑ a ∈ { 0 , 1 } M p ( z ∣ a ) p ( a ∣ x ) p(z \mid x)=\sum_{a \in\{0,1\}^{M}} p(z \mid a) p(a \mid x) p(z∣x)=a∈{0,1}M∑​p(z∣a)p(a∣x)
根據貝葉斯公式：
= ∑ a ∈ { 0 , 1 } M p ( a ∣ z ) p ( z ) p ( a ) p ( a ∣ x ) =\sum_{a \in\{0,1\}^{M}} \frac{p(a \mid z) p(z)}{p(a)} p(a \mid x) =a∈{0,1}M∑​p(a)p(a∣z)p(z)​p(a∣x)
根據文章中的假設前提各個維度屬性條件獨立（這個假設有點過強也是DAP主要問題所在）
= ∑ a ∈ { 0 , 1 } M p ( a ∣ z ) p ( z ) p ( a ) ∏ m = 1 M p ( a m ∣ x ) =\sum_{a \in\{0,1\}^{M}} \frac{p(a \mid z) p(z)}{p(a)} \prod_{m=1}^{M} p\left(a_{m} \mid x\right) =a∈{0,1}M∑​p(a)p(a∣z)p(z)​m=1∏M​p(am​∣x)
根據Iverson bracket$[[x]]$，若其中語句為真則為1，否則為0，得 $p(a\mid z)=\left[\left[a=a^z\right]\right]$ ，可得：
= ∑ a ∈ { 0 , 1 } M p ( z ) p ( a ) [ [ a = a z ] ] ∏ m = 1 M p ( a m ∣ x ) =\sum_{a \in\{0,1\}^{M}} \frac{p(z)}{p(a)}\left[\left[a=a^{z}\right]\right] \prod_{m=1}^{M} p\left(a_{m} \mid x\right) =a∈{0,1}M∑​p(a)p(z)​[[a=az]]m=1∏M​p(am​∣x)
由DAP的圖模型知 $p\left(a^z\right)=p(a)$，可得：
= ∑ a ∈ { 0 , 1 } M p ( z ) p ( a z ) [ [ a = a z ] ] ∏ m = 1 M p ( a m ∣ x ) =\sum_{a \in\{0,1\}^{M}} \frac{p(z)}{p\left(a^{z}\right)}\left[\left[a=a^{z}\right]\right] \prod_{m=1}^{M} p\left(a_{m} \mid x\right) =a∈{0,1}M∑​p(az)p(z)​[[a=az]]m=1∏M​p(am​∣x)
整理得：
= p ( z ) p ( a z ) ∑ a ∈ { 0 , 1 } M [ [ a = a z ] ] ∏ m = 1 M p ( a m ∣ x ) =\frac{p(z)}{p\left(a^{z}\right)} \sum_{a \in\{0,1\}^{M}}\left[\left[a=a^{z}\right]\right] \prod_{m=1}^{M} p\left(a_{m} \mid x\right) =p(az)p(z)​a∈{0,1}M∑​[[a=az]]m=1∏M​p(am​∣x)
省略掉為零的項：
$$=\frac{p(z)}{p\left(a^z\right)}\prod _{m=1}^{M}p\left(a_m^z\mid x\right)$$
表示出z的後驗概率後，對於輸入測試例項x進入分類器後，分別測試不可見標籤集$z_1,\cdots ,z_l$，求最大：
$$f(x)={\mathrm{argmax}}_{l=1,2,\dots \dots L\frac{p(z)}{p\left(a^{z_l}\right)}}\prod _{m=1}^{M}p\left(a_m^{z_l}\mid x\right)$$
根據屬性之間獨立：
$$={\mathrm{argmax}}_{l=1,2,\dots ..L}\frac{{\prod }_{m=1}^{M}p\left(a_m^{z_l}\mid x\right)}{{\prod }_{m=1}^{M}p\left(a_m^{z_l}\right)}$$
$$={\mathrm{argmax}}_{l=1,2,\dots ..L}\prod _{m=1}^M\frac{p\left(a_m^{z_l}\mid x\right)}{p\left(a_m^{z_l}\right)}$$
$f(x)$ 的輸出即為對於輸入x的預測標籤.

IAP

區別於DAP，DAP的PGM中屬性層是在例項層和標籤層（包括可見和不可見）之間，而IAP則是將屬性層置於可見標籤層與不可見標籤層之間，用來遷移可見類標籤與例項的資訊到不可見標籤層。

原理和DAP類似，此時的後驗概率為：
$$p\left(a_m\mid x\right)=\sum _{i=1}^{K}p\left(a_m\mid y_k\right)p\left(y_k\mid x\right)$$
得到這個後驗後，再求出z的後驗，即可如同DAP中一樣應用MAP即可.