這篇2017年的論文提供瞭解決semantic gap問題的簡單做法，所謂的semantic gap也就是從圖片中提取的低層特徵到高層語義之間存在的“語義鴻溝”問題。這與上一篇論文提到的領域漂移問題都是zero-shot learning技術瓶頸問題之一。

背景

流形學習

首先，什麼是流形？
流形(manifold)是區域性具有歐式空間性質的空間，包括各種緯度的曲線曲面，例如球體、彎曲的平面等。流形的區域性和歐式空間是同構的。
流形學習（manifold learning）是機器學習、模式識別中的一種方法，在維數約簡方面具有廣泛的應用。它的主要思想是將高維的資料對映到低維，使該低維的資料能夠反映原高維資料的某些本質結構特徵。流形學習的前提是有一種假設，即某些高維資料，實際是一種低維的流形結構嵌入在高維空間中。流形學習的目的是將其對映回低維空間中，揭示其本質。

語義間隔(semantic gap)

樣本的特徵往往是視覺特徵，比如用深度網路提取到的特徵，而語義表示卻是非視覺的，這直接反應到資料上其實就是：樣本在特徵空間中所構成的流型與語義空間中類別構成的流型是不一致的。而語義間隔問題就是樣本在特徵空間中的流形與語義空間中的類別構成的流形是有差異的。解決此問題的思路便是將二者的流型調整至一致。

演算法原理

演算法思路

要解決的問題是將特徵空間中的流形與語義空間中的類別構成的流形，最簡單的思路便是將類別的語義表示調整到樣本的流形，即用類別語義表示的K近鄰樣本點重新表示類別語義。

符號設定

1. 可見（訓練）標籤集 $L_s=\left\{l_s^1,l_s^2\dots \dots l_s^m\right\}$ (共有 $m$ 個類) ，其在語義空間中對應的prototype集為 $K_s=\left\{k_s^1,k_s^2\dots \dots k_s^m\right\}$；
2. 不可見 (測試) 標籤集 $L_u=\left\{l_u^1,l_u^2\dots \dots l_u^l\right\}$
   (共 $l$ 個類) ，其在語義空間中對應的prototype集為 $$K_u=\left\{k_u^1,k_u^2\dots \dots k_u^l\right\}$;
3. 特徵表徵集 X s = { x 1 , x 2 , … … , x n } X_{s}=\left\{x_{1}, x_{2} ,\ldots \ldots, x_{n}\right\} Xs​={x1​,x2​,……,xn​},其中 $x_i$ 對應第 $i$ 個影像的提取特徵；
4. 訓練集 D s = { ( x i , y i , k i ) } i = 1 n , x i ∈ X s D_{s}=\left\{\left(x_{i}, y_{i}, k_{i}\right)\right\}_{i=1}^{n}, \quad x_{i} \in X_{s} Ds​={(xi​,yi​,ki​)}i=1n​,xi​∈Xs​, $y_i\in L_s$.

演算法流程

訓練：

1. 使用傳統的方法求解特徵空間到屬性空間的對映 $f_s$,即求解投影矩陣 $W$
   $W={\mathrm{argmin}}_{W}l\left(WX,K_s\right)+\Omega (W)$
   其中 $l(X,Y)$ 為損失函式, $\Omega (W)$ 為正則化項
2. 對於所有的 $k_s^i$,對所有的訓練樣本在語義空間的投影 { f s ( x i ) } i = 1 n \left\{f_{s}\left(x_{i}\right)\right\}_{i=1}^{n} {fs​(xi​)}i=1n​
   求m（m為超引數) 個最近鄰，並賦值: ${\tilde{k}}_s^i=\frac{1}{m}{\sum }_{m\text{個}{k}_s^i\text{ 的最近鄰 }}{f}_s\left(x_i\right)$
   並用 ${\tilde{k}}_s^i$ 構建新的語義空間 $\tilde{s}$
3. 反覆迭代1，2直至收斂.

測試：
對於測試特徵矩陣 $X_u,$ 如同step2，對於所有的 $k_u^i$ 求m個最近鄰並賦值構建新的語 義空間，並一樣進行迭代，最後得到最終的對映 ${\tilde{f}}_s,\tilde{u},$ 再通過餘弦距離輸出預測：
$j={\mathrm{argmin}}_{j}d\left(f_s\left(x_j\right),k_c\right)$