多分類學習及糾錯輸出碼

多分類學習及糾錯輸出碼

拆分策略

經典的拆分策略一般分為三種：

• 一對一
• 一對多
• 多對多

``OvO指的是One vs. One，相應的由One vs. Remain的OvR，可以看出對於n個類別的多分類學習，OvO可以在$\frac{n(n-1)}{2}$個分類器中得到輸出，而OvR只需訓練n`個分類器。

ECOC

MvM中有一種透過編碼的方式進行拆分的技術，稱為糾錯輸出碼(ECOC)。觀察以下編碼矩陣：

類別	分類器$f_1$	分類器$f_2$	分類器$f_3$	海明距離	歐氏距離
$C_1$	+1	-1	-1	1	2
$C_2$	+1	+1	-1	2	$2\sqrt{2}$
$C_3$	+1	+1	+1	3	$2\sqrt{3}$
樣例	-1	-1	-1	\	\

+1代表該類為正類，-1表示為反類，一般來說還可能存在停用類

根據海明距離和歐氏距離判斷最終樣例的輸出類別，越小表明分類效果越好。

從編碼的角度出發，可以看到ECOC本身具有一定的糾錯能力，具有對錯誤分類的容忍能力：

• 當$f_2$出現錯誤，最終得到的輸出類別仍是$C_1$，因為在劃分過程當中分類器對所有樣例判斷都出現錯誤
• 當編碼越長，對距離計算的影響越小

因此編碼越長，糾錯能力越強。

類別不平衡問題

類別不平衡問題指的是分類任務中不同類別的訓練樣例差別很大。這裡假設正例遠遠小於反例。

無偏取樣

定義分類器的劃分策略為
$$
當\frac{y}{1-y}>\frac{m^+}{m-},預測為正例
$$
$m^{+$表示樣例中的正例數量，$m}-$表示樣例中的反例數量。

再放縮

$$
\frac{y'}{1-y'} = \frac{y}{1-y} \times\frac{m^-}{m+}
$$

再放縮：

• 透過“欠取樣”和“過取樣”對訓練集進行調整，“欠取樣”指去除一些反例使得正反例數量相當，“過取樣”指增加正例使得其相當。
• 使用原訓練集繼續訓練，在對例項分類時採用$\frac{y'}{1-y'} = \frac{y}{1-y} \times\frac{m^-}{m+}$作為策略。

這裡的再放縮屬於代價敏感學習，$m^-$和$m+$可以用$cost^+$和$cost-$進行表示，$cost^{+$表示將正類誤判為負類的代價，$cost}-$指的時將負類判斷為正類的代價。