模式識別學習筆記——貝葉斯決策

先把貝葉斯公式放在這

$$P({\omega }_i|x)=\frac{P(x|{\omega }_i)P({\omega }_i)}{P(x)}$$

後驗=(似然×先驗) / 證據因子

關於貝葉斯定理的講解，強烈推薦看3Blue1Brown的視訊，B站就有。

核心思想就一句話：證據不應直接決定看法，而是更新看法

Symbol

1. 類別$\omega$

   $${\omega }_i,i=1,2,3,...,c$$

2. 先驗概率$P({\omega }_i)$

   先驗概率和為1

   $${\Sigma }_{i=1}^{c}P({\omega }_i)=1$$

3. 後驗概率$P({\omega }_i|x)$

4. 似然$P(x|{\omega }_i)$

5. 樣本$x$（向量）

   實際上是選取某些特徵來表示樣本

Before Observation

 只知先驗$P({\omega }_i)$，沒有似然$P(x|{\omega }_i)$。
 那很簡單，給定一個新的樣本$x$，最優的分類方法就是把它分為先驗最大的那一類。

After Observation

 有了觀測樣本，那麼就能用一些方法估計每個類${\omega }_i$取到$x$的概率（離散情況下。連續情況就估計類條件概率密度函式），似然$P(x|{\omega }_i)$

$$類條件概率密度函數p(x|{\omega }_i)$$

上面的結果並不能直接用於分類。 不能直接用於分類。 不能直接用於分類。 貝葉斯的核心思想： 證據不應直接決定看法，而是更新看法

 我們可以將似然理解為，從樣本中學到的新的知識。我們應該拿它去更新舊的知識——先驗（將二者相乘）。

 有先驗，有似然，利用全概率公式，可以求證據因子

$$P(x)={\Sigma }_{i=1}^{c}P(x|{\omega }_i)P({\omega }_i)$$

 利用貝葉斯公式求出後驗$P({\omega }_i|x)$，取後驗最大的${\omega }_i$為樣本$x$的類別

Two Special Case

1.等先驗

$$P({\omega }_1)=P({\omega }_2)=\cdots =P({\omega }_c)=\frac{1}{c}$$

 這種情況下，先驗對於分類結果就沒有影響。分類結果由似然決定。

2.等似然

$$P(x|{\omega }_1)=P(x|{\omega }_2)=\cdots =P(x|{\omega }_c)$$

 這種情況下，似然對於分類結果就沒有影響。分類結果由先驗決定。

Is Bayes Decision Rule Optimal?

（這裡學的挺糊塗的。。。）

 以二分類情況為例

$$P({\omega }_i|x)>P({\omega }_j|x),Decide:{\omega }_i;Otherwise:{\omega }_j$$

 對於任意觀測樣本$x$，對$x$進行分類，分錯的可能性（probability of error）如下式所示：

$$P(error|x)=\{\begin{array}{rl}& P({\omega }_1|x),ifdecide{\omega }_2\\ & P({\omega }_2|x),ifdecide{\omega }_1\end{array}$$

我的理解如下：首先假設觀測到的樣本和實際情況是同分布的，對於某個觀測樣本$x=\alpha$，假如$P({\omega }_1|\alpha )=0.1$，$P({\omega }_2|\alpha )=0.9$，那麼所有取值為$\alpha$的樣本都會被分到${\omega }_2$類。假設實際情況有100個樣本取到值$\alpha$，那麼可能有10個屬於${\omega }_1$類，90個屬於${\omega }_2$類，錯分的可能也就是0.1

 那麼在貝葉斯決策論下，我們就有：
$$P(error|x)=min[P({\omega }_1|x),P({\omega }_2|x)]$$

 上面這個是老師PPT裡的東西，沒想明白什麼意思。

我的理解如下：首先這是以二分類為例，根據$P(error|x)$的定義，最小化$P(error|x)$就是最小化$P({\omega }_1|x)、P({\omega }_2|x)$兩者的最小值。較小值儘可能小$⟶$較大值儘可能大$⟶$兩類分的儘可能開（減少模糊區域）。
沒想明白這和貝葉斯分類器是最優分類器之間怎麼聯絡起來。

The General Case

• 三種擴充

  • 多分類

  • 允許其他action（拒絕分類）

  • 引入loss function代替錯分率（error probability）

• Loss Function $\lambda ({\alpha }_i|{\omega }_j)$

  當真實的類為${\omega }_j$時，執行${\alpha }_i$行動所產生的loss

• Conditional risk (Expected loss)

  當觀測到的樣本為$x$，執行操作${\alpha }_i$的條件風險（期望損失）為

$$R({\alpha }_i|x)={\Sigma }_{j=1}^c\lambda ({\alpha }_i|{\omega }_j)P({\omega }_j|x)$$

Optimality of Bayesian Decision

• Decision Rule Function $\to \alpha (x)$

• Total Risk $\to R=\int R(\alpha (x)|x)P(x)dx$

• Optimal Decision

  • 指定的決策規則要實現總風險最小化

  • 對於給定的特徵 $x$ ，如果決策規則選擇的動作可以使條件風險 $R(\alpha (x)|x)$ 最小化，那麼總風險 $R$ 將最小化

• Bayesion Decision Rule

  對全部 $i=1,2,...,a,$ 計算條件風險 $R({\alpha }_i|x)$ ，挑選action ${\alpha }_j$ 實現最小化條件風險 $R({\alpha }_j|x)$

貝葉斯決策得到的最小總風險(minimum total risk)稱為 貝葉斯風險(Bayesion Risk)，用R*表示

Two-Class Classification

• Action

  • ${\alpha }_1$: decide ${\omega }_1$

  • ${\alpha }_2$: decide ${\omega }_2$

• Loss

  • ${\lambda }_{ij}=\lambda ({\alpha }_i|{\omega }_j)$

• Conditional Risk

  • $R({\alpha }_1|x)={\lambda }_{11}P({\omega }_1|x)+{\lambda }_{12}P({\omega }_2|x)$

  • $R({\alpha }_2|x)={\lambda }_{21}P({\omega }_1|x)+{\lambda }_{22}P({\omega }_2|x)$

• minimum risk decision rule

  • if $R({\alpha }_1|x)\le R({\alpha }_2|x)$ decide ${\omega }_1$ else decide ${\omega }_2$

• Equivalent minimum risk decision rules

  (以將 $x$ 分為 ${\omega }_1$ 類為例)

  $$R({\alpha }_1|x)\le R({\alpha }_2|x)$$

  $$({\lambda }_{21}-{\lambda }_{11})P({\omega }_1|x)\ge ({\lambda }_{12}-{\lambda }_{22})P({\omega }_2|x)$$

  $$({\lambda }_{21}-{\lambda }_{11})P(x|{\omega }_1)P({\omega }_1)\ge ({\lambda }_{12}-{\lambda }_{22})P(x|{\omega }_2)P({\omega }_2)$$

• 通常來講分類錯誤的損失，大於分類正確的損失

  ${\lambda }_{21}-{\lambda }_{11}>0$
  ${\lambda }_{12}-{\lambda }_{22}>0$

• 於是可以推出：(不等式左邊項叫做似然比(Likelihood Ratio))
  $$\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}\ge \frac{({\lambda }_{12}-{\lambda }_{22})P({\omega }_2)}{({\lambda }_{21}-{\lambda }_{11})P({\omega }_1)}$$

• 上面式子為基於似然比的Bayesian Decision Rule，滿足上述不等式 $\to$ ${\omega }_1$ 類，不滿足上述不等式$\to$ ${\omega }_2$ 類。

“0-1” loss

$$\lambda ({\alpha }_i|{\omega }_j)=\{\begin{array}{rlr}& 0& i=j(correctdecision)\\ & 1& i\ne j(incorrectdecision)\end{array}$$

  “0-1”loss可以視作沒有損失

Minimum-Error-Rate Classification

• Minimum-error-rate classification就是使用"0-1"loss的minimum risk classification

• 退化為基於後驗的分類器

Minimax Rule

(未完待續)