全機率公式與貝葉斯公式

Ofnoname發表於2024-11-27

在機率論和統計學中，全機率公式和貝葉斯公式是兩個核心工具，它們幫助我們分析不確定性和更新信念。

全機率公式 (Law of Total Probability)

全機率公式用於計算一個事件發生的總機率，考慮了可能影響該事件的所有情形。設有事件 \(B_1, B_2, \dots, B_n\) 構成一個完備事件組，即這些事件是互斥且窮盡的，且任意兩個事件 \(B_i\) 和 \(B_j\) (\(i eq j\)) 互斥，且 \(B_1, B_2, \dots, B_n\) 的並集是整個樣本空間。對於任意事件 \(A\)，全機率公式可以表示為：

\[P(A) = \sum_{i=1}^{n} P(A \mid B_i) P(B_i) \]

其中，\(P(A \mid B_i)\) 表示在 \(B_i\) 發生的條件下事件 \(A\) 的條件機率，而 \(P(B_i)\) 表示事件 \(B_i\) 的機率。

全機率公式的推導

全機率公式的推導基於條件機率的定義。根據條件機率，我們有：

\[P(A \cap B_i) = P(A \mid B_i) P(B_i) \]

事件 \(A\) 的機率可以透過所有 \(B_i\) 對 \(A\) 的影響來求和，即：

\[P(A) = \sum_{i=1}^n P(A \cap B_i) = \sum_{i=1}^n P(A \mid B_i) P(B_i) \]

這樣我們就得到了全機率公式。這個公式可以理解為事件 \(A\) 的總機率是透過所有可能情況下 \(A\) 發生的機率之和來計算的。

全機率公式的自然意義在於它幫助我們把一個複雜事件的機率拆分成若干個簡單情形下的機率，並透過加權和的方式計算總機率。這在我們分析一個事件的各種可能情形時非常有用。例如，當我們不知道某個變數的具體取值時，可以透過所有可能取值的加權平均來求解另一個事件的機率。這符合我們的直覺，也容易理解。

全機率公式的例子

假設一個人可能從三個不同的渠道獲取商品：渠道 \(B_1\) 是商店，渠道 \(B_2\) 是網上商店，渠道 \(B_3\) 是二手交易市場。我們已知從商店購買的機率為 \(P(B_1) = 0.5\)，從網上商店購買的機率為 \(P(B_2) = 0.3\)，從二手市場購買的機率為 \(P(B_3) = 0.2\)。現在我們想知道這個人購買到有缺陷商品（事件 \(A\)）的機率。

已知從商店購買的商品有缺陷的機率為 \(P(A \mid B_1) = 0.02\)，從網上商店購買的商品有缺陷的機率為 \(P(A \mid B_2) = 0.05\)，從二手市場購買的商品有缺陷的機率為 \(P(A \mid B_3) = 0.1\)。

根據全機率公式，我們可以計算這個人購買到有缺陷商品的總機率：

\[P(A) = P(A \mid B_1) P(B_1) + P(A \mid B_2) P(B_2) + P(A \mid B_3) P(B_3) \]

\[P(A) = (0.02\times 0.5) + (0.05\times 0.3) + (0.1 \times 0.2) \]

\[P(A) = 0.01 + 0.015 + 0.02 = 0.045 \]

因此，這個人購買到有缺陷商品的機率為 0.045，即 4.5%。

貝葉斯公式 (Bayes' Theorem)

貝葉斯公式是一種透過已有證據更新某個假設機率的工具。它的形式如下：

\[P(B \mid A) = \frac{P(A \mid B) P(B)}{P(A)} \]

其中，\(P(B \mid A)\) 是在事件 \(A\) 發生後事件 \(B\) 的後驗機率，\(P(A \mid B)\) 是事件 \(A\) 在 \(B\) 發生的條件下的機率，\(P(B)\) 是事件 \(B\) 的先驗機率，而 \(P(A)\) 是事件 \(A\) 的機率。而如果我們也將 \(B\) 劃分為 \(B_1, B_2, \dots, B_n\)，那麼 \(P(A)\)也可以用全機率拆分表示，我們得到：

\[P(B_j \mid A) = \frac{P(A \mid B_j) P(B_j)}{\sum_{i=1}^n P(A \mid B_i) P(B_i)}. \]

前一個公式看上去像是條件機率的簡單變形，而後一個形式更觸及其“由果及因”和“更新信念”的本質。我們可以把 \(P(B_j)\) 看作是先驗機率，代表在沒有新證據的情況下我們對事件 \(B_j\) 在所有\(B_i\)情況中的信念。而當我們觀察到新證據 \(A\) 後，在我們已知全體\(P(B_i)\)和\(P(A \mid B_i)\)的情況下，我們能夠更新這種信念，得到後驗機率 \(P(B_i \mid A)\)。這種方法符合人類的認知過程，即我們在獲取新資訊後會調整對某個事件的判斷。所以，此公式又叫做逆機率公式。

貝葉斯公式的推導

貝葉斯公式的推導基於條件機率的對稱性。根據條件機率的定義，\(P(A \cap B_j)\) 可以表示為：

\[P(A \cap B_j) = P(A \mid B_j) P(B_j) = P(B_j \mid A) P(A) \]

將這兩個表示式對比，移動到分母，我們可以得到：

\[P(B_j \mid A) = \frac{P(A \mid B_j) P(B_j)}{P(A)} \]

接下來可以選擇展開\(P(A)\)，這樣，我們便得到了貝葉斯公式。

貝葉斯公式的例子

貝葉斯公式的應用非常廣泛，涵蓋從醫學診斷到機器學習的多個領域。

疾病診斷正確率問題

假設某種疾病的患病率為 1%，即 \(P(\text{患病}) = 0.01\)。
測試的靈敏度為 90%，即在患病情況下測試陽性的機率為 \(P(\text{陽性} \mid \text{患病}) = 0.9\)。
測試的特異性為 95%，即在健康情況下測試陰性的機率為 \(P(\text{陰性} \mid \text{健康}) = 0.95\)。
我們要計算在測試結果為陽性的情況下，患者實際患病的機率，即 \(P(\text{患病} \mid \text{陽性})\)。

根據貝葉斯公式：

\[P(\text{患病} \mid \text{陽性}) = \frac{P(\text{陽性} \mid \text{患病}) P(\text{患病})}{P(\text{陽性})} \]

其中 \(P(\text{陽性})\) 可以透過全機率公式計算：

\[P(\text{陽性}) = P(\text{陽性} \mid \text{患病}) P(\text{患病}) + P(\text{陽性} \mid\text{健康}) P(\text{健康}) \]

\[P(\text{陽性}) = (0.9 \times 0.01) + (0.05 \times 0.99) = 0.009 + 0.0495 = 0.0585 \]

因此：

\[P(\text{患病} \mid\text{陽性}) = \frac{0.9 \times 0.01}{0.0585} \approx 0.1538 \]

即在測試陽性的情況下，患者實際患病的機率約為 15.38%。這個數字相當反直覺，因為在檢驗正確的機率看似很高，但實際上很低。

天氣預測問題

假設某地有三種天氣狀態：晴天、多雲和下雨，且它們的先驗機率分別為 \(P(\text{晴天}) = 0.5\)，\(P(\text{多雲}) = 0.3\)，\(P(\text{下雨}) = 0.2\)。現在我們透過某種跡象（如溼度）得知今天很溼潤，這種情況下的後驗機率可以透過貝葉斯公式計算。

假設在晴天、多雲和下雨情況下，今天溼潤的機率分別為 \(P(\text{溼潤} \mid \text{晴天}) = 0.1\)，\(P(\text{溼潤} \mid \text{多雲}) = 0.4\)，\(P(\text{溼潤} \mid \text{下雨}) = 0.8\)。我們要計算在溼潤的情況下今天是下雨的機率。

根據貝葉斯公式：

\[P(\text{下雨} \mid\text{溼潤}) = \frac{P(\text{溼潤} \mid\text{下雨}) P(\text{下雨})}{P(\text{溼潤})} \]

其中 \(P(\text{溼潤})\) 可以透過全機率公式計算：

\[P(\text{溼潤}) = (0.1 \times 0.5) + (0.4 \times 0.3) + (0.8 \times 0.2) = 0.05 + 0.12 + 0.16 = 0.33 \]

因此：

\[P(\text{下雨} \mid\text{溼潤}) = \frac{0.8 \times 0.2}{0.33} \approx 0.4848 \]

即在今天溼潤的情況下，下雨的機率約為 48.48%。

透過此例子，我們可以更深刻理解貝葉斯公式。天氣狀態（如晴天、多雲、下雨）是自變數，是原因（即\(B\)），而觀察到的“溼潤狀態”是結果（即\(A\)）。通常我們可以很清晰的描述由因到果的條件機率（即\(P(A|B_i)\)），如下雨的溼潤機率0.8，而晴天的溼潤機率僅0.1。若再給出各個天氣的先驗機率（即\(P(B_i)\)），我們就可以用全機率公式計算溼潤機率(\(P(A)\)）。

而反過來，貝葉斯公式允許我們反推：在已知“溼潤”的情況下，今天的天氣是“下雨”的機率是多少（即\(P(B_i|A)\)）？由於我們已推出等式的所有部分，這個結果可以計算得出，這就是由果推因。在沒有其他條件的情況下，下雨機率是\(0.2\)，但是在已知結果溼潤的條件下，下雨機率被更新到\(0.48\)，這就是更新信念。

兩個孩子的性別

假設一個家庭有兩個孩子，已知其中至少有一個是男性，求兩個孩子都是男性的機率。

設事件 \(A\) 表示“至少有一個是男性”，事件 \(B\) 表示“兩個孩子都是男性”。

\(P(B) = P(\text{兩個都是男性}) = \frac{1}{4}\)，因為四種組合（男男、男女、女男、女女）中只有一種是兩個都是男性。
\(P(A) = P(\text{至少一個是男性}) = \frac{3}{4}\)，因為四種組合中有三種包含至少一個男性。

根據貝葉斯公式：

\[P(B \mid A) = \frac{P(A \mid B) P(B)}{P(A)} \]

由於在 \(B\) 發生的情況下（兩個都是男性），\(A\) 必然發生，因此 \(P(A \mid B) = 1\)。

因此：

\[P(B \mid A) = \frac{1 \times \frac{1}{4}}{\frac{3}{4}} = \frac{1}{3} \]

即在已知至少有一個是男性的情況下，兩個孩子都是男性的機率為 \(\frac{1}{3}\)。

此問題計算簡單，但是常被作為文字遊戲。如果將題設改為已知家庭中的 "一個指定的孩子" 是男性（例如，明確指出“大兒子是男性”），求兩個孩子都是男性的機率就是 1/2。