前言

線性判別分析（linear discriminant analysis，簡稱LDA）是一種解決分類問題的方法。上一篇文章中講到的邏輯斯蒂迴歸是處理分類問題的一個很好的模型，那麼為什麼還需要LDA呢？主要有以下三個原因：

1. 當類分離得很好的時候，邏輯斯蒂迴歸的引數估計很不穩定，而LDA不會存在這個問題。
2. 當 $n$ 很小，而自變數 $X$ 的分佈大致服從正態分佈時，LDA比邏輯斯蒂迴歸更穩定
3. LDA比邏輯斯蒂迴歸更適合處理多分類的問題

LDA的出發點是貝葉斯公式（Bayes’ Theorem）。假設要預測的因變數一共有 $K$ 類，${\pi }_k$ 表示隨機選擇觀測值，屬於類 $k$ 的先驗概率（prior probability），令 $f_k(x)=Pr(X=x|Y=k)$ 表示類 $k$ 的概率密度函式（density function），利用貝葉斯公式可以得到
$$Pr(Y=k|X=x)=\frac{{\pi }_k{f}_k(x)}{{\sum }_{l=1}^K{\pi }_l{f}_l(x)}$$
令 $p_k(X)=Pr(Y=k|X)$，$p_k(X)$ 稱作為後驗概率（posterior probability）。聯絡之前提到的貝葉斯分類器，給定 $X$ 之後，使得 $p_k(X)$ 最大的 $k$，即是預測的類。

單變數的LDA

假設只有一個自變數 $x$，假設 $f_k(x)$ 是正態分佈（normal distribution）。即
$$f_k(x)=\frac{1}{\sqrt{2\pi }{\sigma }_k}exp(-\frac{1}{2{\sigma }_k^2}(x-{\mu }_k{)}^2)$$
再進一步假設 ${\sigma }_1^2=\cdots ={\sigma }_K^2$，代入 $p_k(X)$可以得到
$$p_k(X)=\frac{{\pi }_k\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{1}{2{\sigma }^2}(x-{\mu }_k{)}^2)}{{\sum }_{l=1}^K{\pi }_l\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{1}{2{\sigma }^2}(x-{\mu }_l{)}^2)}$$
要使得 $p_k(X)$ 最大，對其取對數之後不難發現，即要使得下式最大：
$${\delta }_k(x)=x\frac{{\mu }_k}{{\sigma }^2}-\frac{{\mu }_k^2}{2{\sigma }_2}+log({\pi }_k)$$
實際問題中，${\mu }_1,\dots ,{\mu }_K,{\pi }_1,\dots ,{\pi }_K,{\sigma }^2$，都需要估計。可以用以下式子估計：
$${\hat{\mu }}_k=\frac{1}{n_k}\sum _{i:y_i=k}{x}_i$$
$${\hat{\pi }}_k=\frac{n_k}{n}$$
$${\hat{\sigma }}^2=\frac{1}{n-K}\sum _{k=1}^K\sum _{i:y_i=k}(x_i-{\hat{\mu }}_k{)}^2$$
然後就可以得到
$${\hat{\delta }}_k(x)=x\frac{{\hat{\mu }}_k}{{\hat{\sigma }}^2}-\frac{{\hat{\mu }}_k^2}{2{\hat{\sigma }}_2}+log({\hat{\pi }}_k)$$
判別函式（discriminant funcition）${\hat{\delta }}_k(x)$ 是 $x$ 的線性函式，這就是線性判別分析的由來。需要注意的是，這裡要求每類的分佈都是正態的，且方差相同。

多變數的LDA

當自變數有多個時，需要多元正態分佈（multivariate normal distribution）。假設有 $p$ 個自變數，記$X\sim N(\mu ,\Sigma )$，$E(X)=\mu$ 是 $X$ 的均值（$p\times 1$），Cov($X$) = $\Sigma$ 是 $X$ 的協方差矩陣（$p\times p$ ） ，多元正態分佈定義如下：
$$f(x)=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$
此時
$${\delta }_k(x)=x^T{\Sigma }^{-1}{\mu }_k-\frac{1}{2}{\mu }_k^T{\Sigma }^{-1}{\mu }_k+log({\pi }_k)$$
${\mu }_1,\dots ,{\mu }_K,{\pi }_1,\dots ,{\pi }_K,{\Sigma }^2$ 可以用單變數時類似的方法進行估計

二次判別分析（QDA）

線性判別分析要求每個類的協方差矩陣都相同，而如果每個類的協方差矩陣可以不同，那麼就有了二次判別分析（quadratic discriminant analysis，簡稱QDA）。即 $X\sim N({\mu }_k,{\Sigma }_k)$，在這個條件下，可以得到
$${\delta }_k(x)=-\frac{1}{2}{x}^T{\Sigma }_k^{-1}x+x^T{\Sigma }_k^{-1}{\mu }_k-\frac{1}{2}{\mu }_k^T{\Sigma }_k^{-1}{\mu }_k-\frac{1}{2}log|{\Sigma }_k|+log{\pi }_k$$
${\delta }_k(x)$ 關於 $x$ 是二次的，這是二次判別分析名稱的由來。
如何選取LDA或者QDA，取決於對偏差和方差的權衡。LDA模型簡單，方差更低，但是有較高的偏差。而QDA較複雜，方差較高，但是偏差低。