【西瓜書筆記】3. 決策樹

3.1 決策樹基本流程

一顆決策樹包括：

1. 根節點：包含樣本全集
2. 若干內部節點：對應屬性測試
3. 若干葉子結點：對應決策結果
4. 結點包含的樣本集合根據屬性測試劃分到子節點中國

基本流程遵循分而治之

虛擬碼：

【來源：花書page74】

決策樹演算法是典型的遞迴演算法。三種遞迴返回情況：

1. 當前節點包含的樣本權屬同一個類別，無需劃分
2. 當前屬性集為空，或者所有樣本屬性相同，無法劃分。標記當前結點為葉子結點，類別設定為該節點所含樣本最多的類別。實質上利用當前結點的後驗分佈
3. 當前結點包含的樣本集合為空，不能劃分。標記當前結點為葉子結點，將其類別設定為父節點所含樣本最多的類別。實質上利用父節點的樣本分佈作為當前結點的先驗分佈。

【後驗概率 $\propto$ 可能性 $\times$ 先驗概率】

3.2 劃分選擇

劃分標準是能不斷提高提高結點純度

3.2.1 ID3決策樹

3.2.1.1 資訊熵

定義：度量樣本集合純度最常用的一種指標，其定義如下
$$\mathrm{Ent}(D)=-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k$$
其中 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … ( x m , y m ) } D=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2}, y_{2}\right), \ldots\left(\boldsymbol{x}_{m}, y_{m}\right)\right\} D={(x1​,y1​),(x2​,y2​),…(xm​,ym​)}表示樣本集合，$|y|$表示樣本類別綜述，$p_k$表示第k類樣本所佔的比例，且有$0\le p_k\le 1,{\sum }_{k=1}^{|\mathcal{Y}|}{p}_k=1$. 而且$Ent(D)$值越小，純度越高。 【為了具體量化純度高低，也就是什麼樣的情況下的取值純度高，什麼情況下純度低，我們要先求出資訊熵的最大最小值。】

證明：$0\le \mathrm{Ent}(D)\le {\log }_2|\mathcal{Y}|$

第一步，我們先求資訊熵的最大值。

令$|\mathcal{Y}|=n,p_k=x_k$,那麼資訊熵$\mathrm{Ent}(D)$就可以看成是一個$n$元實值函式：
$$\mathrm{Ent}(D)=f\left(x_1,\dots ,x_n\right)=-\sum _{k=1}^n{x}_k{\log }_2{x}_k$$
其中$0\le x_k\le 1.{\sum }_{k=1}^n{x}_k=1$,下面考慮求該多元函式的最值。

如果不考慮約束$0\le x_k\le 1$僅考慮${\sum }_{k=1}^n{x}_k=1$的話，對$f\left(x_1,\dots ,x_n\right)$求最大值等價於求如下最小化問題：
$$\begin{array}{r}\min \sum _{k=1}^n{x}_k{\log }_2{x}_k\\ \text{ s.t. }\sum _{k=1}^n{x}_k=1\end{array}$$
顯然，在$0\le x_k\le 1$ 時，此問題為凸優化問題。【因為我們同樣可以把目標函式看成是n個一元實值函式$x{\log }_{2}x$相加和的結果。當x取值[0, 1]區間時，${\left(x{\log }_{2}x\right)}^{\prime \prime }>0$，這就說明一元函式$x{\log }_{2}x$在區間[0, 1]上是開口向上的凸函式。因此由n個這個一元函式組成的目標函式也是凸函式。現在的約束是線性函式約束，目標函式是凸函式，這就是凸優化問題。】

而對於凸優化問題來說，滿足KKT條件的點就是最優解。由於此最小化問題僅含等式約束，那麼能令其拉格朗日函式的一階偏導數等於0的點即為滿足KKT條件的點。

因此根據拉格朗日乘子法，該優化問題的拉格朗日函式為:
$$L\left(x_1,\dots ,x_n,\lambda \right)=\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda \left(\sum _{k=1}^n{x}_k-1\right)$$
對拉格朗日函式分別關於各個引數求一階偏導，並令偏導數等於0可得
$$\begin{array}{rl}\frac{\partial L\left(x_1,\dots ,x_n,\lambda \right)}{\partial x_1}& =\frac{\partial }{\partial x_1}\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda \left(\sum _{k=1}^n{x}_k-1\right)\right]=0\\ & ={\log }_2{x}_1+x_1\cdot \frac{1}{x_1\ln 2}+\lambda =0\\ & ={\log }_2{x}_1+\frac{1}{\ln 2}+\lambda =0\\ & \Rightarrow \lambda =-{\log }_2{x}_1-\frac{1}{\ln 2}\end{array}$$
同理
$$\lambda =-{\log }_2{x}_1-\frac{1}{\ln 2}=-{\log }_2{x}_2-\frac{1}{\ln 2}=\dots =-{\log }_2{x}_n-\frac{1}{\ln 2}$$
又
$$\begin{gathered} \frac{\partial L\left(x_1\dots .x_n\cdot \lambda \right)}{\partial \lambda }=\frac{\partial }{\partial \lambda }\left[\sum _{k=1}^n{x}_k{\log }_2{x}_k+\lambda \left(\sum _{k=1}^n{x}_k-1\right)\right]=0 \\ \Rightarrow \sum _{k=1}^n{x}_k=1 \end{gathered}$$
所以我們有
$$x_1=x_2=\dots =x_n=\frac{1}{n}$$
又因為$0\le x_k\le 1$, 顯然$0\le \frac{1}{n}\le 1$, 所以$x_1=x_2=\dots =x_n=\frac{1}{n}$是滿足所有約束條件的最優解，也就是當前最小化問題的最小值點，以及原函式$f\left(x_1,\dots ,x_n\right)$的最大值點。將最優解代入原函式$f$中可得
$$f\left(\frac{1}{n},\dots ,\frac{1}{n}\right)=-\sum _{k=1}^n\frac{1}{n}{\log }_2\frac{1}{n}=-n\cdot \frac{1}{n}{\log }_2\frac{1}{n}={\log }_{2}n$$
所以$f\left(x_1,\dots ,x_n\right)$在滿足約束$0\le x_k\le 1.{\sum }_{k=1}^n{x}_k=1$時的最大值為${\log }_{2}n$

第二步，我們求$Ent(D)$的最小值。

如果不考慮${\sum }_{k=1}^n{x}_k=1$,僅考慮$0\le x_k\le 1$, $f\left(x_1,\dots ,x_n\right)$可以看做是n個互不相關的一員函式的加和，也就是
$$\begin{gathered} f\left(x_1,\dots ,x_n\right)=\sum _{k=1}^{n}g\left(x_k\right) \\ g\left(x_k\right)=-x_k{\log }_2{x}_k,0\le x_k\le 1 \end{gathered}$$
因此當$g\left(x_1\right),g\left(x_2\right),\dots ,g\left(x_n\right)$分別取到其最小值時，$f\left(x_1,\dots ,x_n\right)$也就取到了最小值。由於$g\left(x_1\right),g\left(x_2\right),\dots ,g\left(x_n\right)$的定義域和函式表示式相同，所以只需要求出$g(x_1)$的最小值，也就求出了$g\left(x_1\right),g\left(x_2\right),\dots ,g\left(x_n\right)$的最小值。為了求$g(x_1)$的最小值，我們先求$g(x_1)$關於與$x_1$的一階與二階導數
$$\begin{array}{c}{g}^{\prime }\left(x_1\right)=\frac{d\left(-x_1{\log }_2{x}_1\right)}{d{x}_1}=-{\log }_2{x}_1-x_1\cdot \frac{1}{x_1\ln 2}=-{\log }_2{x}_1-\frac{1}{\ln 2}\\ g^{\prime \prime }\left(x_1\right)=\frac{d\left(g^{\prime }\left(x_1\right)\right)}{d{x}_1}=\frac{d\left(-{\log }_2{x}_1-\frac{1}{\ln 2}\right)}{d{x}_1}=-\frac{1}{x_1\ln 2}\end{array}$$
顯然，當$0\le x_k\le 1$時，$g^{\prime \prime }$恆小於0，所以$g(x_1)$是一個在其定義域範圍內開口向下的凹函式，那麼其最小值必然在邊界取，於是分別取$x_1=0$和$x_1=1$，代入$g(x_1)$可有
$$\begin{array}{l}g(0)=-0{\log }_{2}0=0\\ g(1)=-1{\log }_{2}1=0\end{array}$$
所以$g(x_1)$的最小值是0，同理，$g\left(x_2\right),\dots ,g\left(x_n\right)$的最小值也為0， 那麼在約束條件$0\le x_k\le 1$下，$f\left(x_1,\dots ,x_n\right)$的最小值此時也為0.如果加上約束條件${\sum }_{k=1}^n{x}_k=1$,那麼$f\left(x_1,\dots ,x_n\right)$的最小值一定大於等於0. 如果令$x_k=1$,那麼根據約束${\sum }_{k=1}^n{x}_k=1$可有$x_1=x_2=\dots =x_{k-1}=x_{k+1}=\dots =x_n=0$,將其代入$f\left(x_1,\dots ,x_n\right)$有
$$f(0,0,\dots ,0,1,0,\dots ,0)=-0{\log }_{2}0-0{\log }_{2}0\dots -0{\log }_{2}0-1{\log }_{2}1-0{\log }_{2}0\dots -0{\log }_{2}0=0$$
所以$x_{=}1,x_1=x_2=\dots =x_{k-1}=x_{k+1}=\dots =x_n=0$一定是$f\left(x_1,\dots ,x_n\right)$在滿足約束$0\le x_k\le 1,{\sum }_{k=1}^n{x}_k=1$的條件下的最小值點，最小值為0.

3.2.1.2 條件熵

定義： 在已知樣本屬性$a$的取值情況下，度量樣本集合純度的一種指標
$$H(D\mid a)=\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)$$
其中$a$表示樣本的某個屬性，假定屬性$a$有$V$個可能的取值$\left\{a^1,a^2\dots ,a^V\right\}$, 樣本集合$D$中在屬性$a$上取值為$a^v$的樣本記為$D^v$， $Ent(D^v)$表示樣本集合$D^v$的資訊熵。$H$值越小，純度越高。

資訊增益：
$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)\\ & =\mathrm{Ent}(D)-H(D\mid a)\end{array}$$
選擇資訊增益值最大的屬性作為劃分屬性，因為資訊增益越大，該屬性用作劃分所獲得的的”純度提升“越大。【注意這裡的加和，對v加和是對a屬性中不同的取值加和，資訊熵中是對劃分後的樣本集合中的目標類別標籤加和】

以資訊增益為劃分準則的ID3決策樹對可取值數目較多的屬性有所偏好
$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)\\ & =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\left(-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k\right)\\ & =\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\left(-\sum _{k=1}^{|y|}\frac{\left|D_k^v\right|}{\left|D^v\right|}{\log }_2\frac{\left|D_k^v\right|}{\left|D^v\right|}\right)\end{array}$$
其中$D_k^v$是樣本集合$D$中在屬性$a$上取值為$a^v$且類別為$k$的樣本。

然後我們就可以把決策樹基本演算法的第8行選擇屬性設定為:$a_{\ast }=\underset{a\in A}{\mathrm{argmax}}\mathrm{Gain}(D,a)$.

缺點：如果某個屬性的取值類別太多，就可能把每一個取值類別劃分後就導致每個分支節點的純度很高（只有一兩個樣本），雖然資訊增益很大，但是因為結點劃分太多，得到一個龐大且淺的樹，失去了泛化能力

3.2.2 C4.5決策樹

定義：以資訊增益率為準則來選擇劃分屬性的決策樹。為了解決ID3的缺點。

資訊增益率：
KaTeX parse error: Expected '}', got '_' at position 14: \text { Gain_̲ratio }(D, a)=\…
其中
$$\mathrm{I}\mathrm{V}(a)=-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}{\log }_2\frac{\left|D^v\right|}{|D|}$$
如果屬性a的可能取值數目越多，也就是V變大，那麼IV的值也變大。

缺點：資訊增益率對可取值數目較少的屬性有所偏好。無法處理迴歸問題、使用較為複雜的熵來作為特徵選擇的標準、生成的決策樹是一顆較為複雜的多叉樹結構。

因此C4.5演算法並不是直接選擇增益率最大的候選劃分屬性，而是採用了一個啟發式：

1. 先從候選屬性中找到資訊增益高於平均水平的屬性集合
2. 再從這個屬性集合中選擇增益率最高的屬性

3.2.3 CART決策樹

3.2.3.1 定義：

以基尼指數為準則來選擇劃分屬性的決策樹

基尼值：
$$\mathrm{Gini}(D)=\sum _{k=1}^{|\mathcal{Y}|}\sum _{k^{\prime }\ne k}{p}_k{p}_{k^{\prime }}=\sum _{k=1}^{|\mathcal{Y}|}{p}_k\sum _{k^{\prime }\ne k}{p}_{k^{\prime }}=\sum _{k=1}^{|\mathcal{Y}|}{p}_k\left(1-p_k\right)=1-\sum _{k=1}^{|\mathcal{Y}|}{p}_k^2$$
直觀來說，基尼值反映了從資料集$D$中隨機抽取兩個樣本，其類別標記不一致的概率。

基尼指數：
KaTeX parse error: Expected '}', got '_' at position 14: \text { Gini_̲index }(D, a)=\…
基尼值和基尼指數越小，樣本集合純度越高。

3.2.3.2 CART決策樹分類演算法：

1. 根據基尼指數公式找出基尼指數最小的屬性【虛擬碼演算法第8行變成$a_{\ast }=\underset{a\in A}{\mathrm{argmin}}\mathrm{G}\mathrm{i}\mathrm{n}{\mathrm{i}}_{\mathrm{i}}\mathrm{n}\mathrm{d}\mathrm{e}\mathrm{x}(D,a)$】
2. 計算屬性$a_{\ast }$的所有可能取值的基尼值$\mathrm{Gini}\left(D^v\right),v=1,2,\dots ,V$, 選擇基尼指數最小的取值$a_{\ast }^v$作為劃分點，將集合$D$劃分為$D_1,D_2$兩個集合（分支結點），其中$D_1$集合的樣本為$a_{\ast }=a_{\ast }^v$的樣本，$D_2$集合為$a_{\ast }\ne a_{\ast }^v$
3. 對集合$D_1$和$D_2$重複遞迴步驟1，2，直到滿足停止條件

3.2.3.3 CART決策樹迴歸演算法：

1. 根據以下公式找到最優劃分特徵$a_{\ast }$和最優劃分點$a_{\ast }^v$：

$$a_{\ast },a_{\ast }^{\prime \prime }=\underset{a,a^v}{\mathrm{argmin}}\left[{\min }_{c_1}\sum _{x_i\in D_1\left(a,a^v\right)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x,\in D_2\left(a,a^v\right)}{\left(y_i-c_2\right)}^2\right]$$

其中， $D_1\left(a,a^v\right)$表示在屬性$a$上取值小於等於$a^v$的樣本集合，$D_2(a,a^v)$表示在屬性$a$上取值大於$a^v$的樣本集合，$c_1$表示$D_1$的樣本輸出均值， $c_2$表示$D_2$的樣本輸出均值

2. 根據劃分點$a_{\ast }^v$將集合$D$劃分為$D_1$和$D_2$兩個集合（分支節點）
3. 對集合$D_1$和$D_2$重複遞迴步驟1，2，直到滿足停止條件

3.3 決策樹剪枝處理

剪枝是決策樹學習演算法對付過擬合的主要手段

3.3.1 預剪枝

在決策樹生成過程中，對每個結點在劃分前先進行估計，若當前結點的劃分不能帶來決策樹泛化效能提升，則停止劃分並將當前結點標註為葉結點。基於資訊增益準則

【看是否提高在驗證集上的準確率】

缺點：有些分支的當前劃分雖不能提升泛化效能，但是在其基礎上的後續劃分卻有可能導致效能提高。預剪枝基於貪心本質禁止這些分支繼續劃分，因此有可能導致模型欠擬合

3.3.2後剪枝

先從訓練集生成一顆完整的決策樹，然後自底向上地對非葉結點進行考察，若將該結點對應的子樹替換為葉結點能帶來決策樹泛化效能提升，則將子樹替換為葉子結點

缺點：時間複雜度比預剪枝更高

	預剪枝	後剪枝
時間開銷	訓練$\downarrow$, 測試$\downarrow$	訓練$\uparrow$, 測試$\downarrow$
過/欠擬合風險	過$\downarrow$, 欠$\uparrow$	過$\downarrow$, 欠不變
泛化能力		更好

3.4 決策樹處理連續值、缺失值

to be continued