先縷一縷幾個關係：
- GBDT是gradient-boost decision tree
- GBDT的核心就是gradient boost，我們搞清楚什麼是gradient boost就可以了
- GBDT是boost中的一種方法，boost還有XGBoost，adaboost。
基本概念
【Boost】就是讓多個弱分類器，通過不同的整合方式，來讓多個弱分類器變成一個強分類器。
【gradient-boost】 梯度提升。簡單的說，先訓練一個弱分類器，然後弱分類器和目標值之間的殘差，作為下一個弱分類器訓練的目標值。這裡有一個非常簡單的例子
- 第一個模型預測年齡，雖然真實值是30歲，第一個模型只給出了20歲的估計值；
- 第二棵樹要預測的就是這個10歲的殘差，但是第二棵樹只給出了6歲的估計值；
- 第三棵樹預測的是第二棵樹的4歲的殘差，但是………………（禁止套娃）
梯度 or 殘差 ？
對於GBDT，網上的很多文章都沒有講清楚，學習梯度還是學習殘差？從上面的那個例子來看，是學習殘差的。
其實，從來GBDT都是學習梯度的，學習殘差只是學習梯度的一個特例!
如果我們是在做一個迴歸任務（就像是上面例子中預測年齡），採用平方損失：\(loss = \frac{1}{2}\sum^n_i{(y_i-\hat{y_i})^2}\)
其中\(y_i\)是真實數值，\(\hat{y_i}\)是模型預測的值。
然後想求取這個關於\(\hat{y_i}\)的梯度，那就是：
\(\frac{\partial loss}{\partial \hat{y^i}}=(-1)(y_i-\hat{y_i})\)
所以殘差在平方損失的情況下，就是等於負梯度,所以兩者一回事。
殘差過於敏感
對於資料不乾淨，沒有清晰掉異常值的資料樣本。使用平方損失對異常值過於敏感了：
所以，這裡在迴歸問題中，也可以考慮使用下面的兩個損失函式：
-
Absolute loss:
\(loss=|y-\hat{y}|\) -
Huber loss:
這個是設定一個閾值，當\(|y-\hat{y}|\)小於這個閾值的時候，採用平方損失，當\(|y-\hat{y}|\)大於這個閾值的時候，採用類似於絕對損失的線性損失：
這裡看一下huber loss的函式影像：
就是一個平方損失，一個線性損失。
然後看一下平方損失，絕對損失，huber損失對於異常值的容忍程度：
CART迴歸樹分裂思路（可不看）
其實這個問題看起來問的不明所以，其實是問你決策樹如何選擇特徵的。從上面的例子可以看出來，GDBT應該是處理迴歸問題的（處理連續資料的）。當然，GDBT也有辦法處理分類問題，只是這裡就不說了，這裡主要說GDBT怎麼處理迴歸問題的，迴歸問題能處理，那麼總有迴歸離散化的辦法的
這個問題是在問：CART TREE如何選擇特徵的CART TREE就是迴歸決策樹，就是之前提到的弱分類器。
一個決策樹，希望讀者已經有一個大概的理解了。簡單說就是：樣本可以根據的特徵A是否超過某一個閾值劃分成兩部分，然後劃分之後的每一個部分又可以根據某一個特徵是否超過某一個閾值再分成兩部分……
這樣我們就要做出選擇了：每一個部分是根據哪一個特徵去劃分？根據這個特徵的哪一個數值作為閾值劃分？
如果我們算力無窮，那麼自然可以遍歷每一個特徵，然後窮舉每一種可能的分割點，然後對比找到最優分割點。
那麼如何判斷分割的點的好壞呢？得給出一個cost函式，或者叫做loss函式這樣的東西吧。
\(loss= \sum_{第一部分}{(y_i-me an(y_{第一部分}))^2}+\sum_{第二部分}{(y_i-mean(y_{第二部分}))^2}\)
看一下這個公式，我把公式寫的太醜了。其實這個公式非常的好理解：現在根據某一個特徵值，根據某一個閾值把樣本分成了兩個部分：第一部分和第二部分。然後計算每一個部分的樣本的label的均值，也就是公式中的：\(mean(y_{第一部分})\),\(mean(y_{第二部分})\)，然後計算第一部分中所有樣本的label與第一部分label均值之間的差的平方和，同樣的過程計算第二個部分的，兩個相加起來就是這個loss。選擇能夠讓這個loss最小的分割特徵和分割閾值，就是我們要找的東西。
其實我在學這一塊的時候，發現這個過程像是什麼？像不像聚類演算法，通過上面的loss的最小化的過程，把一堆樣本分成兩類，讓兩類的類內距離最小。那個均值就像是求類中心點，計算每一個label距離類中心點的距離。（這一段看不懂也沒事）
喜歡的話請關注我們的微信公眾號~【你好世界煉丹師】。
- 公眾號主要講統計學，資料科學，機器學習，深度學習，以及一些參加Kaggle競賽的經驗。
- 公眾號內容建議作為課後的一些相關知識的補充，飯後甜點。
- 此外，為了不過多打擾，公眾號每週推送一次，每次4~6篇精選文章。
微信搜尋公眾號：你好世界煉丹師。期待您的關注。
