迴歸樹（Regression Trees）模型的優缺點

# 迴歸樹（Regression Trees）模型的優缺點 # 


I.決策樹（Decision Tree）

優點
訓練速度和預測速度較快；
善於獲取資料集中的非線性關係；
瞭解資料集中的特徵互動；
善於處理資料集中出現的異常值；
善於在資料集中找到最重要的特徵；
不需要特徵縮放；
結果可解釋，並易於說明；

缺點

預測精確度較低；
需要一些引數的調整；
不適用於小型資料集；
分離訊號和噪聲的效果不理想；
當新增資料時，不易更新模型；
在實踐中很少使用，而是更多地使用集合樹；
可能會出現過度擬合（見下面的融合模型）；


II.融合模型(RandomForest,XGBoost, CatBoost, LightGBM)

優點

多重樹結構整理預測；
具有較高的預測精確度，在實踐中表現很好；
是Kaggle競賽中推薦的演算法；
善於處理資料集中出現的異常值；
善於在資料集中獲取非線性關係；
善於在資料集中找到最重要的特徵；
能夠分離訊號和噪聲；
不需要特徵縮放；
特別適用於高維度的資料；


缺點

訓練速度較慢；
具有較高的預測速度；
結果不易解釋或說明；
當新增資料時，不易更新模型；
需要調整引數，但調整較為複雜；
不適用於小型資料集；