一句話總結隨機森林

一句話總結隨機森林

 核心：用有放回取樣的樣本訓練多棵決策樹，訓練決策樹的每個節點是隻用了無放回抽樣的部分特徵，預測時用這些樹的預測結果進行投票。

隨機森林是一種整合學習演算法，它由多棵決策樹組成。這些決策樹用對訓練樣本集隨機抽樣構造出樣本集訓練得到。隨機森林不僅對訓練樣本進行抽樣，還對特徵向量的分量隨機抽樣，在訓練決策樹時，每次分裂時只使用一部分抽樣的特徵分量作為候選特徵進行分裂。

 對於分類問題，一個測試樣本會送到每一棵決策樹中進行預測，然後投票，得票最多的類為最終分類結果。對於迴歸問題隨機森林的預測輸出是所有決策樹輸出的均值。

假設有n個訓練樣本。訓練每一棵樹時，從樣本集中有放回的抽取n個樣本，每個樣本可能會被抽中多次，也可能一次都沒抽中。用這個抽樣的樣本集訓練一棵決策樹，訓練時，每次尋找最佳分裂時，還要對特徵向量的分量取樣，即只考慮部分特徵分量。

隨機森林是一種判別模型，既支援分類問題，也支援迴歸問題，並且支援多分類問題。這是一種非線性模型。