集成學習的集成對象是學習器。
Bagging和Boosting屬于集成學習的兩類方法。
Bagging方法有放回地采樣同數(shù)量樣本訓練每個學習器,然后再一起集成(簡單投票);
Boosting方法使用全部樣本(可調(diào)權(quán)重)依次訓練每個學習器, 迭代集成(平滑加權(quán))。
決策樹屬于最常用的學習器,其學習過程是從根建立樹, 也就是如何決策葉子節(jié)點分裂。
ID3/C4.5決策樹用信息熵計算最優(yōu)分裂,CART決策樹用基尼指數(shù)計算最優(yōu)分裂,xgboost決策樹使用二階泰勒展開系數(shù)計算最優(yōu)分裂。