xgboost尋找分割點(diǎn)的標(biāo)準(zhǔn)是最大化gain。
考慮傳統(tǒng)的枚舉每個(gè)特征的所有可能分割點(diǎn)的貪心法效率太低,xgboost實(shí)現(xiàn)了一種近似的算法。
大致的思想是根據(jù)百分位法列舉幾個(gè)可能成為分割點(diǎn)的候選者,然后從候選者中計(jì)算Gain按最大值找出最佳的分割點(diǎn)。它的計(jì)算公式分為四項(xiàng),可以由正則化項(xiàng)參數(shù)調(diào)整(lamda為葉子權(quán)重平方和的系數(shù),gama為葉子數(shù)量)..