OOB：
上面我們提到，構(gòu)建隨機(jī)森林的關(guān)鍵問(wèn)題就是如何選擇最優(yōu)的m，要解決這個(gè)問(wèn)題主要依據(jù)計(jì)算袋外錯(cuò)誤率oob error(out-of-bag error)。
bagging方法中Bootstrap每次約有1/3的樣本不會(huì)出現(xiàn)在Bootstrap所采集的樣本集合中，當(dāng)然也就沒(méi)有參加決策樹(shù)的建立，把這1/3的數(shù)據(jù)稱為袋外數(shù)據(jù)oob(out of bag),它可以用于取代測(cè)試集誤差估計(jì)方法。
袋外數(shù)據(jù)(oob)誤差的計(jì)算方法如下：
對(duì)于已經(jīng)生成的隨機(jī)森林，用袋外數(shù)據(jù)測(cè)試其性能，假設(shè)袋外數(shù)據(jù)總數(shù)為O，用這O個(gè)袋外數(shù)據(jù)作為輸入，帶進(jìn)之前已經(jīng)生成的隨機(jī)森林分類器，分類器會(huì)給出O個(gè)數(shù)據(jù)相應(yīng)的分類
因?yàn)檫@O條數(shù)據(jù)的類型是已知的，則用正確的分類與隨機(jī)森林分類器的結(jié)果進(jìn)行比較，統(tǒng)計(jì)隨機(jī)森林分類器分類錯(cuò)誤的數(shù)目，設(shè)為X，則袋外數(shù)據(jù)誤差大小=X/O
優(yōu)缺點(diǎn)：
這已經(jīng)經(jīng)過(guò)證明是無(wú)偏估計(jì)的,所以在隨機(jī)森林算法中不需要再進(jìn)行交叉驗(yàn)證或者單獨(dú)的測(cè)試集來(lái)獲取測(cè)試集誤差的無(wú)偏估計(jì)。
京公網(wǎng)安備 11010802030320號(hào)