特征選擇是一個重要的數據預處理過程，主要有兩個原因：
一是減少特征數量、降維，使模型泛化能力更強，減少過擬合;
二是增強對特征和特征值之間的理解
常見的特征選擇方式：
1. 去除方差較小的特征
2. 正則化。L1正則化能夠生成稀疏的模型。L2正則化的表現更加穩(wěn)定，由于有用的特征往往對應系數非零。
3. 隨機森林，對于分類問題，通常采用基尼不純度或者信息增益，對于回歸問題，通常采用的是方差或者最小二乘擬合。一般不需要feature engineering、調參等繁瑣的步驟。它的兩個主要問題，1是重要的特征有可能得分很低(關聯(lián)特征問題)，2是這種方法對特征變量類別多的特征越有利(偏向問題)。
4. 穩(wěn)定性選擇。是一種基于二次抽樣和選擇算法相結合較新的方法，選擇算法可以是回歸、SVM或其他類似的方法。它的主要思想是在不同的數據子集和特征子集上運行特征選擇算法，不斷的重復，最終匯總特征選擇結果，比如可以統(tǒng)計某個特征被認為是重要特征的頻率(被選為重要特征的次數除以它所在的子集被測試的次數)。理想情況下，重要特征的得分會接近100%。稍微弱一點的特征得分會是非0的數，而最無用的特征得分將會接近于0。
京公網安備 11010802030320號