1. 公式推導(dǎo)一定要會(huì)
2. 邏輯回歸的基本概念
這個(gè)最好從廣義線性模型的角度分析,邏輯回歸是假設(shè)y服從Bernoulli分布。
3. L1-norm和L2-norm
其實(shí)稀疏的根本還是在于L0-norm也就是直接統(tǒng)計(jì)參數(shù)不為0的個(gè)數(shù)作為規(guī)則項(xiàng),但實(shí)際上卻不好執(zhí)行于是引入了L1-norm;而L1norm本質(zhì)上是假設(shè)參數(shù)先驗(yàn)是服從Laplace分布的,而L2-norm是假設(shè)參數(shù)先驗(yàn)為Gaussian分布,我們?cè)诰W(wǎng)上看到的通常用圖像來(lái)解答這個(gè)問(wèn)題的原理就在這。
但是L1-norm的求解比較困難,可以用坐標(biāo)軸下降法或是最小角回歸法求解。
4. LR和SVM對(duì)比
首先,LR和SVM最大的區(qū)別在于損失函數(shù)的選擇,LR的損失函數(shù)為L(zhǎng)og損失(或者說(shuō)是邏輯損失都可以)、而SVM的損失函數(shù)為hinge loss。
其次,兩者都是線性模型。
最后,SVM只考慮支持向量(也就是和分類(lèi)相關(guān)的少數(shù)點(diǎn))
5. LR和隨機(jī)森林區(qū)別
隨機(jī)森林等樹(shù)算法都是非線性的,而LR是線性的。LR更側(cè)重全局優(yōu)化,而樹(shù)模型主要是局部的優(yōu)化。