熵是隨機(jī)變量不確定性的度量,不確定性越大,熵值越大;若隨機(jī)變量退化成定值,熵為0。
如果沒有外界干擾,隨機(jī)變量總是趨向于無序,在經(jīng)過足夠時(shí)間的穩(wěn)定演化,它應(yīng)該能夠達(dá)到的最大程度的熵。
為了準(zhǔn)確的估計(jì)隨機(jī)變量的狀態(tài),我們一般習(xí)慣性最大化熵,認(rèn)為在所有可能的概率模型(分布)的集合中,熵最大的模型是最好的模型。
換言之,在已知部分知識(shí)的前提下,關(guān)于未知分布最合理的推斷就是符合已知知識(shí)最不確定或最隨機(jī)的推斷,其原則是承認(rèn)已知事物(知識(shí)),且對未知事物不做任何假設(shè),沒有任何偏見。