信息论(1)

信息熵最大值的证明

证明:当概率均等时信息熵最大。即当 $p_i=\frac{1}{n}$ 时,下面的 H 取得最大值。


\[H=-\sum\limits_{i=1}^{n} p_i log {p_i}=\log n\]