信息论

美國數學家克劳德·香农被称为“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学理论》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利於1920年代先後發表的研究成果。在该文中，香农给出了信息熵的定义：

${\displaystyle H(X)=\mathbb {E} _{X}[I(x)]=\sum _{x\in {\mathcal {X}}}^{}p(x)\log _{2}\left({\frac {1}{p(x)}}\right)}$

其中${\displaystyle {\mathcal {X}}}$為有限个事件x的集合，${\displaystyle X}$是定义在${\displaystyle {\mathcal {X}}}$上的随机变量。信息熵是随机事件不确定性的度量。

信息熵与物理学中的热力学熵有着紧密的联系:

${\displaystyle S(X)=k_{B}H(X)}$

其中S(X)為熱力學熵，H(X)為信息熵，${\displaystyle k_{B}}$為波茲曼常數。 事實上這個關係也就是廣義的波茲曼熵公式，或是在正則系綜內的熱力學熵表示式。如此可知，玻尔兹曼与吉布斯在统计物理学中对熵的工作，啟發了信息論的熵。

信息熵是信源編碼定理中，壓縮率的下限。若編碼所用的資訊量少於信息熵，則一定有資訊的損失。香农在大數定律和渐进均分性的基础上定義了典型集和典型。典型集是典型的集合。因為一个独立同分布的${\displaystyle X}$属于由${\displaystyle X}$定义的典型集的機率大約為1，所以只需要将屬於典型集的无记忆${\displaystyle X}$信源编为唯一可译碼，其他隨意編碼，就可以達到幾乎無損失的壓縮。

設有一個三個面的骰子，三面分別寫有${\displaystyle 1,2,3}$，${\displaystyle X}$為擲得的數，擲得各面的概率為

${\displaystyle {\begin{aligned}\mathbb {P} (X=1)&=1/5,\\\mathbb {P} (X=2)&=2/5,\\\mathbb {P} (X=3)&=2/5,\end{aligned}}}$

則

${\displaystyle H(X)={\frac {1}{5}}\log _{2}(5)+{\frac {2}{5}}\log _{2}\left({\frac {5}{2}}\right)+{\frac {2}{5}}\log _{2}\left({\frac {5}{2}}\right)\approx 1.522.}$

聯合熵（）由熵的定義出發，計算聯合分布的熵：

${\displaystyle H(X,Y)=\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}^{}p(x,y)\log \left({\frac {1}{p(x,y)}}\right).}$

條件熵（），顧名思義，是以條件機率${\displaystyle p(y|x)}$計算：

${\displaystyle H(Y|X)=\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}^{}p(x,y)\log \left({\frac {1}{p(y|x)}}\right).}$

由貝氏定理，有${\displaystyle p(x,y)=p(y|x)p(x)}$，代入聯合熵的定義，可以分離出條件熵，於是得到聯合熵與條件熵的關係式:

${\displaystyle H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)=H(Y,X).}$

可以再對聯合熵與條件熵的關係做推廣，假設現在有${\displaystyle n}$個隨機變量${\displaystyle X_{i},i=1,2,...,n}$，重複分離出條件熵，有：

${\displaystyle {\begin{aligned}H(X_{1},X_{2},...,X_{n})&=H(X_{1})+H(X_{2},...,X_{n}|X_{1})\\&=H(X_{1})+H(X_{2}|X_{1})+H(X_{3},...,X_{n}|X_{1},X_{2})\\&=H(X_{1})+\sum _{i=2}^{n}H(X_{i}|X_{1},...,X_{i-1})\end{aligned}}.}$

其直觀意義如下：假如接收一段數列${\displaystyle \{X_{1},X_{2},...,X_{n}\}}$，且先收到${\displaystyle X_{1}}$，再來是${\displaystyle X_{2}}$，依此類推。那麼收到${\displaystyle X_{1}}$後總訊息量為${\displaystyle H(X_{1})}$，收到${\displaystyle X_{2}}$後總訊息量為${\displaystyle H(X_{1})+H(X_{2}|X_{1})}$，直到收到${\displaystyle X_{n}}$後，總訊息量應為${\displaystyle H(X_{1},...,X_{n})}$，於是這個接收過程給出了链式法則。

互信息（）是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件${\displaystyle X}$和${\displaystyle Y}$的互信息定义为：

${\displaystyle I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)=H(Y)-H(Y|X)=I(Y;X).}$

其意義為，${\displaystyle Y}$包含${\displaystyle X}$的多少資訊。在尚未得到${\displaystyle Y}$之前，對${\displaystyle X}$的不確定性是${\displaystyle H(X)}$，得到${\displaystyle Y}$後，不確定性是${\displaystyle H(X|Y)}$。所以一旦得到${\displaystyle Y}$，就消除了${\displaystyle H(X)-H(X|Y)}$的不確定量，這就是${\displaystyle Y}$對${\displaystyle X}$的資訊量。

如果${\displaystyle X,Y}$互為獨立，則${\displaystyle H(X,Y)=H(X)+H(Y)}$，於是${\displaystyle I(X;Y)=0}$。

又因為${\displaystyle H(X|Y)\leq H(X)}$，所以

${\displaystyle I(X;Y)\leq \min(H(X),H(Y)),}$

其中等號成立條件為${\displaystyle Y=g(X)}$，${\displaystyle g}$是一個函數。

互信息与G检验以及皮尔森卡方檢定有着密切的联系。