信道容量

X代表已傳送信號的隨機變數，Y代表已收到信號的隨機變數。${\displaystyle \ p_{Y|X}(y|x)}$代表已知X的情況下Y的條件分布，为信道的内在固定属性。于是依据如下性质

${\displaystyle \ p_{X,Y}(x,y)=p_{Y|X}(y|x)\,p_{X}(x)}$

边缘分布${\displaystyle p_{X}(x)}$的选取完全决定了联合分布${\displaystyle p_{X,Y}(x,y)}$，这就能导出互信息${\displaystyle I(X;Y)}$。信道容量定义为

${\displaystyle \ C=\sup _{p_{X}(x)}I(X;Y)\,}$

其中上确界针对对所有可能的${\displaystyle p_{X}(x)}$值。

有噪信道编码定理表明，对任意的ε > 0以及传输速率R小于信道容量C，在块长度足够大的情况下，总有一种在速率为R下传输的编码和解码方案，它的误差概率小于ε。另外，对于任何大于信道容量的速率，随着块长度趋近于无穷，接受者的误差概率也趋于1。

• 信息论
• 信息熵
• 信道
• 有噪信道编码定理