信息冗余

在描述原始数据的冗余时，信源信息率为平均每个符号的熵。对于无记忆信源，这仅是每个符号的熵；而对于一个随机过程的最普遍形式为前 n 个符号的联合熵除以 n 之后，随着 n 趋于无穷时的极限

${\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}\mathrm {H} (M_{1},M_{2},\dots M_{n}),}$

在信息论中经常提及一种语言的“熵率”或者“信息熵”。当信源是英文散文时这是正确的。由于无记忆信源的消息之间没有相互依赖性，所以无记忆信源的信息率为${\displaystyle \mathrm {H} (M)}$。

信源的绝对信息率为

${\displaystyle R=\log |\mathbb {M} |,\,}$

即是消息空间基数的对数值。这个公式也称作Hartley函数。这是传送用这个字母表表示的信息的最大信息率。其中对数要根据所用的测量单位选择合适的底數。当且仅当信源是无记忆的且均匀分布的时候，绝对信息率等于信息率。

绝对信息冗余定义为

${\displaystyle D=R-r}$，

即信息率与绝对信息率之间的差。

${\displaystyle {\frac {D}{R}}}$称为相对信息冗余，它表示了最大的数据压缩率，这个压缩率用文件大小减小比例所表示。当用原始文件与压缩后的文件表示的时候，${\displaystyle R:r}$表示能够得到的最大压缩率。与相对信息冗余互补的是效率${\displaystyle {\frac {r}{R}}}$，于是${\displaystyle {\frac {r}{R}}+{\frac {D}{R}}=1}$。均匀分布的无记忆信源的冗余为0，效率为100%，因此无法压缩。

两个变量之间冗余的度量是互信息或者正规化变量。多个变量之间冗余的度量是全相关（total correlation）。

压缩数据的冗余是指 ${\displaystyle n}$ 个消息的期望压缩数据长度为${\displaystyle L(M^{n})\,\!}$（或期望数据熵率 ${\displaystyle L(M^{n})/n\,\!}$）与熵值 ${\displaystyle nr\,\!}$（或熵率 ${\displaystyle r\,\!}$）的差。（这里我们假设数据是遍历的也是平稳的，例如无记忆信源。）虽然熵率之差 ${\displaystyle L(M^{n})/n-r\,\!}$ 会随着 ${\displaystyle n\,\!}$ 增加而任意小，实际的差 ${\displaystyle L(M^{n})-nr\,\!}$ 已不能（尽管理论上可以）在有限熵的无记忆信源情况下上界为 1。

• 信源编码
• 信源编码定理
• 数据压缩
• 负熵

• Reza, Fazlollah M. . New York: Dover. 1994 [1961]. ISBN 0-486-68210-2.
• Schneier, Bruce. . New York: John Wiley & Sons, Inc. 1996. ISBN 0-471-12845-7.
• Auffarth, B; Lopez-Sanchez, M.; Cerquides, J. . . Springer. 2010: 248–262. CiteSeerX: 10.1.1.170.1528.