联合熵

两个变量${\displaystyle X}$ 和 ${\displaystyle Y}$ 的联合信息熵定义为：

${\displaystyle \mathrm {H} (X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}$

其中 ${\displaystyle x}$ 和 ${\displaystyle y}$ 是 ${\displaystyle X}$ 和 ${\displaystyle Y}$的特定值, 相应地, ${\displaystyle P(x,y)}$ 是这些值一起出现的联合概率, 若${\displaystyle P(x,y)=0}$ 为0，则${\displaystyle P(x,y)\log _{2}[P(x,y)]}$ 定义为0。

对于两个以上的变量 ${\displaystyle X_{1},...,X_{n}}$ ，该式的一般形式为：

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}$

其中 ${\displaystyle x_{1},...,x_{n}}$ 是 ${\displaystyle X_{1},...,X_{n}}$ 的特定值，相应地，${\displaystyle P(x_{1},...,x_{n})}$ 是这些变量同时出现的概率，若${\displaystyle P(x_{1},...,x_{n})=0}$为0，则 ${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$ 被定义为0.

在条件熵的定义中，使用了联合熵

${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}$

互信息的定义中也出现了联合熵的身影：

${\displaystyle I(X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}$

在量子信息理论中， 联合熵被扩展到联合量子熵。