联合熵

联合是一集变量之间不确定性的衡量手段。

独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。

定义

两个变量 的联合信息熵定义为:

其中 的特定值, 相应地, 是这些值一起出现的联合概率, 若 为0,则 定义为0。

对于两个以上的变量 ,该式的一般形式为:

其中 的特定值,相应地, 是这些变量同时出现的概率,若为0,则 被定义为0.

性質

大于每个独立的熵

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

少于或等于独立熵的和

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在均为统计独立的时候相等。

与其他熵测量手段的关系

条件熵的定义中,使用了联合熵

互信息的定义中也出现了联合熵的身影:

量子信息理论中, 联合熵被扩展到联合量子熵

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.