若有三个离散随机变量,有如下关系:X+Y=Z,其中X和Y相互统计独立,试证明:(1)H(X)≤H(Z),当且仅当Y是常量时等式成立;(2)H(Y)≤H(Z),当且仅当X为常量时等式成立;(3)H(Z)≤H(XY)≤H(X)+H(Y),当且仅当X,Y中任意一个为常量时等式成立;(4)I(X;Z)=H(Z)-H(Y);(5)I(XY;Z)=H(Z);(6)I(X;YZ)=H(X);(7)I(Y;ZIX)=H(Y);(8)I(X;YIZ)=H(XIZ)=H(YIZ)。
(1)H(X)≤H(Z),当且仅当Y是常量时等式成立;
(2)H(Y)≤H(Z),当且仅当X为常量时等式成立;
(3)H(Z)≤H(XY)≤H(X)+H(Y),当且仅当X,Y中任意一个为常量时等式成立;
(4)I(X;Z)=H(Z)-H(Y);
(5)I(XY;Z)=H(Z);
(6)I(X;YZ)=H(X);
(7)I(Y;ZIX)=H(Y);
(8)I(X;YIZ)=H(XIZ)=H(YIZ)。
题目解答
答案


解析
本题考查离散随机变量在给定关系$X+Y=Z$且$X$与$Y$独立时的熵与互信息性质。核心思路是利用熵的链式法则、条件熵的性质以及互信息的定义展开推导。关键点包括:
- 确定性关系:$Z=X+Y$导致$Z$在已知$X,Y$时完全确定,即$H(Z|XY)=0$;
- 独立性:$X$与$Y$独立,简化条件熵计算(如$H(Y|X)=H(Y)$);
- 互信息与熵的关系:通过$I(A;B)=H(A)-H(A|B)$展开推导。
第(1)题
熵的比较
由$Z=X+Y$,根据数据处理定理,$H(Z) \geq H(X)$,因为$Z$是$X$的函数(通过$Y$叠加)。当$Y$为常量时,$Z=X+\text{常量}$,此时$H(Z)=H(X)$,等号成立。
第(2)题
对称性推导
与第(1)题对称,交换$X$和$Y$的角色,同理可得$H(Z) \geq H(Y)$,当$X$为常量时等号成立。
第(3)题
联合熵与条件熵
- 下界:$H(Z) \leq H(XY)$,因$Z$是$X,Y$的函数,不确定性不高于$XY$;
- 上界:$H(XY) = H(X)+H(Y)$(独立性),当$X$或$Y$为常量时,$H(XY)=H(X)+H(Y)$或$H(Y)+H(X)$,等号成立。
第(4)题
互信息计算
$I(X;Z) = H(Z) - H(Z|X)$
已知$Z=X+Y$,且$X$与$Y$独立,故$H(Z|X)=H(Y|X)=H(Y)$,因此:
$I(X;Z) = H(Z) - H(Y)$
第(5)题
联合互信息
$I(XY;Z) = H(Z) - H(Z|XY)$
由于$Z=X+Y$,当已知$XY$时$Z$完全确定,故$H(Z|XY)=0$,得:
$I(XY;Z) = H(Z)$
第(6)题
条件互信息
$I(X;YZ) = H(X) - H(X|YZ)$
已知$Z=X+Y$,当已知$Y$和$Z$时,$X=Z-Y$可唯一确定,故$H(X|YZ)=0$,得:
$I(X;YZ) = H(X)$
第(7)题
条件互信息
$I(Y;Z|X) = H(Y|X) - H(Y|X,Z)$
因$X$与$Y$独立,$H(Y|X)=H(Y)$;已知$X,Z$时,$Y=Z-X$可唯一确定,故$H(Y|X,Z)=0$,得:
$I(Y;Z|X) = H(Y)$
第(8)题
对称性条件互信息
$I(X;Y|Z) = H(X|Z) - H(X|YZ)$
已知$YZ$时,$X=Z-Y$可唯一确定,故$H(X|YZ)=0$,得:
$I(X;Y|Z) = H(X|Z)$
同理,对称性可证$I(X;Y|Z)=H(Y|Z)$,故$H(X|Z)=H(Y|Z)$。