题目
若有三个离散随机变量,有如下关系:X+Y=Z,其中X和Y相互统计独立,试证明:(1)H(X)≤H(Z),当且仅当Y是常量时等式成立;(2)H(Y)≤H(Z),当且仅当X为常量时等式成立;(3)H(Z)≤H(XY)≤H(X)+H(Y),当且仅当X,Y中任意一个为常量时等式成立;(4)I(X;Z)=H(Z)-H(Y);(5)I(XY;Z)=H(Z);(6)I(X;YZ)=H(X);(7)I(Y;ZIX)=H(Y);(8)I(X;YIZ)=H(XIZ)=H(YIZ)。
若有三个离散随机变量,有如下关系:X+Y=Z,其中X和Y相互统计独立,试证明:
(1)H(X)≤H(Z),当且仅当Y是常量时等式成立;
(2)H(Y)≤H(Z),当且仅当X为常量时等式成立;
(3)H(Z)≤H(XY)≤H(X)+H(Y),当且仅当X,Y中任意一个为常量时等式成立;
(4)I(X;Z)=H(Z)-H(Y);
(5)I(XY;Z)=H(Z);
(6)I(X;YZ)=H(X);
(7)I(Y;ZIX)=H(Y);
(8)I(X;YIZ)=H(XIZ)=H(YIZ)。
(1)H(X)≤H(Z),当且仅当Y是常量时等式成立;
(2)H(Y)≤H(Z),当且仅当X为常量时等式成立;
(3)H(Z)≤H(XY)≤H(X)+H(Y),当且仅当X,Y中任意一个为常量时等式成立;
(4)I(X;Z)=H(Z)-H(Y);
(5)I(XY;Z)=H(Z);
(6)I(X;YZ)=H(X);
(7)I(Y;ZIX)=H(Y);
(8)I(X;YIZ)=H(XIZ)=H(YIZ)。
题目解答
答案
参考答案:



解析
步骤 1:证明 H(X)≤H(Z)
由于 X+Y=Z,且 X 和 Y 相互统计独立,因此 Z 的熵 H(Z) 可以表示为 H(Z)=H(X+Y)。根据熵的性质,H(X+Y)≥H(X),当且仅当 Y 是常量时等式成立。
步骤 2:证明 H(Y)≤H(Z)
同理,由于 X+Y=Z,且 X 和 Y 相互统计独立,因此 Z 的熵 H(Z) 可以表示为 H(Z)=H(X+Y)。根据熵的性质,H(X+Y)≥H(Y),当且仅当 X 是常量时等式成立。
步骤 3:证明 H(Z)≤H(XY)≤H(X)+H(Y)
由于 X 和 Y 相互统计独立,因此 H(XY)=H(X)+H(Y)。根据熵的性质,H(X+Y)≤H(XY),当且仅当 X 或 Y 是常量时等式成立。
步骤 4:证明 I(X;Z)=H(Z)-H(Y)
根据互信息的定义,I(X;Z)=H(Z)-H(Z|X)。由于 X+Y=Z,因此 H(Z|X)=H(Y),所以 I(X;Z)=H(Z)-H(Y)。
步骤 5:证明 I(XY;Z)=H(Z)
根据互信息的定义,I(XY;Z)=H(Z)-H(Z|XY)。由于 X+Y=Z,因此 H(Z|XY)=0,所以 I(XY;Z)=H(Z)。
步骤 6:证明 I(X;YZ)=H(X)
根据互信息的定义,I(X;YZ)=H(X)-H(X|YZ)。由于 X+Y=Z,因此 H(X|YZ)=0,所以 I(X;YZ)=H(X)。
步骤 7:证明 I(Y;Z|X)=H(Y)
根据互信息的定义,I(Y;Z|X)=H(Y|X)-H(Y|XZ)。由于 X+Y=Z,因此 H(Y|XZ)=0,所以 I(Y;Z|X)=H(Y)。
步骤 8:证明 I(X;Y|Z)=H(X|Z)=H(Y|Z)
根据互信息的定义,I(X;Y|Z)=H(X|Z)-H(X|YZ)。由于 X+Y=Z,因此 H(X|YZ)=0,所以 I(X;Y|Z)=H(X|Z)。同理,I(X;Y|Z)=H(Y|Z)。
由于 X+Y=Z,且 X 和 Y 相互统计独立,因此 Z 的熵 H(Z) 可以表示为 H(Z)=H(X+Y)。根据熵的性质,H(X+Y)≥H(X),当且仅当 Y 是常量时等式成立。
步骤 2:证明 H(Y)≤H(Z)
同理,由于 X+Y=Z,且 X 和 Y 相互统计独立,因此 Z 的熵 H(Z) 可以表示为 H(Z)=H(X+Y)。根据熵的性质,H(X+Y)≥H(Y),当且仅当 X 是常量时等式成立。
步骤 3:证明 H(Z)≤H(XY)≤H(X)+H(Y)
由于 X 和 Y 相互统计独立,因此 H(XY)=H(X)+H(Y)。根据熵的性质,H(X+Y)≤H(XY),当且仅当 X 或 Y 是常量时等式成立。
步骤 4:证明 I(X;Z)=H(Z)-H(Y)
根据互信息的定义,I(X;Z)=H(Z)-H(Z|X)。由于 X+Y=Z,因此 H(Z|X)=H(Y),所以 I(X;Z)=H(Z)-H(Y)。
步骤 5:证明 I(XY;Z)=H(Z)
根据互信息的定义,I(XY;Z)=H(Z)-H(Z|XY)。由于 X+Y=Z,因此 H(Z|XY)=0,所以 I(XY;Z)=H(Z)。
步骤 6:证明 I(X;YZ)=H(X)
根据互信息的定义,I(X;YZ)=H(X)-H(X|YZ)。由于 X+Y=Z,因此 H(X|YZ)=0,所以 I(X;YZ)=H(X)。
步骤 7:证明 I(Y;Z|X)=H(Y)
根据互信息的定义,I(Y;Z|X)=H(Y|X)-H(Y|XZ)。由于 X+Y=Z,因此 H(Y|XZ)=0,所以 I(Y;Z|X)=H(Y)。
步骤 8:证明 I(X;Y|Z)=H(X|Z)=H(Y|Z)
根据互信息的定义,I(X;Y|Z)=H(X|Z)-H(X|YZ)。由于 X+Y=Z,因此 H(X|YZ)=0,所以 I(X;Y|Z)=H(X|Z)。同理,I(X;Y|Z)=H(Y|Z)。