题目
各种熵之间的关系,下列正确的有A..H(XY)=H(X)+H(Y|X)B..H(XY)=H(Y)-H(X|Y)C..H(X|Y)<=H(X)D..H(XY)<=H(X)+H(Y)
各种熵之间的关系,下列正确的有
A..H(XY)=H(X)+H(Y|X)
B..H(XY)=H(Y)-H(X|Y)
C..H(X|Y)<=H(X)
D..H(XY)<=H(X)+H(Y)
A..H(XY)=H(X)+H(Y|X)
B..H(XY)=H(Y)-H(X|Y)
C..H(X|Y)<=H(X)
D..H(XY)<=H(X)+H(Y)
题目解答
答案
A
解析
本题考查信息论中熵的基本性质,包括联合熵、条件熵的定义及关系。解题核心在于:
- 联合熵的分解公式:$H(X,Y)=H(X)+H(Y|X)$;
- 条件熵的性质:$H(X|Y) \leq H(X)$;
- 熵的上界性质:$H(X,Y) \leq H(X)+H(Y)$。
选项A
正确。根据联合熵的分解公式:
$H(X,Y) = H(X) + H(Y|X)$
公式成立,因此选项A正确。
选项B
错误。正确公式应为:
$H(X,Y) = H(Y) + H(X|Y)$
选项B中错误地使用了减号,因此不成立。
选项C
正确。根据条件熵的性质:
$H(X|Y) = H(X) - I(X;Y) \leq H(X)$
其中互信息$I(X;Y) \geq 0$,因此选项C正确。
选项D
正确。根据熵的上界性质:
$H(X,Y) \leq H(X) + H(Y)$
当且仅当$X$与$Y$独立时取等号,因此选项D正确。