题目
当X与Y 独立时,H(XY)=H+H(Y)A. 正确B. 错误A. 正确B. 错误
当X与Y 独立时,H(XY)=H
+H(Y)A. 正确B. 错误
A. 正确
B. 错误
题目解答
答案
A. 正确
解析
考查要点:本题主要考查联合熵的性质,特别是当两个随机变量独立时的熵关系。
解题核心思路:
当随机变量$X$与$Y$独立时,它们的联合概率分布满足$p(x,y) = p(x)p(y)$。此时,联合熵$H(X,Y)$可以分解为各自熵的和,即$H(X,Y) = H(X) + H(Y)$。题目中的$H(XY)$应理解为联合熵$H(X,Y)$,因此等式成立。
破题关键点:
明确区分联合熵与乘积的熵。题目中的$XY$若指联合分布,则等式正确;若指乘积运算的熵,则结论不同。但根据信息论常规表述,此处应为联合熵。
联合熵的定义:
$H(X,Y) = -\sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} p(x,y) \log p(x,y).$
独立性条件:
当$X$与$Y$独立时,$p(x,y) = p(x)p(y)$,代入联合熵公式:
$\begin{aligned}H(X,Y) &= -\sum_{x} \sum_{y} p(x)p(y) \log [p(x)p(y)] \\&= -\sum_{x} \sum_{y} p(x)p(y) \left[ \log p(x) + \log p(y) \right] \\&= -\sum_{x} p(x) \log p(x) \sum_{y} p(y) - \sum_{y} p(y) \log p(y) \sum_{x} p(x) \\&= H(X) + H(Y).\end{aligned}$
结论:
当$X$与$Y$独立时,$H(X,Y) = H(X) + H(Y)$,因此题目中的等式成立。