18.(1.0分)若X与Y相互独立,则H(X)=H(X|Y)。A. 对B. 错
A. 对
B. 错
题目解答
答案
解析
本题考查信息论中熵和条件熵的概念以及随机变量相互独立的性质。解题的关键在于理解条件熵的定义以及随机变量相互独立时的概率关系,通过对条件熵公式的推导来判断$H(X)$与$H(X|Y)$是否相等。
1. 明确条件熵的定义
条件熵$H(X|Y)$的定义公式为:
$H(X|Y)=-\sum_{y}p(y)\sum_{x}p(x|y)\log p(x|y)$
其中$p(y)$是$Y$的概率分布,$p(x|y)$是在$Y = y$的条件下$X$的条件概率分布。
2. 利用随机变量相互独立的性质
已知$X$与$Y$相互独立,根据随机变量相互独立的定义,有$p(x,y)=p(x)p(y)$,其中$p(x,y)$是$X$和$Y$的联合概率分布。
同时,条件概率公式为$p(x|y)=\frac{p(x,y)}{p(y)}$,将$p(x,y)=p(x)p(y)$代入可得:
$p(x|y)=\frac{p(x)p(y)}{p(y)} = p(x)$
3. 将$p(x|y)=p(x)$代入条件熵公式
把$p(x|y)=p(x)$代入$H(X|Y)=-\sum_{y}p(y)\sum_{x}p(x|y)\log p(x|y)$中,得到:
$H(X|Y)=-\sum_{y}p(y)\sum_{x}p(x)\log p(x)$
4. 分析$\sum_{y}p(y)$的值
由于$\sum_{y}p(y)=1$(概率分布的性质,所有可能取值的概率之和为$1$),所以:
$H(X|Y)=-\sum_{x}p(x)\log p(x)$
5. 明确熵$H(X)$的定义
熵$H(X)$的定义公式为$H(X)=-\sum_{x}p(x)\log p(x)$。
6. 得出结论
由上述推导可知$H(X|Y)=H(X)$,所以“若$X$与$Y$相互独立,则$H(X)=H(X|Y)$”这一说法是正确的。