在一个二进制[1]信道中,信源消息 X in 0,1,且 p(1)=p(0),信宿的消息 Y in 0,1,信道传输概率 p(y=1|x=0)=1/4, p(y=0|x=1)=1/8。求:(1) 在接收端收到 y=0 后,所提供的关于传输消息 x 的平均条件互信息[2]量 I(X;y=0)。(2) 该情况所能提供的平均互信息量 I(X;Y).

本题主要考察二进制信道中条件互信息和平均互信息量的计算，解题的关键在于利用贝叶斯定理求出后验概率，再根据熵和互信息的定义进行计算。

（1）计算在接收端收到 $y = 0$ 后，所提供的关于传输消息 $x$ 的平均条件互信息量 $I(X;y = 0)$

• 步骤一：计算先验概率
  已知信源消息 $X \in \{0,1\}$，且 $p(1)=p(0)$，由于 $p(0)+p(1)=1$，所以可得 $p(0)=p(1)=\frac{1}{2}$。
• 步骤二：计算 $p(y = 0)$ 的概率
  根据全概率公式 $p(y = 0)=p(x = 0)p(y = 0|x = 0)+p(x = 1)p(y = 0|x = 1)$。
  已知 $p(y = 1|x = 0)=\frac{1}{4}$，则 $p(y = 0|x = 0)=1 - p(y = 1|x = 0)=1-\frac{1}{4}=\frac{3}{4}$；已知 $p(y = 0|x = 1)=\frac{1}{8}$。
  将 $p(0)=\frac{1}{2}$，$p(1)=\frac{1}{2}$，$p(y = 0|x = 0)=\frac{3}{4}$，$p(y = 0|x = 1)=\frac{1}{8}$代入全概率公式可得：
  $\begin{align*}p(y = 0)&=\frac{1}{2}\times\frac{3}{4}+\frac{1}{2}\times\frac{1}{8}\\&=\frac{3}{8}+\frac{1}{16}\\&=\frac{6 + 1}{16}\\&=\frac{7}{16}\end{align*}$
• 步骤三：根据贝叶斯定理计算后验概率 $p(x = 0|y = 0)$ 和 $p(x = 1|y = 0)$
  根据贝叶斯定理 $p(x = i|y = 0)=\frac{p(x = i)p(y = 0|x = i)}{p(y = 0)}$，$i = 0,1$。
  $p(x = 0|y = 0)=\frac{p(x = 0)p(y = 0|x = 0)}{p(y = 0)}=\frac{\frac{1}{2}\times\frac{3}{4}}{\frac{7}{16}}=\frac{\frac{3}{8}}{\frac{7}{16}}=\frac{3}{8}\times\frac{16}{7}=\frac{6}{7}$
  $p(x = 1|y = 0)=\frac{p(x = 1)p(y = 0|x = 1)}{p(y = 0)}=\frac{\frac{1}{2}\times\frac{1}{8}}{\frac{7}{16}}=\frac{\frac{1}{16}}{\frac{7}{16}}=\frac{1}{7}$
• 步骤四：计算条件熵 $H(X|y = 0)$
  根据条件熵的定义 $H(X|y = 0)=-\sum_{i = 0}^{1}p(x = i|y = 0)\log_2p(x = i|y = 0)$，可得：
  $\begin{align*}H(X|y = 0)&=-\left(\frac{6}{7}\log_2\frac{6}{7}+\frac{1}{7}\log_2\frac{1}{7}\right)\\&\approx - (0.6\times(-0.233)+0.143\times(-2.807))\\&\approx - (-0.14 + (-0.4))\\&\approx 0.591 \text{ bit}\end{align*}$
• 步骤五：计算条件互信息 $I(X;y = 0)$
  因为 $H(X)=-\left(\frac{1}{2}\log_2\frac{1}{2}+\frac{1}{2}\log_2\frac{1}{2}\right)=1$ bit，根据条件互信息的公式 $I(X;y = 0)=H(X)-H(X|y = 0)$，可得：
  $I(X;y = 0)=1 - 0.591 = 0.409$ bit

（2）计算该情况所能提供的平均互信息量 $I(X;Y)$

• 步骤一：计算 $p(y = 1)$ 的概率
  因为 $p(y = 0)+p(y = 1)=1$，已知 $p(y = 0)=\frac{7}{16}$，所以 $p(y = 1)=1 - p(y = 0)=1-\frac{7}{16}=\frac{9}{16}$。
• 步骤二：根据贝叶斯定理计算后验概率 $p(x = 0|y = 1)$ 和 $p(x = 1|y = 1)$
  根据贝叶斯定理 $p(x = i|y = 1)=\frac{p(x = i)p(y = 1|x = i)}{p(y = 1)}$，$i = 0,1$。
  已知 $p(y = 1|x = 0)=\frac{1}{4}$，$p(y = 1|x = 1)=1 - p(y = 0|x = 1)=1-\frac{1}{8}=\frac{7}{8}$。
  $p(x = 0|y = 1)=\frac{p(x = 0)p(y = 1|x = 0)}{p(y = 1)}=\frac{\frac{1}{2}\times\frac{1}{4}}{\frac{9}{16}}=\frac{\frac{1}{8}}{\frac{9}{16}}=\frac{1}{8}\times\frac{16}{9}=\frac{2}{9}$
  $p(x = 1|y = 1)=\frac{p(x = 1)p(y = 1|x = 1)}{p(y = 1)}=\frac{\frac{1}{2}\times\frac{7}{8}}{\frac{9}{16}}=\frac{\frac{7}{16}}{\frac{9}{16}}=\frac{7}{9}$
• 步骤三：计算条件熵 $H(X|y = 1)$
  根据条件熵的定义 $H(X|y = 1)=-\sum_{i = 0}^{1}p(x = i|y = 1)\log_2p(x = i|y = 1)$，可得：
  $\begin{align*}H(X|y = 1)&=-\left(\frac{2}{9}\log_2\frac{2}{9}+\frac{7}{9}\log_2\frac{7}{9}\right)\\&\approx - (0.222\times(-2.17)+0.778\times(-0.37))\\&\approx - (-0.482+(-0.298))\\&\approx 0.764 \text{ bit}\end{align*}$
• 步骤四：计算条件互信息 $I(X;y = 1)$
  根据条件互信息的公式 $I(X;y = 1)=H(X)-H(X|y = 1)$，可得：
  $I(X;y = 1)=1 - 0.764 = 0.236$ bit
• 步骤五：计算平均互信息量 $I(X;Y)$
  根据平均互信息量的公式 $I(X;Y)=\sum_{j = 0}^{1}p(y = j)I(X;y = j)$，可得：
  $\begin{align*}I(X;Y)&=p(y = 0)I(X;y = 0)+p(y = 1)I(X;y = 1)\\&=\frac{7}{16}\times0.409+\frac{9}{16}\times0.236\\&=\frac{2.863}{16}+\frac{2.124}{16}\\&=\frac{2.863 + 2.124}{16}\\&=\frac{4.987}{16}\\&\approx 0.312 \text{ bit}\end{align*}$