【4-6】某个信息源由A、B、C和D等4个符号组成。设每个符号独立出现，其出现概率分别为1/4，1/4、3/16、5/16，经过信道传输后，每个符号正确接收的概率为1021/1024，错为其它符号的条件概率P(x_(i)|y_(j))均为1/1024，试求出该信道的信道容量C等于多少比特/符号。

本题考察信道容量的计算，涉及准对称信道的性质及相关熵的计算。解题思路如下：

1. 信道类型判断

题目中每个符号正确接收概率为 $1021/1024$，错为其他3个符号的条件概率各为 $1/1024$，即信道转移矩阵中每行元素相同（均为一个大概率和三个等小概率），属于准对称信道（QSC）。对于准对称信道，信道容量公式为：
$C = \max_{p(x)} [H(Y) - H(Y|X)]$
当输入符号等概率分布时达到信道容量（因信道对称），故可直接计算。

2. 计算条件熵 $H(Y|X)$

条件熵 $H(Y|X)$ 是每个输入符号的条件熵的平均（因输入等概率 $p(x_i)=1/4$）：
$H：H(Y|X) = -\sum_{i=1}^4 p(x_i) \sum_{j=1}^4 p(y_j|x_i) \log_2 p(y_j|x_i)$
对每个输入符号 $x_i$，条件概率分布为：正确接收 $p(y_i|x_i)=1021/1024$，错误接收其他符号 $p(y_j|x_i)=1/1024$（$j≠i$），共3个错误符号。
代入计算：
$\begin{align*}H(Y|X) &= -\left( \frac{1}{4} \left[ \frac{1021}{1024}\log_2\frac{1021}{1024} + 3\times\frac{1}{1024}\log_2\frac{1}{1024} \right] \times 4 \right) \\&= -\left( \frac{1021}{1024}\log_2\frac{1021}{1024} + 3\times\frac{1}{1024}\log_2\frac{1}{1024} \right) \\&\approx 0.0323 \, \text{比特/符号}\end{align*}$

3. 计算输出熵 $H(Y)$

输出符号概率 $p(y_j)$ 需先计算：对每个输出符号 $y_j$，其概率为所有输入符号转移至 $y_j$ 的概率之和：
$p(y_j) = \sum_{i=1}^4 p(x_i)p(y_j|x_i)$

• 当 $y_j$ 为A/B时（原概率 $1/4=4/16$）：
  $p(y_j) = p(x_j)\times\frac{1021}{1024} + \sum_{i≠j} p(x_i)\times\frac{1}{1024} = \frac{4}{16}\times\frac{1021}{1024} + 3\times\frac{1}{16}\times\frac{1}{1024} = \frac{4084 + 3}{16384} = \frac{1030}{4096}$
• 当 $y_j$ 为C时（原概率 $3/16$）：
  $p(y_j) = \frac{3}{16}\times\frac{1021}{1024} + 3\times\frac{1}{16}\times\frac{1}{1024} = \frac{3063 + 3}{16384} = \frac{742}{4096}$
• 当 $y_j$ 为D时（原概率 $5/16$）：
  $p(y_j) = \frac{5}{16}\times\frac{1021}{1024} + 3\times\frac{1}{16}\times\frac{1}{1024} = \frac{5105 + 3}{16384} = \frac{782}{4096}$

输出熵 $H(Y)$ 计算公式：
$H(Y) = -\sum_{j=1}^4 p(y_j)\log_2 p(y_j)$
代入数值计算得：
$H(Y) \approx 1.999 \, \text{比特/符号}$

4. 计算信道容量 $C$

$C = H(Y) - H(Y|X) \approx 1.999 - 0.0323 = 1.967 \, \text{比特/符号}$