题目
【4-6】某个信息源由A、B、C和D等4个符号组成。设每个符号独立出现，其出现概率分别为1/4，1/4，3/16、5/16，经过信道传输后，每个符号正确接收的概率为1021/1024，错为其它符号的条件概率P(x_(i)|y_(j))均为1/1024，试求出该信道的信道容量C等于多少比特/符号。
【4-6】某个信息源由A、B、C和D等4个符号组成。设每个符号独立出现，其出现概率分别为1/4，1/4，3/16、5/16，经过信道传输后，每个符号正确接收的概率为1021/1024，错为其它符号的条件概率$P(x_{i}|y_{j})$均为1/1024，试求出该信道的信道容量C等于多少比特/符号。
题目解答
答案
根据题意，信道为准对称信道。
1. 条件熵：
\[
H(Y|X) = -\left( \frac{1021}{1024} \log_2 \frac{1021}{1024} + 3 \times \frac{1}{1024} \log_2 \frac{1}{1024} \right) \approx 0.0323 \text{ 比特/符号}
\]
2. 输出概率：
\[
P(A) = P(B) = \frac{1033}{4096}, \quad P(C) = \frac{742}{4096}, \quad P(D) = \frac{782}{4096}
\]
3. 输出熵：
\[
H(Y) \approx 1.999 \text{ 比特/符号}
\]
4. 信道容量：
\[
C = H(Y) - H(Y|X) \approx 1.999 - 0.0323 = 1.967 \text{ 比特/符号}
\]
答案：$ C \approx 1.967 \text{ 比特/符号} $。