题目
【4-6】某个信息源由A、B、C和D等4个符号组成。设每个符号独立出现,其出现概率分别为1/4,1/4、3/16、5/16,经过信道传输后,每个符号正确接收的概率为1021/1024,错为其它符号的条件概率P(x_(i)|y_(j))均为1/1024,试求出该信道的信道容量C等于多少比特/符号。
【4-6】某个信息源由A、B、C和D等4个符号组成。设每个符号独立出现,
其出现概率分别为1/4,1/4、3/16、5/16,经过信道传输后,每个符号正确
接收的概率为1021/1024,错为其它符号的条件概率$P(x_{i}|y_{j})$均为1/1024,
试求出该信道的信道容量C等于多少比特/符号。
题目解答
答案
根据题意,信道为准对称信道。条件熵为:
\[
H(Y|X) = -\left( \frac{1021}{1024} \log_2 \frac{1021}{1024} + 3 \times \frac{1}{1024} \log_2 \frac{1}{1024} \right) \approx 0.0323 \, \text{比特/符号}
\]
输出熵为:
\[
H(Y) = -\left( \frac{1030}{4096} \log_2 \frac{1030}{4096} + \frac{1030}{4096} \log_2 \frac{1030}{4096} + \frac{742}{4096} \log_2 \frac{742}{4096} + \frac{782}{4096} \log_2 \frac{782}{4096} \right) \approx 1.999 \, \text{比特/符号}
\]
信道容量为:
\[
C = H(Y) - H(Y|X) \approx 1.999 - 0.0323 = 1.967 \, \text{比特/符号}
\]
最终结果:$ C \approx 1.967 \, \text{比特/符号} $。