题目
2-1 设二进制[1]对称信道的概率转移矩阵为}2/3&1/31/3&2/3,(1)若p(x_(0))=3/4,p(x_(1))=1/4,求H(X)、H(X|Y)、H(Y|X)和I(X;Y)。(2)求该信道的信道容量及其达到信道容量时的输入符号概率分布。(3)求(1)中信道的绝对冗余度和相对冗余度。
2-1 设二进制[1]对称信道的概率转移矩阵为$\begin{bmatrix}2/3&1/3\\1/3&2/3\end{bmatrix}$,
(1)若$p(x_{0})=3/4$,$p(x_{1})=1/4$,求H(X)、H(X|Y)、H(Y|X)和I(X;Y)。
(2)求该信道的信道容量及其达到信道容量时的输入符号概率分布。
(3)求(1)中信道的绝对冗余度和相对冗余度。
题目解答
答案
1. $ H(X) = -\left( \frac{3}{4} \log_2 \frac{3}{4} + \frac{1}{4} \log_2 \frac{1}{4} \right) = 0.81125 \, \text{bit/符号} $。
$ H(Y|X) = 0.9183 \, \text{bit/符号} $。
$ H(Y) = -\left( \frac{7}{12} \log_2 \frac{7}{12} + \frac{5}{12} \log_2 \frac{5}{12} \right) = 0.98345 \, \text{bit/符号} $。
$ H(X|Y) = 0.7461 \, \text{bit/符号} $。
$ I(X;Y) = 0.06515 \, \text{bit/符号} $。
2. 信道容量 $ C = 1 - H\left( \frac{1}{3} \right) = 0.0817 \, \text{bit/符号} $。
达到 $ C $ 时,$ p(x_0) = p(x_1) = \frac{1}{2} $。
3. 绝对冗余度 $ D = C - I(X;Y) = 0.01655 \, \text{bit/符号} $。
相对冗余度 $ \rho = \frac{D}{C} \times 100\% \approx 20.26\% $。
答案:
1. $ H(X) = 0.81125 $,$ H(X|Y) = 0.7461 $,$ H(Y|X) = 0.9183 $,$ I(X;Y) = 0.06515 $。
2. $ C = 0.0817 $,$ p(x_0) = p(x_1) = \frac{1}{2} $。
3. $ D = 0.01655 $,$ \rho \approx 20.26\% $。