题目
一平稳信源,它在任意时间,不论以前发出过什么符号,都按 p(a_1)=1/4,p(a_2)=1/4,p(a_3)=1/2 发出符号。(1) 判断该信源类型;(2) 求信源 X 的二次扩展信源 X^2=(X_1X_2) 的序列熵 H(X^2),并写出 X^2 信源中可能有的所有符号序列;(3) H(X^2) 与 H(X_1) 和 H(X_2) 具有什么关系?(4) 求 H(X_3|X_1X_2)。
一平稳信源,它在任意时间,不论以前发出过什么符号,都按 $p(a_1)=1/4$,$p(a_2)=1/4$,$p(a_3)=1/2$ 发出符号。 (1) 判断该信源类型; (2) 求信源 $X$ 的二次扩展信源 $X^2=(X_1X_2)$ 的序列熵 $H(X^2)$,并写出 $X^2$ 信源中可能有的所有符号序列; (3) $H(X^2)$ 与 $H(X_1)$ 和 $H(X_2)$ 具有什么关系? (4) 求 $H(X_3|X_1X_2)$。
题目解答
答案
1. 该信源为离散、平稳、无记忆信源。
2. $ X^2 $ 的可能符号序列为:
\[
(a_1, a_1), (a_1, a_2), (a_1, a_3), (a_2, a_1), (a_2, a_2), (a_2, a_3), (a_3, a_1), (a_3, a_2), (a_3, a_3)
\]
3. $ H(X_1) = H(X_2) = \frac{3}{2} \text{ bit/符号} $,故 $ H(X^2) = H(X_1) + H(X_2) = 3 \text{ bit/序列} $。
4. 由于信源无记忆,$ H(X_3 | X_1 X_2) = H(X_3) = \frac{3}{2} \text{ bit/符号} $。
最终结果:
1. 信源类型:离散、平稳、无记忆信源。
2. $ H(X^2) = 3 \text{ bit/序列} $。
3. $ H(X^2) = H(X_1) + H(X_2) $。
4. $ H(X_3 | X_1 X_2) = \frac{3}{2} \text{ bit/符号} $。
解析
本题主要考察离散信源的相关知识,包括信源类型判断、序列熵计算以及熵之间的关系。解题思路如下:
- 判断信源类型:
- 信源在任意时间发出的符号是离散的,所以该信源为离散信源。
- 题目中明确说明信源是平稳信源。
- 因为不论以前发出发出过什么符号,都按给定的概率发出符号,所以该信源是无记忆信源。
- 求信源 $X\mathrm{X}$ 的二次扩展信源 $X^2=(X_1X_2)$) 的序列熵 $H(X^2)$ 并写出 $X^2$ 信源中可能有的所有符号序列:
- 求序列熵 $H(X^2)$:
- 首先根据信息信息熵公式 $H(X)=-\sum_{i}p(x_i)\log_2p(x_i)$ 计算信源 $X$ 的熵 $H(X)$。
- 已知 $p(a_1)=\frac{1}{4}$,$p(a_2)frac{1}{4}$,$p(a_3)frac{12$,则:
$\begin{align*} H(X)&=-\left(\frac{1}{4}\log\frac{1}{4}+\frac{1}{4}\log\frac{1}{4}+\frac{1}{2}\log\frac{1}{2}\right)\\ &=-\left(\frac{1}{4}\times2\log\frac{1}{4}+\frac{1}{2}\log\frac{1}{2}\right)\\ &=-\left(\frac{1}{2}\log\frac{1}{4}+\frac{12\log\frac{1}{2}\right)\\ &=-\left(\frac{1}{2}\times2\log2+\frac{frac{1}{2}\times1\log2\right)\\ &=-\left(\log2+\frac{1}{2}\log2\right)\\ &=-\left(1 + \frac{1}{2}\right)\log2\\ &=-\frac{3}{2}\log2\\ &=\frac{3}{2}\text{ bit/符号} \end{align*}$ - 由于二次扩展信源 $X^2$ 的序列熵 $H(X^2)=H(X_1)+H(X_2)$,且 $H(X_1)=H(X_2)=H(X)$,所以 $H(X^2)=2\times\frac{3}{2}=3\text{ bit/序列}$。
- 写出 $X^2$ 信源中可能有的所有符号序列:
- $X^2$ 信源中可能有的所有符号序列是由信源 $X$ 的两个符号组合而成,即 $(a_1, a_1), (a_1, a_2), (a_1, a_3), (a_2, a_1), (a_2, a_2), (a_2, a_3), (a_3, a_1), (a_3, a_2), (a_3, a_3)$)。
- 求序列熵 $H(X^2)$:
- 分析 $H(X^2)$ 与 $H(X_1)$ 和 $H(X_2)$ 的关系:
- 因为二次扩展信源 $X^2$ 是由两个独立的信源符号 $X_1$ 和 $X_2$ 组成,所以 $H(X^2)=H(X_1)+H(X_2)$。
- 求 $H(X_3|X_1X_2)$:
- 由于信源无记忆,所以 $H(X_3|X_1X_2)=H(X_3)$。
- 前面已经计算出 $H(X_3)=\frac{3}{2}\text{ bit/符号}$,所以 $H(X_3|X_1X_2)=\frac{3}{2}\text{ bit/符号}$。