一阶齐次马尔可夫信源消息集 X in a_1, a_2, a_3，状态集 S in S_1, S_2, S_3，且令 S_t = a_t, t=1,2,3，条件转移概率为[P(a_j/S_i)]=} 1/4 & 1/4 & 1/2 1/3 & 1/3 & 1/3 2/3 & 1/3 & 0 (1) 画出该马氏链的状态转移图；(2) 计算稳态概率；(3) 计算信源的极限熵。

1. 状态转移图： - 三个状态 $ S_1, S_2, S_3 $ 构成有向图，边权为对应转移概率。 - 具体转移关系如下： - $ S_1 \to S_1: \frac{1}{4},\quad S_1 \to S_2: \frac{1}{4},\quad S_1 \to S_3: \frac{1}{2} $ - $ S_2 \to S_1: \frac{1}{3},\quad S_2 \to S_2: \frac{1}{3},\quad S_2 \to S_3: \frac{1}{3} $ - $ S_3 \to S_1: \frac{2}{3},\quad S_3 \to S_2: \frac{1}{3},\quad S_3 \to S_3: 0 $ 2. 稳态概率求解： - 设稳态分布为 $ \pi = (\pi_1, \pi_2, \pi_3) $，满足： $$ \begin{cases} \pi P = \pi \\ \pi_1 + \pi_2 + \pi_3 = 1 \end{cases} $$ - 解得： $$ \pi_1 = \frac{2}{5},\quad \pi_2 = \frac{3}{10},\quad \pi_3 = \frac{3}{10} $$ 3. 极限熵计算： - 条件熵定义：$ H(X|S_i) = -\sum_{j=1}^{3} P(a_j|S_i) \log_2 P(a_j|S_i) $ - 各状态条件熵： - $ H(X|S_1) = 1.5 $ - $ H(X|S_2) = \log_2 3 $ - $ H(X|S_3) = \log_2 3 - \frac{2}{3} $ - 极限熵： $$ H_{\infty} = \pi_1 H(X|S_1) + \pi_2 H(X|S_2) + \pi_3 H(X|S_3) = \frac{2}{5} + \frac{3}{5} \log_2 3 \approx 1.351 \text{ bit/符号} $$