(课后习题1-3) 某信源符号集由字母A、B、C、D组成,若传输每一个字母二进制码元编码,“00”代替A.,“01”代替B.,"10"代替C.,“11”代替D.,每个二进制码元宽度为5ms。 (1)不同的字母是等可能出现时,试计算传输的平均信息速率; (2)若每个字母出现的可能性分别为 , , , , 试计算传输的平均信息速率。

步骤 1：计算每个字母的持续时间
每个二进制码元宽度为5ms，一个字母由两个二进制码元组成，因此一个字母的持续时间为：
\[ T = 2 \times 5 \text{ms} = 10 \text{ms} \]

步骤 2：计算传输字母的符号速率
符号速率是指单位时间内传输的符号数，这里符号是指字母。符号速率计算如下：
\[ R_s = \frac{1}{T} = \frac{1}{10 \text{ms}} = 100 \text{符号/s} \]

步骤 3：计算等概率时的平均信息速率
当字母等概率出现时，每个字母出现的概率为：
\[ P(A) = P(B) = P(C) = P(D) = \frac{1}{4} \]
每个字母的信息量为：
\[ I(A) = I(B) = I(C) = I(D) = -\log_2 \left( \frac{1}{4} \right) = 2 \text{比特} \]
平均信息量为：
\[ H = \sum_{i=1}^{4} P_i I_i = 4 \times \frac{1}{4} \times 2 = 2 \text{比特/符号} \]
平均信息速率为：
\[ R_b = R_s \times H = 100 \text{符号/s} \times 2 \text{比特/符号} = 200 \text{比特/s} \]

步骤 4：计算非等概率时的平均信息速率
当字母出现的概率分别为 \( P(A) = \frac{1}{2} \), \( P(B) = \frac{1}{4} \), \( P(C) = \frac{1}{8} \), \( P(D) = \frac{1}{8} \) 时，每个字母的信息量为：
\[ I(A) = -\log_2 \left( \frac{1}{2} \right) = 1 \text{比特} \]
\[ I(B) = -\log_2 \left( \frac{1}{4} \right) = 2 \text{比特} \]
\[ I(C) = -\log_2 \left( \frac{1}{8} \right) = 3 \text{比特} \]
\[ I(D) = -\log_2 \left( \frac{1}{8} \right) = 3 \text{比特} \]
平均信息量为：
\[ H = \sum_{i=1}^{4} P_i I_i = \frac{1}{2} \times 1 + \frac{1}{4} \times 2 + \frac{1}{8} \times 3 + \frac{1}{8} \times 3 = \frac{1}{2} + \frac{1}{2} + \frac{3}{8} + \frac{3}{8} = 1.75 \text{比特/符号} \]
平均信息速率为：
\[ R_b = R_s \times H = 100 \text{符号/s} \times 1.75 \text{比特/符号} = 175 \text{比特/s} \]