题目
1-5 设某信源的输出由128个不同的符号组成，其中16个出现的概率为1/32，其余112个的出现概率为1/224。信源每秒发出1000个符号，且每个符号彼此独立。试计算该信源的平均信息速率。
1-5 设某信源的输出由128个不同的符号组成，其中16个出现的概率为1/32，其余112个的出现概率为1/224。信源每秒发出1000个符号，且每个符号彼此独立。试计算该信源的平均信息速率。
题目解答
答案
1. 对16个符号：$ p_1 = \frac{1}{32} $，$ I_1 = 5 \, \text{bits} $，贡献为 $ 16 \times \frac{5}{32} = 2.5 \, \text{bits/symbol} $。
2. 对112个符号：$ p_2 = \frac{1}{224} $，$ I_2 \approx 7.807 \, \text{bits} $，贡献为 $ 112 \times \frac{7.807}{224} = 3.904 \, \text{bits/symbol} $。
3. 总信源熵：$ H(X) = 2.5 + 3.904 = 6.404 \, \text{bits/symbol} $。
4. 符号率 $ R_B = 1000 \, \text{symbols/s} $，平均信息速率为：
\[
R_b = 1000 \times 6.404 = 6404 \, \text{bits/s}
\]
答案：6404 bits/s。
解析
考查要点：本题主要考查信源熵的计算及平均信息速率的理解。需要掌握信息量公式、熵的计算方法，并能结合符号传输速率求出最终的信息速率。
解题核心思路：
- 分组计算：将符号分为两组（概率为$\frac{1}{32}$和$\frac{1}{224}$），分别计算每组的熵贡献。
- 信息量公式：单个符号的信息量$I = \log_2 \frac{1}{p}$，再结合概率求平均。
- 总熵求和：将两组的熵贡献相加得到总熵$H(X)$。
- 信息速率计算：用总熵乘以符号传输速率$R_B$，即得平均信息速率$R_b = H(X) \cdot R_B$。
破题关键点：
- 验证概率和为1：确保分组后的概率分布合法。
- 精确计算对数：特别是$\log_2 224$的近似值。
步骤1：计算第一组符号的熵贡献
- 概率：$p_1 = \frac{1}{32}$，对应信息量$I_1 = \log_2 32 = 5 \, \text{bits}$。
- 熵贡献：$16 \cdot \left( \frac{1}{32} \cdot 5 \right) = 2.5 \, \text{bits/symbol}$。
步骤2：计算第二组符号的熵贡献
- 概率：$p_2 = \frac{1}{224}$，对应信息量$I_2 = \log_2 224 \approx 7.807 \, \text{bits}$。
- 熵贡献：$112 \cdot \left( \frac{1}{224} \cdot 7.807 \right) \approx 3.904 \, \text{bits/symbol}$。
步骤3：求总熵
- 总熵：$H(X) = 2.5 + 3.904 = 6.404 \, \text{bits/symbol}$。
步骤4：计算平均信息速率
- 符号率：$R_B = 1000 \, \text{symbols/s}$。
- 信息速率：$R_b = 1000 \cdot 6.404 = 6404 \, \text{bits/s}$。