设某信源的输出由128个不同符号组成。其中16个出现的概率为1/32,其余112个出现的概率为1/224。信源每秒发出1000个符号,且每个符号彼此独立。试计算该信源的平均信息速率。
题目解答
答案
解析
考查要点:本题主要考查平均信息速率的计算,涉及信源熵的计算和码元速率的应用。
解题核心思路:
- 确定平均信息量:根据信源符号的概率分布,计算每个符号的平均信息量(熵)$H(x)$。
- 结合码元速率:将平均信息量与码元速率$R_B$相乘,得到平均信息速率$R_b$。
破题关键点:
- 分组计算熵:将128个符号分为两组(概率分别为$\frac{1}{32}$和$\frac{1}{224}$),分别计算熵后求和。
- 验证概率总和:确保所有符号的概率之和为1,避免计算错误。
步骤1:计算信源熵$H(x)$
信源熵公式为:
$H(x) = -\sum_{i=1}^{128} p_i \log_2 p_i$
分组计算:
-
第一组(16个符号):概率$p_1 = \frac{1}{32}$
单个符号的熵贡献为:
$-p_1 \log_2 p_1 = -\frac{1}{32} \log_2 \frac{1}{32} = \frac{1}{32} \times 5 = \frac{5}{32}$
总贡献为:
$16 \times \frac{5}{32} = 2.5 \ \text{比特}$ -
第二组(112个符号):概率$p_2 = \frac{1}{224}$
单个符号的熵贡献为:
$-p_2 \log_2 p_2 = -\frac{1}{224} \log_2 \frac{1}{224} = \frac{1}{224} \times \log_2 224$
计算$\log_2 224$:
$\log_2 224 = \log_2 (32 \times 7) = 5 + \log_2 7 \approx 5 + 2.8074 = 7.8074$
总贡献为:
$112 \times \frac{7.8074}{224} = 0.5 \times 7.8074 \approx 3.9037 \ \text{比特}$
总熵:
$H(x) = 2.5 + 3.9037 \approx 6.4037 \ \text{比特/符号}$
步骤2:计算平均信息速率$R_b$
公式为:
$R_b = R_B \times H(x)$
其中,码元速率$R_B = 1000 \ \text{Baud}$,代入得:
$R_b = 1000 \times 6.4037 \approx 6404 \ \text{bit/s}$