某信源符号集由字母 A、B、C、D 组成,若传输每一个字母用二进制[1]码元[2]编码,“00”代替 A,“01”代替 B,“10”代替 C,“11”代替 D,每个二进制码元宽度为 5ms。(1) 不同的字母是等可能出现时,试计算传输的平均信息速率;(2) 若每个字母出现的可能性分别为P_A = (1)/(5), P_B = (1)/(4), P_C = (1)/(4), P_D = (3)/(10)试计算传输的平均信息速率。
某信源符号集由字母 A、B、C、D 组成,若传输每一个字母用二进制[1]码元[2]编码,“00”代替 A,“01”代替 B,“10”代替 C,“11”代替 D,每个二进制码元宽度为 5ms。 (1) 不同的字母是等可能出现时,试计算传输的平均信息速率; (2) 若每个字母出现的可能性分别为 $P_A = \frac{1}{5}, P_B = \frac{1}{4}, P_C = \frac{1}{4}, P_D = \frac{3}{10}$ 试计算传输的平均信息速率。
题目解答
答案
我们来逐步分析并解决这个信息论的问题。
题目解析:
信源符号集:{A, B, C, D}
编码方式:
- A → 00
- B → 01
- C → 10
- D → 11
每个二进制码元宽度为 5ms,即每个码元持续 0.005 秒。
第(1)问:不同字母等可能出现时,计算平均信息速率
步骤1:求每个符号的信息量(熵)
由于四个字母等可能出现,即:
$P(A) = P(B) = P(C) = P(D) = \frac{1}{4}$
信源的熵(平均信息量)为:
$H(X) = -\sum_{i=1}^{4} P(x_i) \log_2 P(x_i) = -4 \cdot \frac{1}{4} \log_2 \frac{1}{4} = -\log_2 \frac{1}{4} = \log_2 4 = 2 \text{ bit/符号}$
步骤2:计算每个符号的传输时间
每个符号用两个二进制码元表示,每个码元宽 5ms:
$\text{每个符号传输时间} = 2 \times 5ms = 10ms = 0.01 \text{ 秒}$
步骤3:计算平均信息速率
信息速率(单位:bit/s)= 每个符号的信息量 / 每个符号的传输时间
$R = \frac{2 \text{ bit}}{0.01 \text{ s}} = 200 \text{ bit/s}$
第(1)问答案:
$\boxed{200} \text{ bit/s}$
第(2)问:字母出现概率不同时,计算平均信息速率
给定概率:
$P_A = \frac{1}{5}, \quad P_B = \frac{1}{4}, \quad P_C = \frac{1}{4}, \quad P_D = \frac{3}{10}$
验证概率和是否为1:
$\frac{1}{5} + \frac{1}{4} + \frac{1}{4} + \frac{3}{10} = \frac{2}{10} + \frac{2.5}{10} + \frac{2.5}{10} + \frac{3}{10} = \frac{10}{10} = 1$
步骤1:计算信源熵
$H(X) = -\sum P(x_i) \log_2 P(x_i)$
分别计算:
- $ -\frac{1}{5} \log_2 \frac{1}{5} \approx -0.2 \times (-2.3219) = 0.4644 $
- $ -\frac{1}{4} \log_2 \frac{1}{4} = -0.25 \times (-2) = 0.5 $
- $ -\frac{1}{4} \log_2 \frac{1}{4} = 0.5 $
- $ -\frac{3}{10} \log_2 \frac{3}{10} \approx -0.3 \times (-1.73697) = 0.5211 $
总和:
$H(X) \approx 0.4644 + 0.5 + 0.5 + 0.5211 = 1.9855 \text{ bit/符号}$
步骤2:符号传输时间仍为 0.01 秒
步骤3:计算平均信息速率
$R = \frac{1.9855}{0.01} = 198.55 \text{ bit/s}$
第(2)问答案:
$\boxed{198.55} \text{ bit/s}$
✅ 最终答案总结:
(1) 当字母等可能出现时,平均信息速率为:$\boxed{200} \text{ bit/s}$
(2) 当字母出现概率分别为 $P_A = \frac{1}{5}, P_B = \frac{1}{4}, P_C = \frac{1}{4}, P_D = \frac{3}{10}$ 时,平均信息速率为:$\boxed{198.55} \text{ bit/s}$
解析
考查要点:本题主要考查平均信息速率的计算,涉及信源熵和传输时间的综合应用。
解题思路:
- 平均信息速率的公式为:
$R = \frac{H(X)}{T}$
其中,$H(X)$ 是信源的熵(平均信息量),$T$ 是每个符号的传输时间。 - 传输时间由编码方式决定:每个符号用2个二进制码元,每个码元宽度为5ms,因此总时间为 $2 \times 5\text{ms} = 10\text{ms}$。
- 熵的计算:
- 等概率情况:直接利用对称性简化计算。
- 非等概率情况:需逐个计算每个符号的信息量并求和。
破题关键:
- 明确区分信息量(bit/符号)和信息速率(bit/s)的概念。
- 注意单位换算:时间需转换为秒(如 $10\text{ms} = 0.01\text{s}$)。
第(1)题
等概率情况
- 计算熵:
四个符号等概率,$P(A)=P(B)=P(C)=P(D)=\frac{1}{4}$,则:
$H(X) = -4 \cdot \frac{1}{4} \log_2 \frac{1}{4} = \log_2 4 = 2 \text{ bit/符号}$ - 计算传输时间:
每个符号用2个码元,每个码元5ms,总时间:
$T = 2 \times 5\text{ms} = 10\text{ms} = 0.01\text{s}$ - 计算信息速率:
$R = \frac{2 \text{ bit}}{0.01 \text{ s}} = 200 \text{ bit/s}$
第(2)题
非等概率情况
- 验证概率和:
$\frac{1}{5} + \frac{1}{4} + \frac{1}{4} + \frac{3}{10} = 1$ - 计算熵:
$H(X) = -\left( \frac{1}{5} \log_2 \frac{1}{5} + \frac{1}{4} \log_2 \frac{1}{4} + \frac{1}{4} \log_2 \frac{1}{4} + \frac{3}{10} \log_2 \frac{3}{10} \right)$
逐项计算:- $-\frac{1}{5} \log_2 \frac{1}{5} \approx 0.4644$
- $-\frac{1}{4} \log_2 \frac{1}{4} = 0.5$(两次)
- $-\frac{3}{10} \log_2 \frac{3}{10} \approx 0.5211$
总和:
$H(X) \approx 0.4644 + 0.5 + 0.5 + 0.5211 = 1.9855 \text{ bit/符号}$
- 计算信息速率:
$R = \frac{1.9855 \text{ bit}}{0.01 \text{ s}} = 198.55 \text{ bit/s}$