设有四个符号,其中前三个符号的出现概率分别为1/4,1/8,1/8,且各符号的出现是相互独立的。试计算该符号集的平均信息量。

考查要点：本题主要考查平均信息量的计算方法，需要掌握信息量公式和期望值的计算。

解题核心思路：

1. 确定各符号的概率：已知前三个符号的概率，第四个符号的概率通过总概率为1求出。
2. 计算每个符号的信息量：使用公式 $I = \log_2 \frac{1}{p}$。
3. 求平均信息量：将每个符号的信息量乘以其概率后求和。

破题关键点：

• 第四个符号的概率：需通过总概率为1计算得出。
• 正确应用公式：注意信息量的单位是比特（bit），且计算时需对每个符号单独处理。

步骤1：确定各符号的概率

• 符号1的概率：$p_1 = \frac{1}{4}$
• 符号2的概率：$p_2 = \frac{1}{8}$
• 符号3的概率：$p_3 = \frac{1}{8}$
• 符号4的概率：$p_4 = 1 - \left( \frac{1}{4} + \frac{1}{8} + \frac{1}{8} \right) = \frac{1}{2}$

步骤2：计算每个符号的信息量

• 符号1的信息量：$I_1 = \log_2 \frac{1}{p_1} = \log_2 4 = 2 \, \text{bit}$
• 符号2的信息量：$I_2 = \log_2 \frac{1}{p_2} = \log_2 8 = 3 \, \text{bit}$
• 符号3的信息量：$I_3 = \log_2 \frac{1}{p_3} = \log_2 8 = 3 \, \text{bit}$
• 符号4的信息量：$I_4 = \log_2 \frac{1}{p_4} = \log_2 2 = 1 \, \text{bit}$

步骤3：计算平均信息量

平均信息量公式为：
$H = \sum_{i=1}^4 p_i I_i = p_1 I_1 + p_2 I_2 + p_3 I_3 + p_4 I_4$
代入数值：
$H = \frac{1}{4} \cdot 2 + \frac{1}{8} \cdot 3 + \frac{1}{8} \cdot 3 + \frac{1}{2} \cdot 1 = 0.5 + 0.375 + 0.375 + 0.5 = 1.75 \, \text{bit/symbol}$