题目
1-2 设有四个符号,其中前三个符号的出现概率分别为1/4,1/8,1/8,且各符号的出现是相互独立的。试计算该符号集的平均信息量。
1-2 设有四个符号,其中前三个符号的出现概率分别为1/4,1/8,1/8,且各符号的出现是相互独立的。试计算该符号集的平均信息量。
题目解答
答案
已知前三个符号的概率分别为 $1/4$、$1/8$、$1/8$,总概率为 $1$,则第四个符号的概率为:
\[
p_4 = 1 - \left(\frac{1}{4} + \frac{1}{8} + \frac{1}{8}\right) = \frac{1}{2}
\]
平均信息量(熵)计算公式为:
\[
H(X) = -\sum p_i \log_2 p_i
\]
代入各概率值:
\[
H(X) = -\left(\frac{1}{4} \log_2 \frac{1}{4} + \frac{1}{8} \log_2 \frac{1}{8} + \frac{1}{8} \log_2 \frac{1}{8} + \frac{1}{2} \log_2 \frac{1}{2}\right)
\]
计算得:
\[
H(X) = -\left(-\frac{1}{2} -\frac{3}{8} -\frac{3}{8} -\frac{1}{2}\right) = \frac{1}{2} + \frac{3}{8} + \frac{3}{8} + \frac{1}{2} = \frac{7}{4} = 1.75 \text{ bit/符号}
\]
**答案:** $\boxed{1.75}$ bit/符号