题目
1-2 设有四个符号,其中前三个符号的出现概率分别为1/4,1/8,1/8,且各符号的出现是相互独立的。试计算该符号集的平均信息量。
1-2 设有四个符号,其中前三个符号的出现概率分别为1/4,1/8,1/8,且各符号的出现是相互独立的。试计算该符号集的平均信息量。
题目解答
答案
已知前三个符号的概率分别为 $1/4$、$1/8$、$1/8$,总概率为 $1$,则第四个符号的概率为:
\[
p_4 = 1 - \left(\frac{1}{4} + \frac{1}{8} + \frac{1}{8}\right) = \frac{1}{2}
\]
平均信息量(熵)计算公式为:
\[
H(X) = -\sum p_i \log_2 p_i
\]
代入各概率值:
\[
H(X) = -\left(\frac{1}{4} \log_2 \frac{1}{4} + \frac{1}{8} \log_2 \frac{1}{8} + \frac{1}{8} \log_2 \frac{1}{8} + \frac{1}{2} \log_2 \frac{1}{2}\right)
\]
计算得:
\[
H(X) = -\left(-\frac{1}{2} -\frac{3}{8} -\frac{3}{8} -\frac{1}{2}\right) = \frac{1}{2} + \frac{3}{8} + \frac{3}{8} + \frac{1}{2} = \frac{7}{4} = 1.75 \text{ bit/符号}
\]
**答案:** $\boxed{1.75}$ bit/符号
解析
本题考查信息论中符号集平均信息量(熵)的计算。解题思路如下:
- 首先,根据所有符号出现的概率之和为$1$,已知前三个符号的概率,求出第四个符号的概率。
- 然后,明确平均信息量(熵)的计算公式为$H(X)=-\sum_{i = 1}^{n}p_i\log_2p_i$,其中$p_i$是第$i$个符号出现的概率,$n$是符号的总数。
- 最后,将四个符号的概率代入公式进行计算。
具体计算过程
- 计算第四个符号的概率$p_4$:
已知前三个符号的概率分别为$p_1=\frac{1}{4}$,$p_2=\frac{1}{8}$,$p_3=\frac{1}{8}$,因为所有符号出现的概率之和为$1$,所以可得:
$\begin{align*}p_4&=1-(p_1 + p_2 + p_3)\\&=1-(\frac{1}{4}+\frac{1}{8}+\frac{1}{8})\\&=1 - (\frac{2}{8}+\frac{1}{8}+\frac{1}{8})\\&=1-\frac{4}{8}\\&=\frac{1}{2}\end{align*}$ - 计算平均信息量$H(X)$:
将$p_1=\frac{1}{4}$,$p_2=\frac{1}{8}$,$p_3=\frac{1}{8}$,$p_4=\frac{1}{2}$代入平均信息量公式$H(X)=-\sum_{i = 1}^{4}p_i\log_2p_i$可得:
$\begin{align*}H(X)&=-\left(p_1\log_2p_1 + p_2\log_2p_2 + p_3\log_2p_3 + p_4\log_2p_4\right)\\&=-\left(\frac{1}{4}\log_2\frac{1}{4}+\frac{1}{8}\log_2\frac{1}{8}+\frac{1}{8}\log_2\frac{1}{8}+\frac{1}{2}\log_2\frac{1}{2}\right)\end{align*}$
根据对数运算法则$\log_2\frac{1}{4}=\log_22^{-2}=-2$,$\log_2\frac{1}{8}=\log_22^{-3}=-3$,$\log_2\frac{1}{2}=\log_22^{-1}=-1$,则:
$\begin{align*}H(X)&=-\left(\frac{1}{4}\times(-2)+\frac{1}{8}\times(-3)+\frac{1}{8}\times(-3)+\frac{1}{2}\times(-1)\right)\\&=-\left(-\frac{1}{2}-\frac{3}{8}-\frac{3}{8}-\frac{1}{2}\right)\\&=\frac{1}{2}+\frac{3}{8}+\frac{3}{8}+\frac{1}{2}\\&=\frac{4}{8}+\frac{3}{8}+\frac{3}{8}+\frac{4}{8}\\&=\frac{4 + 3+3 + 4}{8}\\&=\frac{14}{8}\\&=\frac{7}{4}\\&=1.75\quad(\text{bit/符号})\end{align*}$