对于Ｍ进制的离散消息源，其平均信息量最大时的概率分布为( )。A. 均匀分布B. 正态分布C. 瑞利分布D. 指数分布

考查要点：本题主要考查离散消息源的平均信息量（熵）与概率分布的关系，重点在于理解熵最大时的概率分布特征。

解题核心思路：
在给定消息源为M进制（即有M个可能的符号）时，平均信息量（熵）的最大值出现在所有符号出现的概率均匀分布的情况下。此时每个符号的概率为$\frac{1}{M}$，熵达到最大值$\log M$。

破题关键点：

1. 熵的定义：平均信息量（熵）的公式为$H = -\sum_{i=1}^{M} p_i \log p_i$（通常以2为底，单位为比特）。
2. 最大熵原理：在所有可能的概率分布中，均匀分布使熵最大。这是由于均匀分布下各符号的不确定性最大，信息量的平均值达到峰值。

对于M进制离散消息源，其平均信息量（熵）的计算公式为：
$H = -\sum_{i=1}^{M} p_i \log p_i$
其中$\sum_{i=1}^{M} p_i = 1$。

关键推导：

1. 均匀分布时的熵：
   当每个符号的概率均为$p_i = \frac{1}{M}$时，代入公式得：
   $H = -\sum_{i=1}^{M} \frac{1}{M} \log \frac{1}{M} = -M \cdot \frac{1}{M} \log \frac{1}{M} = \log M$
   此时熵达到最大值$\log M$。

2. 其他分布的熵：
   根据熵的极大性定理，当概率分布偏离均匀分布时，熵会减小。例如，若某个符号的概率增大，其他符号的概率必然减小，导致整体的平均信息量降低。

选项分析：

• A. 均匀分布：正确，此时熵最大。
• B. 正态分布：适用于连续变量，且离散情况下无法均匀覆盖所有符号。
• C. 瑞利分布/D. 指数分布：均为连续分布，且尾部衰减特性导致概率不均匀，熵更小。