关于交叉熵和相对熵的说法正确的是A. 交叉熵是用拟合分布Q表示真实分布P时所需要的二进制位的个数的平均值B. 相对熵表示用拟合分布表示时，多出来的二进制位的个数C. 相对熵一定大于等于0；交叉熵一定大于等于真实熵H(P)D. Q和P越接近，交叉熵和相对熵越小

交叉熵和相对熵（KL散度）是信息论中的核心概念，本题主要考查对这两个概念的理解及性质的判断。

• 交叉熵的物理意义是：用拟合分布Q编码真实分布P时的平均信息量，其公式为 $H(P,Q) = -\sum p_i \log q_i$。
• 相对熵（KL散度）是交叉熵与真实熵的差值，即 $D_{KL}(P||Q) = H(P,Q) - H(P)$，表示两个分布的差异程度。
  关键性质：

1. 相对熵非负（$D_{KL}(P||Q) \geq 0$），当且仅当 $P=Q$ 时取等。
2. 交叉熵一定大于等于真实熵（$H(P,Q) \geq H(P)$）。
3. 分布越接近，交叉熵和相对熵越小。

选项A

正确。交叉熵的定义即为用分布Q编码P的平均比特数，公式为 $H(P,Q) = -\sum p_i \log q_i$，对应“二进制位的平均值”。

选项B

正确。相对熵 $D_{KL}(P||Q) = H(P,Q) - H(P)$，表示交叉熵比真实熵多出的部分，即“多出来的二进制位”。

选项C

正确。

• 相对熵非负：由Jensen不等式可证 $D_{KL}(P||Q) \geq 0$。
• 交叉熵与真实熵的关系：由 $H(P,Q) = H(P) + D_{KL}(P||Q)$，因 $D_{KL} \geq 0$，故 $H(P,Q) \geq H(P)$。

选项D

正确。当Q与P越接近，$D_{KL}(P||Q)$趋近于0，交叉熵 $H(P,Q)$趋近于真实熵 $H(P)$，因此两者均减小。