在决策树中,信息增益是如何计算的? A. 当前数据集的信息熵乘以划分后的加权平均信息熵B. 当前数据集的信息熵加上划分后的加权平均信息熵C. 当前数据集的信息熵减去划分后的加权平均信息熵D. 当前数据集的信息熵乘以划分后的加权平均信息熵

信息增益是决策树算法（如ID3）中用于选择最佳特征划分数据集的关键指标。其核心思想是：特征划分后数据纯度的提升程度。计算时，需比较划分前后的信息熵变化。信息增益 = 划分前的信息熵 - 划分后的加权平均信息熵。因此，关键点在于理解信息增益是熵的减少量。

信息增益的定义

信息增益的计算公式为：
$\text{信息增益} = H(D) - \sum_{v=1}^m \frac{|D_v|}{|D|} H(D_v)$
其中：

• $H(D)$：划分前数据集的信息熵；
• $H(D_v)$：划分后第$v$个子集的信息熵；
• $\frac{|D_v|}{|D|}$：子集$D_v$占总样本的比例（权重）。

选项分析

• 选项C正确，因为信息增益是划分前熵减去划分后的加权平均熵。
• 其他选项错误原因：
  • A、D混淆了乘法关系（实际应为减法）；
  • B错误地使用加法（应为减法）。