在监督学习中，下列哪种损失函数适合用于二分类问题？A. K-L 散度B. 交叉熵损失C. 绝对误差D. 均方误差

考查要点：本题主要考查监督学习中不同损失函数的适用场景，特别是二分类问题的损失函数选择。

解题核心思路：

1. 明确损失函数的类型：区分回归问题（如均方误差、绝对误差）与分类问题（如交叉熵损失）的损失函数。
2. 理解二分类的输出特性：二分类问题通常输出概率形式，需选择能有效衡量概率预测与真实标签差异的损失函数。
3. 关键概念：交叉熵损失函数专门针对概率预测设计，能有效处理二分类任务中的标签（0或1）与概率输出之间的关系。

破题关键点：

• 交叉熵损失是二分类问题的标准选择，尤其与sigmoid激活函数配合使用时，能直接优化分类目标。
• 其他选项（如均方误差）适用于回归任务，而K-L散度更常用于比较概率分布。

选项分析

A. K-L 散度

• 用途：衡量两个概率分布的差异，常用于生成模型或需要分布对比的场景。
• 局限性：不直接用于二分类损失计算，需额外构建概率分布框架。

B. 交叉熵损失

• 核心优势：
  1. 概率预测友好：适用于模型输出概率（如sigmoid函数输出），直接比较预测概率与真实标签（0或1）。
  2. 优化效率高：交叉熵损失与sigmoid函数组合后，梯度计算更简洁，避免梯度消失问题。
• 典型应用：逻辑回归、神经网络的二分类任务。

C. 绝对误差

• 适用场景：回归问题（如预测连续值），计算预测值与真实值的绝对差。
• 不适用原因：二分类标签是离散的（0/1），绝对误差无法有效区分分类边界。

D. 均方误差

• 适用场景：回归问题，计算预测值与真实值的平方差平均。
• 不适用原因：对概率输出的敏感性不足，且在sigmoid后梯度下降较慢，优化效果弱于交叉熵。