2.1数据集包含1000个样本,其中500个正例、500个反例,将其划分 包含70%样本的训练集和30%样本的测试集用于留出法评估 算共有多少种划分方式. 2.1数据集包含1000个样本,其中500个正例、500个反例,将其划分 包含70%样本的训练集和30%样本的测试集用于留出法评估 算共有多少种划分方式. 2.2数据集包含100个样本，其中正、反例各一半，假定学习算法所 的模型是将新样本预测为训练样本数较多的类别(训练样本数相同)进行随机猜测)，试给出用10折交叉验证法和留一法分别对错误率进 行评估所得的结果. 2.3若学习器A的F1值比学习器B高,试析A的BEP值是否也比B高 4 试述真正例率(TPR)、假正例率(FPP)与查准率(P)、查全率(R)之间 的联系.

2.1 划分方式计算

题目考察留出法中训练集和测试集的划分方式数量，需保证训练集和测试集的正负例比例与原数据集一致（分层抽样）。

• 总样本1000个（500正例$P$、500反例$N$），训练集占70%（700个样本），测试集占30%（300个样本）。
• 为保持类别比例，训练集需含 350个正例（$700\times50\%$）和350个反例（$700\times50\%$），测试集对应150个正例和150个反例。
• 划分方式为从500个正例中选350个的组合数，乘以从500个反例中选350个的组合数，即：
  $\binom{500}{350} \times \binom{500}{350}$

2.2 错误率评估

题目考察10折交叉验证和留一法的错误率计算，模型预测为训练集中多数类（数量相同则随机猜测）。

10折交叉验证

• 数据集100个样本（50正例$P$、50反例$N$），10折每折10个样本（5正5反）。
• 每次训练集90个样本（45正45反），测试集10个样本（5正5反）。
• 训练集正负例数量相同（45=45），模型随机猜测，测试集5正5反，错误率为$50\%$（每次猜测错误5个）。
• 10折错误率均为$50\%$，整体错误率$50\%$。

留一法

• 留一法每次用99个样本训练（49正49反），测试集1个样本（正或反）。
• 训练集正负例数量相同（49=49），模型随机猜测，每个样本猜测错误概率$50\%$。
• 100次测试错误率均为$50\%$，整体错误率$50\%$。

2.3 F1与BEP的关系

题目考察F1值和BEP（平衡点）的关系。

• F1是查准率$P$和查全率$R$的调和平均： $F1=\frac{2PR}{P+R}$
• BEP是$P=R$时的取值，即 $BEP=P=R$
• F1高不代表BEP高：例如，学习器A$P=0.8,R=0.8$（$F1=0.8,BEP=0.8$），学习器B$P=0.9,R=0.7$（$F1≈0.78,BEP=0.7$或$0.9$），此时A的F1更高但BEP可能更低（若B的BEP取低者）。

2.4 指标联系

题目考察真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）的定义及联系。

• 定义：
  • TPR（召回率/查全率$R$）： $TPR=\frac{TP}{TP+FN}=R$
  • FPR： $FPR=\frac{FP}{FP+TN}$
  • P（查准率）： $P=\frac{TP}{TP+FP}$
• 联系：TPR即查全率$R$，均描述对正例的识别能力；P和TPR从不同角度评估正例识别，P关注预测正例的正确性，TPR关注实际正例的覆盖度。