题目
E. RT模型的预训练阶段,主要任务包括“掩码语言模型”和“下一个句子预测”。以下哪个选项最能准确描述这两个核心任务的目的?A. “掩码语言模型”用于预测句子中的下一个单词,而“下一个句子预测”用于判断两个句子是否相邻。B. “掩码语言模型”用于掩盖句子中的特定单词以进行训练,而“下一个句子预测”用于判断句子之间的关系。C. “掩码语言模型”用于提高模型的生成能力,而“下一个句子预测”则用于分类任务。D. “掩码语言模型”用于理解句子的上下文,而“下一个句子预测”用于生成与前句相关的下一句。
E. RT模型的预训练阶段,主要任务包括“掩码语言模型”和“下一个句子预测”。以下哪个选项最能准确描述这两个核心任务的目的?
A. “掩码语言模型”用于预测句子中的下一个单词,而“下一个句子预测”用于判断两个句子是否相邻。
B. “掩码语言模型”用于掩盖句子中的特定单词以进行训练,而“下一个句子预测”用于判断句子之间的关系。
C. “掩码语言模型”用于提高模型的生成能力,而“下一个句子预测”则用于分类任务。
D. “掩码语言模型”用于理解句子的上下文,而“下一个句子预测”用于生成与前句相关的下一句。
题目解答
答案
B. “掩码语言模型”用于掩盖句子中的特定单词以进行训练,而“下一个句子预测”用于判断句子之间的关系。
解析
考查要点:本题主要考查对RT模型预训练任务中两个核心任务(掩码语言模型MLM、下一个句子预测NSP)的理解,重点在于明确它们的具体目标和作用。
解题核心思路:
- 掩码语言模型(MLM):通过遮蔽部分单词,训练模型在上下文中理解词义,提升语言理解能力。
- 下一个句子预测(NSP):通过判断两个句子是否连续,训练模型捕捉句子间的逻辑关系,增强语境理解。
破题关键点:
- 区分MLM与传统语言模型(如预测下一个词)的不同,MLM更关注上下文关联。
- 明确NSP的目标是判断关系而非生成句子。
选项分析:
- 选项A:错误。MLM的目标是预测被遮蔽的单词,而非“下一个单词”(后者更接近自回归模型如GPT)。
- 选项B:正确。MLM通过掩盖单词训练上下文理解,NSP通过判断句子关系提升语境感知。
- 选项C:错误。MLM侧重理解而非生成,NSP属于关系判断而非单纯分类。
- 选项D:错误。NSP的目标是判断关系,而非生成下一句。
关键结论:
- MLM的核心是利用上下文预测被遮蔽的词,强化语言理解。
- NSP的核心是识别句子间的逻辑连贯性,增强语境关联。