题目
在大语言模型的训练中,以下哪种数据对模型性能影响最大?A. 小规模的标注数据B. 大规模的无标注文本数据C. 人工设计的规则数据D. 图像数据
在大语言模型的训练中,以下哪种数据对模型性能影响最大?
A. 小规模的标注数据
B. 大规模的无标注文本数据
C. 人工设计的规则数据
D. 图像数据
题目解答
答案
B. 大规模的无标注文本数据
解析
考查要点:本题主要考查对大语言模型训练数据类型的了解,以及不同数据类型对其性能的影响。
解题核心思路:大语言模型的性能提升依赖于自监督学习,即通过大量未标注的文本数据进行预训练。数据规模和文本类型是关键因素,而非人工标注或规则设计。
破题关键点:
- 无标注文本数据是大语言模型训练的基础,通过预测上下文关系(如“下一个词”)学习语言规律。
- 大规模数据能覆盖更多语境和表达,显著提升模型的泛化能力。
- 其他选项(标注数据、人工规则、图像数据)与语言模型的直接关联性较弱。
选项分析
A. 小规模的标注数据
标注数据在监督学习或微调阶段可能有用,但大语言模型的基础训练主要依赖无标注数据。此外,小规模数据对整体性能提升有限。
B. 大规模的无标注文本数据
核心答案。大语言模型通过自监督学习从海量无标注文本(如书籍、网页)中提取语言规律。数据规模越大,模型能学习到更多样化的表达和语境,显著提升性能。
C. 人工设计的规则数据
传统自然语言处理依赖人工规则,但现代大语言模型强调数据驱动,人工规则难以覆盖复杂语言现象,影响较小。
D. 图像数据
图像数据与语言模型无关,属于计算机视觉领域,对语言任务无直接影响。