题目
大模型预训练阶段中,随着模型参数规模的不断扩大,参数对性能的提升效果会呈现边际效应递减的趋势,即参数增加带来的性能提升越来越小。( )A. 对B. 错
大模型预训练阶段中,随着模型参数规模的不断扩大,参数对性能的提升效果会呈现边际效应递减的趋势,即参数增加带来的性能提升越来越小。( )
A. 对
B. 错
题目解答
答案
A. 对
解析
边际效应递减是经济学中的概念,指在连续增加某一要素投入时,新增的收益逐渐减少。本题将其类比到大模型预训练中,考查对模型参数与性能关系的理解。核心思路是理解参数规模扩大对模型性能的非线性影响:初期参数增加显著提升性能,但随着规模扩大,新增参数带来的收益逐渐减弱。关键点在于参数增长与性能提升的非线性关系,需结合实际模型发展(如GPT系列)和研究结论进行判断。
概念解析
边际效应递减在模型训练中的体现:
- 初期参数增加:显著提升模型容量,捕捉更多数据特征,性能快速提升。
- 后期参数增加:模型可能陷入过拟合、计算资源瓶颈,新增参数对性能的边际贡献降低。
实际案例与研究支持
- 模型发展观察:从GPT-3(1750亿参数)到GPT-4,参数增长幅度虽大,但性能提升幅度趋于平缓。
- 资源与效率限制:参数规模扩大导致训练成本指数级增长,但性能提升不再线性相关。
结论
题目描述符合当前大模型发展的普遍规律,因此答案为A对。