题目
在大语言模型训练中，学习率预热（Learning Rate Warmup）的主要目的是什么？（）A. 在训练初期使用较小的学习率，以稳定训练过程，避免梯度爆炸或参数更新过大B. 在训练过程中保持学习率恒定，以确保训练稳定性C. 在训练初期快速提高学习率，以加速模型收敛D. 在训练后期逐步降低学习率，以防止模型过拟合
在大语言模型训练中，学习率预热（Learning Rate Warmup）的主要目的是什么？（）
A. 在训练初期使用较小的学习率，以稳定训练过程，避免梯度爆炸或参数更新过大
B. 在训练过程中保持学习率恒定，以确保训练稳定性
C. 在训练初期快速提高学习率，以加速模型收敛
D. 在训练后期逐步降低学习率，以防止模型过拟合
题目解答
答案
A. 在训练初期使用较小的学习率，以稳定训练过程，避免梯度爆炸或参数更新过大