题目
在神经网络中,什么是“梯度消失”问题?A. 梯度值变得非常大,导致参数更新不稳定B. 梯度值变得非常小,导致参数几乎无法更新C. 梯度为零,无法进行参数更新D. 梯度方向错误,无法找到最优解
在神经网络中,什么是“梯度消失”问题?
A. 梯度值变得非常大,导致参数更新不稳定
B. 梯度值变得非常小,导致参数几乎无法更新
C. 梯度为零,无法进行参数更新
D. 梯度方向错误,无法找到最优解
题目解答
答案
B. 梯度值变得非常小,导致参数几乎无法更新
解析
梯度消失问题是深度学习中的常见挑战,主要发生在深层神经网络中。其核心在于反向传播过程中梯度值逐渐减小,导致靠近输入层的神经元参数更新缓慢,甚至停止更新。关键原因包括激活函数的导数特性(如sigmoid函数在输入值较大时导数趋近于0)和网络深度过深导致梯度逐层衰减。理解这一概念需区分梯度消失(梯度过小)与梯度爆炸(梯度过大)。
梯度消失问题的定义与选项分析:
- 选项A:描述的是梯度爆炸,与本题无关。
- 选项B:正确,梯度值过小导致参数无法有效更新。
- 选项C:梯度为零是极端情况,但梯度消失是渐进过程。
- 选项D:方向错误与梯度计算或优化器相关,非消失问题。