题目
在神经网络中,什么是梯度消失问题? A. 梯度变得非常小B. 梯度变为零C. 梯度变得非常大D. 梯度保持不变
在神经网络中,什么是梯度消失问题?
- A. 梯度变得非常小
- B. 梯度变为零
- C. 梯度变得非常大
- D. 梯度保持不变
题目解答
答案
A
解析
梯度消失问题是指在深度神经网络中,随着层数的增加,反向传播过程中梯度值逐渐减小的现象。这导致网络中靠近输入层的权重更新缓慢,甚至停止更新,从而影响网络的训练效果。梯度消失问题通常发生在使用sigmoid或tanh激活函数的网络中,因为这些函数的导数在大部分区域都很小。