题目
反向传播算法中,计算梯度的核心数学工具是(__),用于链式传递各层的梯度。
反向传播算法中,计算梯度的核心数学工具是(__),用于链式传递各层的梯度。
题目解答
答案
反向传播算法通过链式法则(Chain Rule)计算梯度。链式法则允许将复合函数的导数分解为各层局部导数的乘积,从而实现梯度从输出层向输入层的逐层传递。
答案: 链式法则
解析
本题考查反向传播算法中计算梯度的核心数学工具相关知识。解题思路是明确反向传播算法的工作原理,它需要将输出层的误差梯度逐层传递到输入层,而要实现这种梯度的传递,就需要一种能处理复合函数求导的数学工具。
在反向传播算法里,神经网络可以看作是一个复合函数,每一层的输出都是下一层的输入,整个网络的输出是关于各层输入的复合函数。为了计算这个复合函数关于各层输入的梯度,就需要用到链式法则。链式法则指出,如果有复合函数 $y = f(g(x))$,那么它的导数 $\frac{dy}{dx}=\frac{dy}{dg}\cdot\frac{dg}{dx}$。在神经网络中,每一层都可以看作是一个函数,通过链式法则可以将输出层的梯度逐层分解,计算出每一层的梯度,从而实现梯度从输出层向输入层的逐层传递。