题目
37.(1.0分) ReLU激活函数在输入为负时输出为0,可能导致神经元“死亡”。A. 对B. 错
37.(1.0分) ReLU激活函数在输入为负时输出为0,可能导致神经元“死亡”。
A. 对
B. 错
题目解答
答案
A. 对
解析
步骤 1:ReLU激活函数的定义
ReLU(Rectified Linear Unit)激活函数定义为:f(x) = max(0, x)。这意味着当输入x为正时,输出等于输入x;当输入x为负时,输出为0。
步骤 2:ReLU激活函数的特性
ReLU激活函数的一个重要特性是它在输入为负时输出为0。这意味着,如果神经网络中的某个神经元的输入始终为负,那么该神经元的输出将始终为0,从而导致该神经元在训练过程中不再对网络的输出产生影响,即“死亡”。
步骤 3:ReLU激活函数的“死亡”问题
ReLU激活函数的“死亡”问题是指,由于ReLU在输入为负时输出为0,如果神经网络中的某个神经元的输入始终为负,那么该神经元的输出将始终为0,从而导致该神经元在训练过程中不再对网络的输出产生影响。这可能导致神经网络的训练效果变差,甚至无法收敛。
ReLU(Rectified Linear Unit)激活函数定义为:f(x) = max(0, x)。这意味着当输入x为正时,输出等于输入x;当输入x为负时,输出为0。
步骤 2:ReLU激活函数的特性
ReLU激活函数的一个重要特性是它在输入为负时输出为0。这意味着,如果神经网络中的某个神经元的输入始终为负,那么该神经元的输出将始终为0,从而导致该神经元在训练过程中不再对网络的输出产生影响,即“死亡”。
步骤 3:ReLU激活函数的“死亡”问题
ReLU激活函数的“死亡”问题是指,由于ReLU在输入为负时输出为0,如果神经网络中的某个神经元的输入始终为负,那么该神经元的输出将始终为0,从而导致该神经元在训练过程中不再对网络的输出产生影响。这可能导致神经网络的训练效果变差,甚至无法收敛。