激活函数的引入和增强模型的非线性拟合能力。()A. 对B. 错
A. 对
B. 错
题目解答
答案
解析
考查要点:本题主要考查对激活函数在神经网络中的作用的理解,特别是其对模型非线性拟合能力的影响。
解题核心思路:
神经网络的核心目标是通过多层非线性变换拟合复杂数据关系。若无激活函数,网络只能进行线性变换叠加,无法捕捉非线性模式。非线性激活函数(如ReLU、Sigmoid)的引入打破了这种限制,使模型能够组合不同层次的非线性特征,从而增强拟合能力。
破题关键点:
- 线性组合的局限性:多层线性变换仍为线性函数。
- 非线性激活的作用:打破线性约束,使网络能学习复杂关系。
1. 线性模型的局限性
假设神经网络仅包含线性变换(无激活函数),则无论隐藏层数量多少,最终输出均为输入的线性组合。例如,若输入为$\mathbf{x}$,经过两层线性变换后输出为:
$\mathbf{y} = \mathbf{W}_2 \mathbf{W}_1 \mathbf{x} + \mathbf{b}_2 + \mathbf{W}_2 \mathbf{b}_1$
这等价于单层线性模型$\mathbf{y} = \mathbf{W}\mathbf{x} + \mathbf{b}$,无法处理非线性问题(如异或问题)。
2. 激活函数的作用
引入非线性激活函数$f(\cdot)$后,每层输出变为:
$\mathbf{h}_1 = f(\mathbf{W}_1 \mathbf{x} + \mathbf{b}_1), \quad \mathbf{y} = \mathbf{W}_2 \mathbf{h}_1 + \mathbf{b}_2$
此时,网络能通过逐层叠加非线性特征,组合出复杂的非线性映射。例如,ReLU激活函数$f(x)=\max(0,x)$可让模型学习分段线性函数,组合后能近似任意非线性函数。
3. 实例验证
经典异或(XOR)问题需非线性模型解决。单层感知机(无激活)无法拟合,但两层网络(含激活函数)可通过非线性组合正确分类。