题目
【单选题】在线性回归模型中,所优化的目标函数是()A. 最小化残差平方和的均值B. 最大化残差平方和的均值C. 最小化结构风险D. 最大化结构风险
【单选题】在线性回归模型中,所优化的目标函数是()
A. 最小化残差平方和的均值
B. 最大化残差平方和的均值
C. 最小化结构风险
D. 最大化结构风险
题目解答
答案
A. 最小化残差平方和的均值
解析
线性回归模型的核心目标是通过调整模型参数,使得预测值与实际观测值之间的差异最小化。具体来说,这种差异通常通过残差平方和(Residual Sum of Squares, RSS)来衡量。在线性回归中,优化的目标函数是最小化残差平方和的均值,即均方误差(Mean Squared Error, MSE)。这一目标确保模型尽可能贴近数据点,从而实现最佳拟合。
关键知识点:
- 线性回归的目标函数本质是最小化预测误差的平方平均值。
- 残差平方和的均值与残差平方和本身在优化方向上一致(仅相差常数因子)。
- 结构风险(如正则化项)通常出现在复杂模型(如SVM、正则化回归)中,而非标准线性回归。
在线性回归中,假设模型形式为 $\hat{y} = X\beta$,其中 $\hat{y}$ 是预测值,$X$ 是特征矩阵,$\beta$ 是参数向量。实际观测值为 $y$,则残差定义为 $y - \hat{y}$。目标函数为:
$\text{MSE} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$
优化目标是找到使 $\text{MSE}$ 最小的参数 $\beta$。因此,正确答案为 A. 最小化残差平方和的均值。
选项辨析:
- B(最大化)与回归目标矛盾。
- C、D(结构风险)属于泛化性能优化,非直接目标函数。