题目

简述用普通最小二乘法求解模型Y_i = beta_0 + beta_1 X_i + epsilon_i的参数估计量的过程。

简述用普通最小二乘法求解模型$Y_i = \beta_0 + \beta_1 X_i + \epsilon_i$的参数估计量的过程。

题目解答

答案

根据普通最小二乘法，最小化残差平方和 $RSS = \sum (Y_i - \hat{\beta}_0 - \hat{\beta}_1 X_i)^2$，可得： \[ \hat{\beta}_1 = \frac{\sum (X_i - \bar{X})(Y_i - \bar{Y})}{\sum (X_i - \bar{X})^2} = \frac{n \sum X_i Y_i - \sum X_i \sum Y_i}{n \sum X_i^2 - (\sum X_i)^2} \] \[ \hat{\beta}_0 = \bar{Y} - \hat{\beta}_1 \bar{X} \] 其中，$\bar{X} = \frac{1}{n} \sum X_i$，$\bar{Y} = \frac{1}{n} \sum Y_i$。 最终，$\hat{\beta}_1$ 表示 $X$ 对 $Y$ 的边际影响，$\hat{\beta}_0$ 是截距项。这些估计量通过正规方程求解得出，满足最小化 $RSS$ 的要求。

解析

本题考查普通最小二乘法（OLS）求解线性回归模型参数估计量的知识。解题思路是先明确普通最小二乘法的目标是最小化残差平方和，然后通过对残差平方和关于参数求偏导数并令其为零，得到正规方程，最后求解正规方程得到参数估计量。

详细步骤如下

  1. 定义残差平方和（RSS）
    对于线性回归模型 $Y_i = \beta_0 + \beta_1 X_i + \epsilon_i$，其样本回归方程为 $\hat{Y}_i=\hat{\beta}_0 + \hat{\beta}_1 X_i$，残差 $e_i = Y_i-\hat{Y}_i=Y_i - \hat{\beta}_0 - \hat{\beta}_1 X_i$。
    普通最小二乘法的目标是最小化残差平方和 $RSS=\sum_{i = 1}^{n}e_{i}^{2}=\sum_{i = 1}^{n}(Y_i - \hat{\beta}_0 - \hat{\beta}_1 X_i)^2$。
  2. 求偏导数并令其为零
    • 对 $RSS$ 关于 $\hat{\beta}_0$ 求偏导数：
      $\frac{\partial RSS}{\partial\hat{\beta}_0}=-2\sum_{i = 1}^{n}(Y_i - \hat{\beta}_0 - \hat{\beta}_1 X_i)=0$
      两边同时除以 $- 2$ 可得：$\sum_{i = 1}^{n}(Y_i - \hat{\beta}_0 - \hat{\beta}_1 X_i)=0$
      将上式展开：$\sum_{i = 1}^{n}Y_i - n\hat{\beta}_0-\hat{\beta}_1\sum_{i = 1}^{n}X_i = 0$
      因为 $\bar{X}=\frac{1}{n}\sum_{i = 1}^{n}X_i$，$\bar{Y}=\frac{1}{n}\sum_{i = 1}^{n}Y_i$，所以上式可化为 $n\bar{Y}-n\hat{\beta}_0-\hat{\beta}_1n\bar{X}=0$，进一步得到 $\bar{Y}=\hat{\beta}_0+\hat{\beta}_1\bar{X}$，移项可得 $\hat{\beta}_0=\bar{Y}-\hat{\beta}_1\bar{X}$。
    • 对 $RSS$ 关于 $\hat{\beta}_1$ 求偏导数：
      $\frac{\partial RSS}{\partial\hat{\beta}_1}=-2\sum_{i = 1}^{n}(Y_i - \hat{\beta}_0 - \hat{\beta}_1 X_i)X_i = 0$
      两边同时除以 $-2$ 可得：$\sum_{i = 1}^{n}(Y_i - \hat{\beta}_0 - \hat{\beta}_1 X_i)X_i=0$
      将 $\hat{\beta}_0=\bar{Y}-\hat{\beta}_1\bar{X}$ 代入上式：
      $\begin{align*}\sum_{i = 1}^{n}(Y_i-(\bar{Y}-\hat{\beta}_1\bar{X})-\hat{\beta}_1 X_i)X_i&=0\\\sum_{i = 1}^{n}[(Y_i - \bar{Y})-\hat{\beta}_1(X_i - \bar{X})]X_i&=0\\\sum_{i = 1}^{n}(Y_i - \bar{Y})X_i-\hat{\beta}_1\sum_{i = 1}^{n}(X_i - \bar{X})X_i&=0\\\sum_{i = 1}^{n}(Y_i - \bar{Y})X_i-\hat{\beta}_1\left(\sum_{i = 1}^{n}X_{i}^{2}-n\bar{X}^{2}\right)&=0\end{align*}$
      又因为 $\sum_{i = 1}^{n}(Y_i - \bar{Y})X_i=\sum_{i = 1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})$，$\sum_{i = 1}^{n}X_{i}^{2}-n\bar{X}^{2}=\sum_{i = 1}^{n}(X_i - \bar{X})^2$，所以可得 $\hat{\beta}_1=\frac{\sum_{i = 1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})}{\sum_{i = 1}^{n}(X_i - \bar{X})^2}$。
      对分子分母进行变形：
      分子 $\sum_{i = 1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})=\sum_{i = 1}^{n}(X_iY_i-\bar{X}Y_i-\bar{Y}X_i + \bar{X}\bar{Y})=\sum_{i = 1}^{n}X_iY_i - n\bar{X}\bar{Y}-n\bar{X}\bar{Y}+n\bar{X}\bar{Y}=n\sum_{i = 1}^{n}X_iY_i-\sum_{i = 1}^{n}X_i\sum_{i = 1}^{n}Y_i$
      分母 $\sum_{i = 1}^{n}(X_i - \bar{X})^2=\sum_{i = 1}^{n}(X_{i}^{2}-2\bar{X}X_i+\bar{X}^{2})=\sum_{i = 1}^{n}X_{i}^{2}-2n\bar{X}^{2}+n\bar{X}^{2}=n\sum_{i = 1}^{n}X_{i}^{2}-(\sum_{i = 1}^{n}X_i)^2$
      所以 $\hat{\beta}_1=\frac{n\sum_{i = 1}^{n}X_iY_i-\sum_{i = 1}^{n}X_i\sum_{i = 1}^{n}Y_i}{n\sum_{i = 1}^{n}X_{i}^{2}-(\sum_{i = 1}^{n}X_i)^2}$。