题目

3.3 证明 hat(sigma)^2=(1)/(n-p-1)SSE 是误差项方差 sigma^2 的无偏估计。

3.3 证明 $\hat{\sigma}^{2}=\frac{1}{n-p-1}SSE$ 是误差项方差 $\sigma^{2}$ 的无偏估计。

题目解答

答案

在多元线性回归中，残差平方和 $SSE$ 定义为 $SSE = \sum_{i=1}^n e_i^2$，其中 $e_i$ 为残差。残差向量 $\mathbf{e} = (\mathbf{I} - \mathbf{H})\boldsymbol{\epsilon}$，$\mathbf{H}$ 为帽子矩阵。
利用期望和迹的性质，可得：
$E(SSE) = E(\mathbf{e}^T\mathbf{e}) = \sigma^2 \text{tr}(\mathbf{I} - \mathbf{H}) = \sigma^2 (n - p - 1)$
其中，$\text{tr}(\mathbf{I} - \mathbf{H}) = n - (p + 1)$。
令 $\hat{\sigma}^2 = \frac{1}{n - p - 1}SSE$，则：
$E(\hat{\sigma}^2) = \sigma^2$
结论： $\hat{\sigma}^2 = \frac{1}{n - p - 1}SSE$ 是误差项方差 $\sigma^2$ 的无偏估计。

$\boxed{\hat{\sigma}^2 = \frac{1}{n - p - 1}SSE}$

解析

本题考查多元线性回归回归中误差项方差无偏估计的证明，解题的关键在于利用残差向量与误差向量的关系，结合期望和迹的性质来推导残差平方和的期望，进而证明给定的估计估计量是误差项方差的无偏估计。

  1. 明确残差平方和的定义：**
    在多元线性回归中，残差平方和 $SSE$ 定义为 $SSE = \sum_{i = 1}^{n}e_{i}^{2}$，其中 $e_{i}$ 为残差。用矩阵形式表示，残差向量 $\(\mathbf{e}$)与误差向量($\boldsymbol{\epsilon}$)的关系为 $\mathbf{e}=(\mathbf{I}-\mathbf{H})\boldsymbol{\epsilon}})$，这里 $\mathbf{H}$ 为帽子矩阵。
  2. 将 $SSE$ 转化成为矩阵形式：
    $SSE=\sum_{i = 1}^{n}e_{i}^{2}=\mathbf{e}^{T}\mathbf{e}$，所以 $E(SSE)=E(\mathbf{e}^{T}\mathbf{e})$。
  3. 利用期望和迹的性质计算 $E(\mathbf{e}^{T}\mathbf{e})$ 进行推导：
    已知 $\mathbf{e}=(\mathbf{I}-\mathbf{H})\boldsymbol{\epsilon}})$，则 $E(\mathbf{e}^{T}\mathbf{e})=E\left([(\mathbf{I}-\mathbf{H})\boldsymbol{\boldsymbol{\epsilon}\}]^{T}(\mathbf{I}-\mathbf{H})\boldsymbol{\epsilon}\right)$。
    根据矩阵转置的性质 $(\(\mathbf{AB}$)^{T}=\mathbf{B}^{T}\mathbf{A}^{T})，可得 $E\left([(\mathbf{I}-\mathbf{H})\boldsymbol{\epsilon}}]^{T}(\mathbf{I}-\mathbf{H})\boldsymbol{\epsilon}\right)=E\left(\boldsymbol{\epsilon}^{T}(\mathbf{I}-\mathbf{H})^{T}(\mathbf{I}-\mathbf{H})\boldsymbol{\epsilon}\right)$。
    因为 $\mathbf{H}$}^{T}=\mathbf{H})，所以 $E\left(\boldsymbol{\epsilon}^{T}(\mathbf{I}-\mathbf{H})^{T}(\mathbf{I}-\mathbf{H})\boldsymbol{\epsilon}\right)=E\left(\boldsymbol{\epsilon}^{T}(\mathbf{I}-\mathbf{H})^{2}\boldsymbol{\epsilon}\right)$。
    又因为 $E(\boldsymbol{\epsilon}\boldsymbol{\epsilon}^{T})=\sigma^{2}\mathbf{I}$，根据期望和迹的性质 $E(\mathbf{e}^{T}\mathbf{e})=\text{tr}(E(\mathbf{e}\mathbf{e}^{T}))$)，则 $E(\mathbf{e}^{T}\mathbf{e})=\text{tr}(E\left((\mathbf{I}-\mathbf{H})\boldsymbol{\boldsymbol{\epsilon}\}\boldsymbol{\epsilon}^{T}(\mathbf{I}-\mathbf{H})^{T}\right))$。
    将 $E(\boldsymbol{\boldsymbol{\epsilon}\}\boldsymbol{\epsilon}^{T})=\sigma^{2}\mathbf{I}$ 代入上式，得到 $E(\mathbf{e}^{T}\mathbf{e})=\text{tr}\left((\mathbf{I}-\mathbf{H})\sigma^{2}\mathbf{I}(\mathbf{I}-\mathbf{H})^{T}\right)=\sigma^{2}\text{tr}\left((\mathbf{I}-\mathbf{H})^{2}\right)$。
    由于 $(\mathbf{I}-\mathbf{H})^{2}=\mathbf{I}-2\mathbf{H}+\mathbf{H}^{2}=\mathbf{I}-2\mathbf{H}+\mathbf{H}=\mathbf{I}-\mathbf{H}$（因为 $\mathbf{H}^{2}=\mathbf{H}$），所以 $E(\mathbf{e}^{T}\mathbf{e})=\sigma^{2}\text{tr}(\mathbf{I}-\mathbf{H})$。
  4. 计算 $\text{tr}(\mathbf{I}-\mathbf{H})$：
    根据迹的性质 $\text{tr}(\mathbf{A}-\mathbf{H})=\text{tr}(\mathbf{I})-\text{tr}(\mathbf{H})$，其中 $\text{tr}(\mathbf{I}) = n$，$\text{tr}(\mathbf{H})=p + 1$（$p$ 为自变量个数，$1$ 为截距项），所以 $\text{tr}(\mathbf{I}-\mathbf{H})=n-(p + 1)$。
    则 $E(SSE)=E(\mathbf{e}^{T}\mathbf{e})=\sigma^{2}\text{tr}(\mathbf{I}-\mathbf{H})=\sigma^{2}(n - p - 1)$。
  5. 证明 $\hat{\sigma}^{2}=\frac{1}{n - p - 1}SSE$ 是无偏估计：
    令 $\hat{\sigma}^{2}=\frac{1}{n - p - 1}SSE$，对其求期望 $E(\hat{\sigma}^{2})=E\left(\frac{1}{n - p - 1}SSE\right)$。
    因为 $\frac{1}{n - p - 1}$ 是常数，根据期望的性质 $E(cX)=cE(X)$（$c$ 为常数，$X$ 为随机变量），可得 $E(\hat{\sigma}^{2})=\frac{1}{n - p - 1}E(SSE)$。
    将 $E(SSE)=\sigma^{2}(n - p - 1)$ 代入上式，得到 $E(\hat{\sigma}^{2})=\frac{1}{n - p - 1}\times\sigma^{2}(n - p - 1)=\sigma^{2}$。
    根据无偏估计的定义，若 $E(\hat{\theta})=\theta$，则 $\hat{\theta}$ 是 $\theta$ 的无偏估计，所以 $\hat{\sigma}^{2}=\frac{1}{n - p - 1}SSE$ 是误差项方差 $\sigma^{2}$ 的无偏估计。