题目

证明hat(sigma)^2=(1)/(n-2)sum_(i=1)^n(y_(i)-hat(y)_(i))^2是sigma^2的无偏估计。

证明$\hat{\sigma}^{2}=\frac{1}{n-2}\sum_{i=1}^{n}(y_{i}-\hat{y}_{i})^{2}$是$\sigma^{2}$的无偏估计。

题目解答

答案

设残差 $e_i = y_i - \hat{y}_i$，其中 $\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i$。残差平方和为 $SSE = \sum_{i=1}^n e_i^2$。
由回归模型 $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$（$\epsilon_i$ 独立同分布，$E(\epsilon_i) = 0$，$Var(\epsilon_i) = \sigma^2$），得：
$E(e_i) = 0, \quad Var(e_i) = \sigma^2(1 - h_{ii})$
其中 $h_{ii}$ 为帽子矩阵对角元，满足 $\sum_{i=1}^n h_{ii} = 2$（简单线性回归）。
因此，
$E(SSE) = \sum_{i=1}^n E(e_i^2) = \sum_{i=1}^n \sigma^2(1 - h_{ii}) = \sigma^2(n - 2)$
故
$E(\hat{\sigma}^2) = E\left(\frac{1}{n-2}SSE\right) = \frac{1}{n-2}E(SSE) = \sigma^2$
结论： $\hat{\sigma}^2$ 是 $\sigma^2$ 的无偏估计。

$\boxed{\hat{\sigma}^2 = \frac{1}{n-2} \sum_{i=1}^n (y_i - \hat{y}_i)^2 \text{ 是 } \sigma^2 \text{ 的无偏估计。}}$

解析

本题考查的是无偏估计的证明，解题的关键在于利用回归模型的性质，求出残差平方和的期望，进而证明给定的估计量是总体方差 $\sigma^2$ 的无偏估计。具体步骤如下：

  1. 定义残差和残差平方和：
    • 设残差 $e_i = y_i - \hat{y}_i$，其中 $\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i$ 是根据回归模型得到的拟合值。
    • 残差平方和为 $SSE = \sum_{i=1}^n e_i^2$。
  2. 分析回归模型中残差的期望和方差：
    • 已知回归模型 $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$，其中 $\epsilon_i$ 独立同分布，且 $E(\epsilon_i) = 0$，$Var(\epsilon_i) = \sigma^2$。
    • 根据回归分析的性质，可以得到 $E(e_i) = 0$，$Var(e_i) = \sigma^2(1 - h_{ii})$，这里 $h_{ii}$ 为帽子矩阵对角元。
    • 在简单线性回归中，有一个重要的性质 $\sum_{i=1}^n h_{ii} = 2$。
  3. 计算残差平方和的期望：
    • 根据期望的性质，$E(SSE) = E(\sum_{i=1}^n e_i^2)$。
    • 由方差的定义 $Var(e_i)=E(e_i^2)-[E(e_i)]^2$，因为 $E(e_i) = 0$，所以 $E(e_i^2)=Var(e_i)$。
    • 则 $E(SSE) = \sum_{i=1}^n E(e_i^2)=\sum_{i=1}^n Var(e_i)$。
    • 将 $Var(e_i) = \sigma^2(1 - h_{ii})$ 代入上式，可得 $E(SSE)=\sum_{i=1}^n \sigma^2(1 - h_{ii})$。
    • 展开式子得 $E(SSE)=\sigma^2\sum_{i=1}^n(1 - h_{ii})=\sigma^2(\sum_{i=1}^n 1-\sum_{i=1}^n h_{ii})$。
    • 因为 $\sum_{i=1}^n 1=n$，且 $\sum_{i=1}^n h_{ii} = 2$，所以 $E(SSE)=\sigma^2(n - 2)$。
  4. 计算 $\hat{\sigma}^2$ 的期望：
    • 已知 $\hat{\sigma}^{2}=\frac{1}{n-2}\sum_{i=1}^{n}(y_{i}-\hat{y}_{i})^{2}=\frac{1}{n - 2}SSE$。
    • 根据期望的性质 $E(aX)=aE(X)$（其中 $a$ 为常数，$X$ 为随机变量），可得 $E(\hat{\sigma}^2) = E\left(\frac{1}{n-2}SSE\right)$。
    • 因为 $\frac{1}{n - 2}$ 是常数，所以 $E(\hat{\sigma}^2)=\frac{1}{n-2}E(SSE)$。
    • 又因为 $E(SSE)=\sigma^2(n - 2)$，所以 $E(\hat{\sigma}^2)=\frac{1}{n-2}\times\sigma^2(n - 2)=\sigma^2$。