4.6 考虑有常数项的回归:y_(i)=alpha+beta x_(i)+varepsilon_(i) (i=1,...,n)证明 R^2=[mathrm(Corr)(y_(i),hat(y)_(i))]^2,其中mathrm(Corr)(y_(i),hat(y)_(i))equiv(sum_(i=1)^n(y_(i)-overline(y))(hat(y)_(i)-overline(hat{y)}))/(sqrt(sum_(i=1)^n)(y_{i-overline{y))^2}sqrt(sum_(i=1)^n(hat{y)_(i)-overline(hat{y)})^2}}。(提示:利用以下性质,即overline(hat{y)}=overline(y),y_(i)=hat(y)_(i)+e_(i),以及OLS的正交性。)
题目解答
答案
为了证明 $R^2 = [\mathrm{Corr}(y_i, \hat{y}_i)]^2$,我们首先需要理解 $R^2$ 和相关系数 $\mathrm{Corr}(y_i, \hat{y}_i)$ 的定义。
步骤1:定义 $R^2$
决定系数 $R^2$ 定义为:
$R^2 = 1 - \frac{\sum_{i=1}^n e_i^2}{\sum_{i=1}^n (y_i - \overline{y})^2}$
其中 $e_i = y_i - \hat{y}_i$ 是残差, $\overline{y}$ 是 $y_i$ 的均值。
步骤2:定义相关系数 $\mathrm{Corr}(y_i, \hat{y}_i)$
相关系数 $\mathrm{Corr}(y_i, \hat{y}_i)$ 定义为:
$\mathrm{Corr}(y_i, \hat{y}_i) = \frac{\sum_{i=1}^n (y_i - \overline{y})(\hat{y}_i - \overline{\hat{y}})}{\sqrt{\sum_{i=1}^n (y_i - \overline{y})^2} \sqrt{\sum_{i=1}^n (\hat{y}_i - \overline{\hat{y}})^2}}$
步骤3:利用 $\overline{\hat{y}} = \overline{y}$
在有常数项的回归中,拟合值 $\hat{y}_i$ 的均值等于 $y_i$ 的均值,即 $\overline{\hat{y}} = \overline{y}$。因此,相关系数简化为:
$\mathrm{Corr}(y_i, \hat{y}_i) = \frac{\sum_{i=1}^n (y_i - \overline{y})(\hat{y}_i - \overline{y})}{\sqrt{\sum_{i=1}^n (y_i - \overline{y})^2} \sqrt{\sum_{i=1}^n (\hat{y}_i - \overline{y})^2}}$
步骤4:利用 $y_i = \hat{y}_i + e_i$
将 $y_i = \hat{y}_i + e_i$ 代入相关系数的分子:
$\sum_{i=1}^n (y_i - \overline{y})(\hat{y}_i - \overline{y}) = \sum_{i=1}^n (\hat{y}_i + e_i - \overline{y})(\hat{y}_i - \overline{y}) = \sum_{i=1}^n (\hat{y}_i - \overline{y})^2 + \sum_{i=1}^n e_i (\hat{y}_i - \overline{y})$
步骤5:利用OLS的正交性
OLS的正交性表明残差 $e_i$ 与拟合值 $\hat{y}_i$ 正交,即 $\sum_{i=1}^n e_i \hat{y}_i = 0$。因此, $\sum_{i=1}^n e_i (\hat{y}_i - \overline{y}) = \sum_{i=1}^n e_i \hat{y}_i - \overline{y} \sum_{i=1}^n e_i = 0 - \overline{y} \cdot 0 = 0$。所以,相关系数的分子简化为:
$\sum_{i=1}^n (y_i - \overline{y})(\hat{y}_i - \overline{y}) = \sum_{i=1}^n (\hat{y}_i - \overline{y})^2$
步骤6:简化相关系数
将简化的分子代入相关系数的表达式:
$\mathrm{Corr}(y_i, \hat{y}_i) = \frac{\sum_{i=1}^n (\hat{y}_i - \overline{y})^2}{\sqrt{\sum_{i=1}^n (y_i - \overline{y})^2} \sqrt{\sum_{i=1}^n (\hat{y}_i - \overline{y})^2}} = \sqrt{\frac{\sum_{i=1}^n (\hat{y}_i - \overline{y})^2}{\sum_{i=1}^n (y_i - \overline{y})^2}}$
步骤7:将 $R^2$ 与相关系数联系起来
注意到 $\sum_{i=1}^n (\hat{y}_i - \overline{y})^2 = \sum_{i=1}^n (y_i - \overline{y})^2 - \sum_{i=1}^n e_i^2$,所以:
$R^2 = \frac{\sum_{i=1}^n (\hat{y}_i - \overline{y})^2}{\sum_{i=1}^n (y_i - \overline{y})^2}$
因此:
$\mathrm{Corr}(y_i, \hat{y}_i) = \sqrt{R^2}$
两边平方得到:
$[\mathrm{Corr}(y_i, \hat{y}_i)]^2 = R^2$
最终答案
$\boxed{R^2 = [\mathrm{Corr}(y_i, \hat{y}_i)]^2}$