4-2 在多元线性回归模型(4.1.3)中(p=1),试求出参数向量β和σ²的最大似然估计.解:模型(4.1.3)为}Y=Cbeta+varepsilonvarepsilonsim N_(n)(0,sigma^2I_(n))
题目解答
答案
解析
考查要点:本题要求求解多元线性回归模型中参数向量$\beta$和$\sigma^2$的最大似然估计,主要考查以下知识点:
- 多元正态分布的似然函数构建;
- 对数似然函数的求导与极值求解;
- 矩阵微积分在参数估计中的应用。
解题核心思路:
- 构建对数似然函数:根据误差项的正态分布假设,写出观测数据的对数似然函数;
- 对$\beta$求导求极值:通过矩阵微积分求导,解出$\hat{\beta}$;
- 代入$\hat{\beta}$求$\hat{\sigma}^2$:将$\hat{\beta}$代入对数似然函数,对$\sigma^2$求导求极值。
破题关键点:
- 正确展开二次型表达式:$(Y - C\beta)'(Y - C\beta)$的展开是求导的基础;
- 矩阵导数的规则:掌握$\frac{\partial}{\partial \beta} (Y - C\beta)'(Y - C\beta) = -2C'(Y - C\beta)$;
- 残差平方和的处理:将$\hat{\beta}$代入后,残差平方和$(Y - C\hat{\beta})'(Y - C\hat{\beta})$是标量,简化对$\sigma^2$的求导。
1. 构建对数似然函数
模型中$\varepsilon \sim N_n(0, \sigma^2 I_n)$,因此$Y \sim N_n(C\beta, \sigma^2 I_n)$。对数似然函数为:
$\ln L(\beta, \sigma^2) = -\frac{n}{2} \ln(2\pi) - \frac{n}{2} \ln(\sigma^2) - \frac{1}{2\sigma^2} (Y - C\beta)'(Y - C\beta)$
2. 对$\beta$求导求极值
对$\beta$求偏导并令导数为零:
$\frac{\partial \ln L}{\partial \beta} = \frac{1}{\sigma^2} C'(Y - C\beta) = 0 \implies C'C\beta = C'Y \implies \hat{\beta} = (C'C)^{-1}C'Y$
3. 代入$\hat{\beta}$求$\hat{\sigma}^2$
将$\hat{\beta}$代入对数似然函数,对$\sigma^2$求导并令导数为零:
$\frac{\partial \ln L}{\partial \sigma^2} = -\frac{n}{\sigma^2} + \frac{1}{2\sigma^4} (Y - C\hat{\beta})'(Y - C\hat{\beta}) = 0 \implies \hat{\sigma}^2 = \frac{1}{n} (Y - C\hat{\beta})'(Y - C\hat{\beta})$