概述从最小二乘法推导线性回归解析解（正规方程）的关键步骤与核心假设（可简述）。

本题考查线性回归中最小二乘法推导解析解（正规方程）的知识，解题思路是先明确最小二乘法的目标函数，即最小化残差平方和，然后对该目标函数求导并令导数为零，得到正规方程，最后在一定假设条件下求解出解析解。

1. 确定目标函数：
   • 在线性回归中，我们假设数据满足线性关系 $y = X\theta+\epsilon$，其中 $y$ 是观测值向量，$X$ 是设计矩阵，$\theta$ 是待求的参数向量，$\epsilon$ 是误差向量。
   • 根据最小二乘法，我们的目标是最小化残差平方和 $J(\theta)=\sum_{i = 1}^{n}(y_i-\hat{y}_i)^2$，用矩阵形式表示为 $J(\theta)=(X\theta - y)^T(X\theta - y)$。这里 $X\theta$ 是预测值向量，$y$ 是真实值向量。
2. 展开目标函数：
   • 根据矩阵乘法分配律，$(X\theta - y)^T(X\theta - y)=(\theta^T X^T - y^T)(X\theta - y)$。
   • 继续展开可得：$\theta^T X^T X\theta-\theta^T X^T y - y^T X\theta + y^T y$。
   • 由于 $y^T X\theta$ 是一个标量，所以 $y^T X\theta=(y^T X\theta)^T=\theta^T X^T y$，则 $J(\theta)=\theta^T X^T X\theta - 2\theta^T X^T y + y^T y$。
3. 对目标函数求导：
   • 为了找到使 $J(\theta)$ 最小的 $\theta$，我们对 $J(\theta)$ 关于 $\theta$ 求导。
   • 根据矩阵求导公式，$\frac{\partial J(\theta)}{\partial\theta}=\frac{\partial}{\partial\theta}(\theta^T X^T X\theta - 2\theta^T X^T y + y^T y)$。
   • 对于 $\frac{\partial}{\partial\theta}(\theta^T X^T X\theta)$，根据矩阵求导性质 $\frac{\partial}{\partial\theta}(\theta^T A\theta)=2A\theta$（这里 $A = X^T X$），可得 $\frac{\partial}{\partial\theta}(\theta^T X^T X\theta)=2X^T X\theta$；$\frac{\partial}{\partial\theta}(2\theta^T X^T y)=2X^T y$；而 $y^T y$ 是常数，其导数为 $0$。
   • 所以 $\frac{\partial J(\theta)}{\partial\theta}=2X^T X\theta - 2X^T y$。
4. 令导数为零求解：
   • 令 $\frac{\partial J(\theta)}{\partial\theta}=0$，即 $2X^T X\theta - 2X^T y = 0$。
   • 两边同时除以 $2$，得到 $X^T X\theta = X^T y$，这就是正规方程。
5. 求解解析解：
   • 若 $X^T X$ 可逆（核心假设之一），在正规方程 $X^T X\theta = X^T y$ 两边同时左乘 $(X^T X)^{-1}$，可得 $\theta=(X^T X)^{-1}X^T y$。
6. 核心假设：
   • 设计矩阵 $X$ 的列向量线性无关，这样 $X^T X$ 才可逆，否则无法得到唯一的解析解。
   • 数据满足线性关系，即 $y = X\theta+\epsilon$ 这种线性模型是合适的。
   • 误差项独立同分布（虽非必要，但常见于最小二乘法），这有助于保证估计的有效性和统计性质。