题目
在岭回归模型中,回归系数的先验分布是()。A. 拉普拉斯分布B. 正态分布C. 正态分布与拉普拉斯的混合分布D. 指数分布
在岭回归模型中,回归系数的先验分布是()。
- A. 拉普拉斯分布
- B. 正态分布
- C. 正态分布与拉普拉斯的混合分布
- D. 指数分布
题目解答
答案
B
解析
岭回归是一种用于缓解多重共线性问题的回归方法,其核心在于通过L2正则化项限制回归系数的大小。在贝叶斯框架下,正则化项对应回归系数的先验分布。正态分布的先验会导致L2正则化项,而拉普拉斯分布对应L1正则化(如Lasso回归)。因此,岭回归的回归系数先验分布应为正态分布。
岭回归通过在损失函数中添加L2正则化项 $\lambda \sum \beta_i^2$,等价于假设回归系数 $\beta$ 服从正态分布的先验。具体来说:
- 正态分布的先验:若 $\beta \sim \mathcal{N}(0, \frac{1}{\lambda}I)$,则先验概率密度函数包含 $\exp(-\frac{\lambda}{2}\sum \beta_i^2)$。
- 贝叶斯推导:在贝叶斯线性回归中,正则化项对应先验分布的对数形式,因此L2正则化直接对应正态分布先验。
- 对比其他选项:
- 拉普拉斯分布对应L1正则化(如Lasso)。
- 混合分布和指数分布不符合岭回归的正则化形式。