题目
【单选题】在 Lasso回归模型中,回归系数的先验分布是A. 拉普拉斯分布B. 正态分布C. 正态分布与拉普拉斯的混合分布D. 指数分布
【单选题】在 Lasso回归模型中,回归系数的先验分布是
A. 拉普拉斯分布
B. 正态分布
C. 正态分布与拉普拉斯的混合分布
D. 指数分布
题目解答
答案
A. 拉普拉斯分布
解析
Lasso回归是一种带L1正则化的回归方法,其核心在于通过绝对值惩罚项实现特征选择和系数稀疏化。在贝叶斯框架下,正则化项对应参数的先验分布。拉普拉斯分布的概率密度函数在零点处集中,天然适合L1正则化,因此Lasso回归的系数先验分布为拉普拉斯分布。
正则化与先验分布的对应关系
- Lasso回归的惩罚项:损失函数中加入$\lambda \sum |\beta_j|$,即L1范数。
- 贝叶斯视角:正则化项等价于对参数$\beta$的先验概率取对数。L1惩罚对应拉普拉斯分布的先验,其概率密度函数为:
$f(\beta) = \frac{\lambda}{2} e^{-\lambda |\beta|}$ - 对比其他选项:
- 正态分布对应L2正则化(Ridge回归)。
- 指数分布不直接关联Lasso的惩罚机制。
- 混合分布未体现Lasso的核心稀疏性。
关键结论
- 拉普拉斯分布的尖峰特性鼓励系数向零收缩,符合Lasso的稀疏性目标。