设 theta 是一批产品的不合格品率,从中抽取 8 个产品进行检验,发现 3 个不合格品,假如 theta 的先验分布为(1) theta sim U(0,1)(2) theta sim pi(theta) = } 2(1-theta), & 0 < theta < 1 0, & (其它场合) 分别求 theta 的后验分布。
设 $\theta$ 是一批产品的不合格品率,从中抽取 8 个产品进行检验,发现 3 个不合格品,假如 $\theta$ 的先验分布为 (1) $\theta \sim U(0,1)$ (2) $\theta \sim \pi(\theta) = \begin{cases} 2(1-\theta), & 0 < \theta < 1 \\ 0, & \text{其它场合} \end{cases}$ 分别求 $\theta$ 的后验分布。
题目解答
答案
我们来逐步解决这个问题。
题目要求:在给定数据(从一批产品中抽取 8 个,发现 3 个不合格品)的前提下,分别在两种不同的先验分布下,求不合格品率 $\theta$ 的后验分布。
一、基本设定
- 设 $\theta$:不合格品率,即任取一个产品为不合格品的概率。
- 抽样:从总体中独立抽取 $n = 8$ 个产品,观察到 $x = 3$ 个不合格品。
- 抽样模型(似然函数):二项分布
$X \mid \theta \sim \text{Binomial}(n=8, \theta)$
所以似然函数为:
$p(x = 3 \mid \theta) = \binom{8}{3} \theta^3 (1 - \theta)^5$
根据贝叶斯定理,后验分布为:
$\pi(\theta \mid x) \propto p(x \mid \theta) \cdot \pi(\theta)$
即:后验 ∝ 似然 × 先验
我们分别处理两种先验情况。
(1)先验:$\theta \sim U(0,1)$,即均匀分布
先验密度:
$\pi(\theta) = 1, \quad 0 < \theta < 1$
后验密度:
$\pi(\theta \mid x=3) \propto \underbrace{\binom{8}{3} \theta^3 (1 - \theta)^5}_{\text{似然}} \times \underbrace{1}_{\text{先验}} \propto \theta^3 (1 - \theta)^5$
忽略常数项(包括组合数,因为它是与 $\theta$ 无关的常数),我们得到:
$\pi(\theta \mid x=3) \propto \theta^3 (1 - \theta)^5, \quad 0 < \theta < 1$
这正是 Beta 分布 的核。
回忆:Beta 分布的密度函数为:
$\text{Beta}(\alpha, \beta): \quad f(\theta) \propto \theta^{\alpha-1} (1 - \theta)^{\beta-1}$
对比可得:
- $\alpha - 1 = 3 \Rightarrow \alpha = 4$
- $\beta - 1 = 5 \Rightarrow \beta = 6$
所以后验分布为:
$\theta \mid x=3 \sim \text{Beta}(4, 6)$
(2)先验:$\pi(\theta) = 2(1 - \theta), \quad 0 < \theta < 1$
我们来求后验分布:
$\pi(\theta \mid x=3) \propto p(x=3 \mid \theta) \cdot \pi(\theta) = \left[ \binom{8}{3} \theta^3 (1 - \theta)^5 \right] \cdot \left[ 2(1 - \theta) \right]$
同样,$\binom{8}{3}$ 和 2 都是常数,可以忽略(归一化时会处理),所以:
$\pi(\theta \mid x) \propto \theta^3 (1 - \theta)^5 \cdot (1 - \theta) = \theta^3 (1 - \theta)^6$
即:
$\pi(\theta \mid x=3) \propto \theta^3 (1 - \theta)^6, \quad 0 < \theta < 1$
再次对应 Beta 分布的核:
- $\alpha - 1 = 3 \Rightarrow \alpha = 4$
- $\beta - 1 = 6 \Rightarrow \beta = 7$
所以后验分布为:
$\theta \mid x=3 \sim \text{Beta}(4, 7)$
验证先验(2)是否为合法密度函数
题目给出的先验是 $\pi(\theta) = 2(1 - \theta), 0 < \theta < 1$,我们验证它是否积分为 1:
$\int_0^1 2(1 - \theta)\, d\theta = 2 \int_0^1 (1 - \theta)\, d\theta = 2 \left[ \theta - \frac{\theta^2}{2} \right]_0^1 = 2 \left(1 - \frac{1}{2}\right) = 2 \cdot \frac{1}{2} = 1$
合法,是一个有效的密度函数。
实际上,$\pi(\theta) = 2(1 - \theta)$ 是 $\text{Beta}(1,2)$ 分布的密度函数,因为:
$\text{Beta}(1,2): \quad f(\theta) = \frac{\Gamma(3)}{\Gamma(1)\Gamma(2)} \theta^{0} (1 - \theta)^1 = 2(1 - \theta)$
所以这个先验相当于 $\theta \sim \text{Beta}(1,2)$
而似然为二项分布,共轭先验正是 Beta 分布,因此后验也应为 Beta 分布。
更新规则为:
- $\alpha_{\text{后验}} = \alpha_{\text{先验}} + x = 1 + 3 = 4$
- $\beta_{\text{后验}} = \beta_{\text{先验}} + n - x = 2 + 8 - 3 = 7$
所以后验为 $\text{Beta}(4,7)$,与上面一致。
最终答案:
(1)当先验为 $\theta \sim U(0,1)$,即 $\text{Beta}(1,1)$ 时:
后验分布为:
$\theta \mid x=3 \sim \text{Beta}(4, 6)$
(2)当先验为 $\pi(\theta) = 2(1 - \theta),\ 0 < \theta < 1$,即 $\text{Beta}(1,2)$ 时:
后验分布为:
$\theta \mid x=3 \sim \text{Beta}(4, 7)$
答案总结:
$\boxed{ \begin{aligned}&(1)\quad \theta \mid x=3 \sim \mathrm{Beta}(4,\ 6) \\&(2)\quad \theta \mid x=3 \sim \mathrm{Beta}(4,\ 7)\end{aligned} }$
解析
本题考察的知识是贝叶斯定理以及二项分布与Beta分布的共轭关系。解题思路是先根据贝叶斯定理得出后验分布与似然函数和先验分布的关系,然后分别代入两种先验分布进行计算,最后通过对比Beta分布的核得出后验分布的参数。
(1)先验为 $\theta \sim U(0,1)$ 的情况
- 均匀分布的先验密度为 $\pi(\theta) = 1, \quad 0 < \theta < 1$。
- 根据贝叶斯定理,后验分布为 $\pi(\theta \mid x=3) \propto p(x=3 \mid \theta) \cdot \pi(\theta)$。
- 已知似然函数为 $p(x = 3 \mid \theta) = \binom{8}{3} \theta^3 (1 - \theta)^5$,将先验密度和似然函数代入后验分布公式可得:
$\pi(\theta \mid x=3) \propto \binom{8}{3} \theta^3 (1 - \theta)^5 \times 1$。 - 因为 $\binom{8}{3}$ 是常数,可忽略,所以 $\pi(\theta \mid x=3) \propto \theta^3 (1 - \theta)^5, \quad 0 < \theta < 1$。
- 对比Beta分布的核 $\text{Beta}(\alpha, \beta): \quad f(\theta) \propto \theta^{\alpha-1} (1 - \theta)^{\beta-1}$,可得:
$\alpha - 1 = 3 \Rightarrow \alpha = 4$,$\beta - 1 = 5 \Rightarrow \beta = 6$。 - 所以后验分布为 $\theta \mid x=3 \sim \text{Beta}(4, 6)$。
(2)先验为 $\pi(\theta) = 2(1 - \theta), \quad 0 < \theta < 1$ 的情况
- 同样根据贝叶斯定理,后验分布为 $\pi(\theta \mid x=3) \propto p(x=3 \mid \theta) \cdot \pi(\theta)$。
- 将似然函数 $p(x = 3 \mid \theta) = \binom{8}{3} \theta^3 (1 - \theta)^5$ 和先验密度 $\pi(\theta) = 2(1 - \theta)$ 代入后验分布公式可得:
$\pi(\theta \mid x=3) \propto \binom{8}{3} \theta^3 (1 - \theta)^5 \times 2(1 - \theta)$。 - 因为 $\binom{8}{3}$ 和 2 都是常数,可忽略,所以 $\pi(\theta \mid x=3) \propto \theta^3 (1 - \theta)^6, \quad 0 < \theta < 1$。
- 对比Beta分布的核 $\text{Beta}(\alpha, \beta): \quad f(\theta) \propto \theta^{\alpha-1} (1 - \theta)^{\beta-1}$,可得:
$\alpha - 1 = 3 \Rightarrow \alpha = 4$,$\beta - 1 = 6 \Rightarrow \beta = 7$。 - 所以后验分布为 $\theta \mid x=3 \sim \text{Beta}(4, 7)$。