統計検定準1級問題解説 ~2019年6月実施 問7 事前確率分布と事後確率分布~

過去問題

過去問題は統計検定公式問題集が問題と解答例を公開しています。こちらを参照してください。


解答

[1] 解答

$\boxed{ \ \mathsf{13}\ }$ : ⑤

$\mu_0=0, \sigma_0=1, \sigma=2$のとき観測値$X=2$が得られた場合、選択肢の事後分布の平均値$\tilde\mu$の値を求めてみると、
・①,②,③$$\tilde\mu=\frac{\sigma^2X+\sigma_0^2\mu_0}{\sigma^2+\sigma_0^2}=\frac{2^2\times2+1^2\times0}{2^2+1^2}=\frac{8}{5}=1.6$$
・④,⑤$$\tilde\mu=\frac{\sigma_0^2X+\sigma^2\mu_0}{\sigma^2+\sigma_0^2}=\frac{1^2\times2+2^2\times0}{2^2+1^2}=\frac{2}{5}=0.4$$
グラフを見ると事後分布が最大になるところが概ね$0.4$付近でなので④か⑤が正解候補。
また、グラフから事前分布の最大値より事後分布の最大値が大きいことから、事後分布の分散$\tilde\sigma$は事前分布の分散$\sigma_0$より小さくなることから、正解は⑤となる。

[2] 解答

$\boxed{ \ \mathsf{14}\ }$ : ②

事前分布が正規分布なので、事後分布も正規分布になることから、③と④は除外される。事後分散は
$$\left(\frac{n}{\sigma^2}+\frac{1}{\sigma_0^2}\right)^{-1}=\left(\frac{10}{3.07^2}+\frac{1}{2.7^2}\right)^{-1}\fallingdotseq0.83$$
となり、事前分布の分散より小さくなるので②が正解である。

[3] 解答

$\boxed{ \ \mathsf{15}\ }$ : ③

$\mathrm{(A)}$と$\mathrm{(C)}$は正しい。$\mathrm{(B)}$は分散が未知のときの分散に対する共役事前分布としては、逆ガンマ分布が知られている。


解説

事前確率分布と事後確率分布

$n$個の同時に成立しない互いに排反な原因事象 $H_1, H_2, \ldots, H_n$ について、この原因の発生する確率$P(H_1), P(H_2), \ldots, P(H_n)$は事前にわかっているものとする(事前確率)。この原因によって結果となる事象$A$が発生するが、このとき各原因$H_i$によって結果$A$が生じる条件付き確率を$P(A|H_i)$とすると、結果$A$によって各原因の発生する確率は更新され、その確率はベイズの定理より、
$$P(H_i|A)=\frac{P(A|H_i)P(H_i)}{\sum_{k=1}^nP(A|H_k)P(H_k)}$$
となり、この$P(H_i|A)$を事後確率という。

これを連続型確率分布に適用する。データ$x$(結果)を観測する以前に持っている母数$\mathbf\theta$(原因)の確率分布を事前(確率)分布といい、これを$\pi(\mathbf\theta)$とする。この母数$\pi(\mathbf\theta)$のもとで観測されたデータ$x$の条件付き確率分布を$f(x|\mathbf\theta)$とすると、ベイズの定理より、
$$\pi(\mathbf\theta|x)=\frac{f(x|\mathbf\theta)\pi(\mathbf\theta)}{\displaystyle\int_\Theta f(x|\mathbf\theta)\pi(\mathbf\theta)}$$
となる。ここに、$\theta$は母数$\theta$の取りうる値の集合(母数空間)で、$\pi(\mathbf\theta|x)$はデータの観測によって更新された母数$\mathbf\theta$の確率分布で事後(確率)分布という。上式の分母$$\displaystyle\int_\Theta f(x|\mathbf\theta)\pi(\mathbf\theta)$$は周辺尤度といい、$\mathbf\theta$によらない値である。よって、事後分布は$$\pi(\mathbf\theta|x)\propto f(x|\mathbf\theta)\pi(\mathbf\theta)$$と表わすことがある。

正規分布の事後分布

母平均$\mu$、母分散$\sigma^2$(母分散は既知)に従う正規母集団から大きさ$n$の標本を抽出し標本平均$\bar x$を得たとする。母平均$\mu$の事前分布として平均$\mu_0$、分散$\sigma_0^2$の正規分布としたとき、平均$\mu$の事後分布を求める。

事前分布及び母集団の確率密度関数は、
$$
\begin{eqnarray}
\mu\sim N(\mu_o,\sigma_0^2)\Rightarrow\pi(\mu)=\frac1{\sqrt{2\pi\sigma_o^2}}\exp\left[-\frac{(\mu-\mu_0)^2}{2\sigma_0^2}\right]\\
X\sim N(\mu,\sigma^2)\Rightarrow f(x)=\frac1{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]
\end{eqnarray}
$$
となる。抽出された標本データ$x_1, x_2, \cdots, x_n$ は正規分布に独立同一に従う$(i.i.d.)$ので、その同時確率分布は、
$$
f(x|\mu)=\prod_{i=1}^n\frac1{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(x_i-\mu)^2}{2\sigma^2}\right]=\left(\frac1{\sqrt{2\pi\sigma^2}}\right)^n\exp\left[-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}\right]
$$
となる。この式のうち、指数部分についてみると、標本平均$\bar x=\sum_{i=1}^nx_i/n$から、
$$\begin{align}
-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2\sigma^2}&=-\frac1{2\sigma^2}{\sum_{i=1}^n(x_i-\mu)^2}\\
&=-\frac1{2\sigma^2}\left(n\mu^2-2\sum_{i=1}^nx_i\mu+\sum_{i=1}^nx_i^2\right)\\
&=-\frac1{2\sigma^2}\left(n\mu^2-2n\bar x\mu+\sum_{i=1}^nx_i^2\right)\\
&=-\frac1{2\sigma^2}\left\{n(\mu-\bar x)^2+\sum_{i=1}^n(x_i-\bar x)^2\right\}\\
\end{align}$$
したがって、
$$\begin{align}
f(x|\mu)&=\left(\frac1{\sqrt{2\pi\sigma^2}}\right)^n\exp\left[-\frac1{2\sigma^2}\left\{n(\mu-\bar x)^2+\sum_{i=1}^n(x_i-\bar x)^2\right\}\right]\\
&=\exp\left[-\frac{n(\mu-\bar x)^2}{2\sigma^2}\right]\cdot\left(\frac1{\sqrt{2\pi\sigma^2}}\right)^n\exp\left[-\frac{\sum_{i=1}^n(x_i-\bar x)^2}{2\sigma^2}\right]
\end{align}$$
となり、$\mu$の関数は第一因数だけとなる。
$$\begin{align}
\therefore\ \pi(\mu|x)\propto f(x|\mu)\pi(\mu)&\propto\exp\left[-\frac{n(\mu-\bar x)^2}{2\sigma^2}\right]\exp\left[-\frac{(\mu-\mu_0)^2}{2\sigma_0^2}\right]\\
&=\exp\left[-\frac{n(\mu-\bar x)^2}{2\sigma^2}-\frac{(\mu-\mu_0)^2}{2\sigma_0^2}\right]\\
&=\exp\left[-\frac{n\sigma_0^2(\mu-\bar x)^2+\sigma^2(\mu-\mu_0)^2}{2\sigma^2\sigma_0^2}\right]\\
&=\exp\left[-\frac{n\sigma_0^2+\sigma^2}{2\sigma^2\sigma_0^2}\left(\mu-\frac{n\sigma_0^2\bar x+\sigma^2\mu_0}{n\sigma_0^2+\sigma^2}\right)^2+\frac{n(\mu_0-\bar x)^2}{2(n\sigma_0^2+\sigma^2)}\right]\\
&=\exp\left[-\frac1{2\left(\frac{n}{\sigma^2}+\frac{1}{\sigma_0^2}\right)^{-1}}\cdot\left(\mu-\frac{n\sigma_0^2\bar x+\sigma^2\mu_0}{n\sigma_0^2+\sigma^2}\right)^2\right]\cdot\exp\left[\frac{n(\mu_0-\bar x)^2}{2(n\sigma_0^2+\sigma^2)}\right]\\
\end{align}$$
以上より、事後分布$\pi(\mu|x)$は正規分布
$$N\left(\frac{n\sigma_0^2\bar x+\sigma^2\mu_0}{n\sigma_0^2+\sigma^2},\ \left(\frac{n}{\sigma^2}+\frac{1}{\sigma_0^2}\right)^{-1}\right)$$
となる。

ここで、平均の分子分母を$\sigma^2\sigma_0^2$で除すると、
$$\frac{n\sigma_0^2\bar x+\sigma^2\mu_0}{n\sigma_0^2+\sigma^2}=\frac{(n/\sigma^2)\bar x+(1/\sigma_0^2)\mu_0}{(n/\sigma^2)+(1/\sigma_0^2)}$$
となり、事後分布の平均は、標本平均$\bar x$と事前分布の平均$\mu_0$の重み付き平均となっている。また、事後平均の分散は
(問題の[1]のケースでは、上式で$n=1,\bar x=X$を代入すると、解答と同じ結果が得られる。)