統計検定1級の2019年11月の「統計数理」の問5の解答例と解説について取り扱いました。他の問題の解答に関しては下記よりご確認ください。
https://www.hello-statisticians.com/stat_certifi_1_math
問題
詳しくは統計検定公式よりご確認ください。
解答
[1]
・$E[\mu]$の導出
事前分布の期待値$E[\mu]$は下記のように考えることができる。
$$
\large
\begin{align}
E[\mu] &= \int_{-\infty}^{\infty} \mu \times g(\mu) d \mu \\
&= \int_{-\infty}^{\infty} \mu \times \frac{\lambda}{2} \exp \left\{ -\lambda|\mu-\xi| \right\} d \mu \\
&= \int_{-\infty}^{\xi} \mu \times \frac{\lambda}{2} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu + \int_{\xi}^{\infty} \mu \times \frac{\lambda}{2} \exp \left\{ – \lambda(\mu-\xi) \right\} d \mu
\end{align}
$$
上記を詳しく導出するにあたって、$\displaystyle \int_{-\infty}^{\xi} \mu \times \frac{\lambda}{2} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu$と$\displaystyle \int_{\xi}^{\infty} \mu \times \frac{\lambda}{2} \exp \left\{ -\lambda(\mu-\xi) \right\} d \mu$の計算を以下で行う。
$$
\large
\begin{align}
& \int_{-\infty}^{\xi} \mu \times \frac{\lambda}{2} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu \\
&= \left[ \mu \times \frac{\lambda}{2} \times \frac{1}{\lambda} \exp \left\{ \lambda(\mu-\xi) \right\} \right]_{-\infty}^{\xi} – \int_{-\infty}^{\xi} (\mu)’ \times \frac{\lambda}{2} \times \frac{1}{\lambda} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu \\
&= \frac{1}{2}(\xi \cdot 1 – 0) – \frac{1}{2} \int_{-\infty}^{\xi} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu \\
&= \frac{\xi}{2} – \frac{1}{2} \left[ \frac{1}{\lambda} \exp \left\{ \lambda(\mu-\xi) \right\} \right]_{-\infty}^{\xi} \\
&= \frac{\xi}{2} – \frac{1}{2 \lambda} (1-0) \\
&= \frac{\xi}{2} – \frac{1}{2 \lambda}
\end{align}
$$
$$
\large
\begin{align}
& \int_{\xi}^{\infty} \mu \times \frac{\lambda}{2} \exp \left\{ -\lambda(\mu-\xi) \right\} d \mu \\
&= \left[ \mu \times \frac{\lambda}{2} \times \frac{-1}{\lambda} \exp \left\{ -\lambda(\mu-\xi) \right\} \right]_{\xi}^{\infty} – \int_{\xi}^{\infty} (\mu)’ \times \frac{\lambda}{2} \times \frac{-1}{\lambda} \exp \left\{ -\lambda(\mu-\xi) \right\} d \mu \\
&= -\frac{1}{2}(0 – \xi \cdot 1) + \frac{1}{2} \int_{\xi}^{\infty} \exp \left\{ -\lambda(\mu-\xi) \right\} d \mu \\
&= \frac{\xi}{2} + \frac{1}{2} \left[ \frac{-1}{\lambda} \exp \left\{ -\lambda(\mu-\xi) \right\} \right]_{\xi}^{\infty} \\
&= \frac{\xi}{2} – \frac{1}{2 \lambda} (0-1) \\
&= \frac{\xi}{2} + \frac{1}{2 \lambda}
\end{align}
$$
ここまでの議論より$E[\mu]$の計算を行うと下記が得られる。
$$
\large
\begin{align}
E[\mu] &= \int_{-\infty}^{\xi} \mu \times \frac{\lambda}{2} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu + \int_{\xi}^{\infty} \mu \times \frac{\lambda}{2} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu \\
&= \frac{\xi}{2} – \frac{1}{2 \lambda} + \frac{\xi}{2} + \frac{1}{2 \lambda} \\
&= \xi
\end{align}
$$
・$V[\mu]$の導出
事前分布の分散$V[\mu]$は下記のように考えることができる。
$$
\large
\begin{align}
V[\mu] &= E[(\mu-E[\mu])^2] \\
&= E[(\mu-\xi)^2] \\
&= \int_{-\infty}^{\infty} (\mu-\xi)^2 \times g(\mu) d \mu \\
&= \int_{-\infty}^{\infty} (\mu-\xi)^2 \times \frac{\lambda}{2} \exp \left\{ -\lambda|\mu-\xi| \right\} d \mu \\
&= \int_{-\infty}^{\xi} (\mu-\xi)^2 \times \frac{\lambda}{2} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu + \int_{\xi}^{\infty} (\mu-\xi)^2 \times \frac{\lambda}{2} \exp \left\{ -\lambda(\mu-\xi) \right\} d \mu
\end{align}
$$
上記を詳しく導出するにあたって、$\displaystyle \int_{-\infty}^{\xi} (\mu-\xi)^2 \times \frac{\lambda}{2} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu$と$\displaystyle \int_{\xi}^{\infty} (\mu-\xi)^2 \times \frac{\lambda}{2} \exp \left\{ -\lambda(\mu-\xi) \right\} d \mu$の計算を以下で行う。そのまま計算を行うと複雑なので、変数を$x = \lambda(\mu-\xi)$のように置き換えて積分を行う。
$$
\large
\begin{align}
\int_{-\infty}^{\xi} (\mu-\xi)^2 \times \frac{\lambda}{2} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu &= \int_{-\infty}^{0} \left( \frac{x}{\lambda} \right)^2 \times \frac{\lambda}{2} \exp \left\{ x \right\} \times \frac{1}{\lambda} dx \\
&= \frac{1}{2 \lambda^2} \int_{-\infty}^{0} x^2 e^x dx \\
&= \frac{1}{2 \lambda^2} \left( \left[ x^2 e^x \right]_{-\infty}^{0} – \int_{-\infty}^{0} 2x e^x dx \right) \\
&= \frac{1}{2 \lambda^2} \left( (0-0) – 2 \left[ x e^x \right]_{-\infty}^{0} + \int_{-\infty}^{0} e^x dx \right) \\
&= \frac{1}{2 \lambda^2} \left( – 2(0-0) + 2 \left[ e^x \right]_{-\infty}^{0} \right) \\
&= \frac{1}{2 \lambda^2} \times 2(1-0) \\
&= \frac{1}{\lambda^2}
\end{align}
$$
$$
\large
\begin{align}
\int_{\xi}^{\infty} (\mu-\xi)^2 \times \frac{\lambda}{2} \exp \left\{ -\lambda(\mu-\xi) \right\} d \mu &= \int_{0}^{\infty} \left( \frac{x}{\lambda} \right)^2 \times \frac{\lambda}{2} \exp \left\{ -x \right\} \times \frac{1}{\lambda} dx \\
&= \frac{1}{2 \lambda^2} \int_{0}^{\infty} x^2 e^{-x} dx \\
&= \frac{1}{2 \lambda^2} \left( \left[ -x^2 e^x \right]_{0}^{\infty} + \int_{0}^{\infty} 2x e^{-x} dx \right) \\
&= \frac{1}{2 \lambda^2} \left( -(0-0) + 2 \left[ – x e^{-x} \right]_{0}^{\infty} + 2 \int_{0}^{\infty} e^x dx \right) \\
&= \frac{1}{2 \lambda^2} \left( – 2(0-0) + 2 \left[ -e^x \right]_{0}^{\infty} \right) \\
&= \frac{1}{2 \lambda^2} \times -2(0-1) \\
&= \frac{1}{\lambda^2}
\end{align}
$$
ここまでの議論より$V[\mu]$の計算を行うと下記が得られる。
$$
\large
\begin{align}
V[\mu] &= \int_{-\infty}^{\xi} (\mu-\xi)^2 \times \frac{\lambda}{2} \exp \left\{ \lambda(\mu-\xi) \right\} d \mu + \int_{\xi}^{\infty} (\mu-\xi)^2 \times \frac{\lambda}{2} \exp \left\{ -\lambda(\mu-\xi) \right\} d \mu \\
&= \frac{1}{\lambda^2} + \frac{1}{\lambda^2} \\
&= \frac{2}{\lambda^2}
\end{align}
$$
[2]
$\mathbf{y}=(y_1,y_2,…,y_n)$に関する同時確率密度関数を$f(y_1,y_2,…,y_n)$とおくと、$f(y_1,y_2,…,y_n)$に関して下記が成立する。
$$
\large
\begin{align}
f(y_1,y_2,…,y_n) &= \prod_{i=1}^{n} f(y_i) \\
&= \prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi}} \exp \left[ -\frac{(y_i-\mu)^2}{2} \right] \\
&= (2 \pi)^{-\frac{n}{2}} \exp \left[ – \frac{1}{2} \sum_{i=1}^{n} (y_i-\mu)^2 \right]
\end{align}
$$
よって、$\mu$の事後確率$g(\mu|y_1,y_2,…,y_n)$は正規化定数を無視すると下記のように得ることができる。
$$
\large
\begin{align}
g(\mu|y_1,y_2,…,y_n) & \propto f(y_1,y_2,…,y_n) g(\mu) \\
&= (2 \pi)^{-\frac{n}{2}} \exp \left[ – \frac{1}{2} \sum_{i=1}^{n} (y_i-\mu)^2 \right] \times \frac{\lambda}{2} \exp \left[ – \lambda|\mu-\xi| \right] \\
&= \frac{\lambda}{2(2 \pi)^{\frac{n}{2}}} \exp \left[ – \frac{1}{2} \sum_{i=1}^{n} (y_i-\mu)^2 – \lambda|\mu-\xi| \right]
\end{align}
$$
[3]、[4]
難問だと思われるので、ここでは省略します。詳しくは公式の書籍をご確認ください。
解説
確率密度関数$g(\mu)$に絶対値が出てくることで全体的に計算が複雑な印象でした。[1]は積分区間を考えることで絶対値を通常の関数に変形し、その後に部分積分を行うことで計算を行えます。[2]に関してはベイズの定理を元に事前分布と事後分布を理解していればそれほど難しくないと思います。
[3]と[4]に関してはベイズ法の基本的な流れを理解しているだけでは試験中に解答できるとは思えなかったので、ここでは省略しました。
配点に関しては[1]が7点、[2]が3点、[3]が7点、[4]が3点ほどが妥当な印象で、[3]と[4]は部分点狙いで十分だと思われました。