Ch.14 「ベイズ法」の章末問題の解答例　〜現代数理統計学(学術図書出版社)〜

当記事は「現代数理統計学(学術図書出版社)」の読解サポートにあたってChapter.14の「ベイズ法」の章末問題の解説について行います。

基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。（そのため著者の意図とは異なる解説となる可能性はあります）

↓下記が公式の解答なので、正確にはこちらを参照ください。
https://www.gakujutsu.co.jp/text/isbn978-4-7806-0860-1/

章末の演習問題について

問題14.1の解答例

問題14.2の解答例

問題14.3の解答例

問題14.4の解答例

・ポアソン分布
ポアソン分布$Po(\lambda)$の確率関数を$p(x)=P(X=x|\lambda)$とおくと、$p(x)$は下記のように表すことができる。
$$
\large
\begin{align}
p(x) = \frac{\lambda^{x}e^{-\lambda}}{x!} \quad (1)
\end{align}
$$

上記を$\lambda$の関数と見ると、$\lambda^{x}e^{-\lambda}$より、ガンマ分布の確率密度関数と同様の形状をしていることがわかる。よって、ガンマ分布$Ga(\nu,\alpha)$を事前分布に考えて、事後分布の導出を行う。$Ga(\nu,\alpha)$の確率密度関数を$f(\lambda|\nu,\alpha)$のようにおくと、$f(\lambda|\nu,\alpha)$は下記のように表すことができる。
$$
\large
\begin{align}
f(\lambda|\nu,\alpha) = \frac{1}{\alpha^{\nu} \Gamma(\nu)} \lambda^{\nu-1} e^{-\frac{\lambda}{\alpha}} \quad (2)
\end{align}
$$

(1)式、(2)式を用いて$f(\lambda|\nu,\alpha)p(x)$を考えると、事後分布$P(\lambda|x)$は$f(\lambda|\nu,\alpha)p(x)$に比例する。
$$
\large
\begin{align}
P(\lambda|x) & \propto f(\lambda|\nu,\alpha) p(x) \\
&= \frac{1}{\alpha^{\nu} \Gamma(\nu)} \lambda^{\nu-1} e^{-\frac{\lambda}{\alpha}} \times \frac{\lambda^{x}e^{-\lambda}}{x!} \\
& \propto \lambda^{\nu-1} e^{-\frac{\lambda}{\alpha}} \times \lambda^{x}e^{-\lambda} \\
&= \lambda^{\nu-1+x} e^{-\frac{\lambda}{\alpha} -\lambda} \\
&= \lambda^{\nu+x-1} e^{-\lambda \left(1+\frac{\lambda}{\alpha} \right)}
\end{align}
$$
上記より、事後分布は$\displaystyle Ga \left( \nu+x,\left(1+\frac{\lambda}{\alpha} \right)^{-1} \right)$に従うことがわかる。

サンプルサイズ$n$の場合も(1)式のように同時確率関数$p(x_1,…,.x_n)$を計算することで同様に考えることができる。$p(x_1,…,.x_n)$は下記のように表すことができる。
$$
\large
\begin{align}
p(x_1,…,.x_n) &= \prod_{i=1}^{n} \frac{\lambda^{x_i}e^{-\lambda}}{x_i!} \\
&= \lambda^{\sum_{i=1}^{n} x_i} e^{-n \lambda} \prod_{i=1}^{n} (x_i!)^{-1} \quad (3)
\end{align}
$$

(2)式と(3)式に基づいて、事後分布$P(\lambda|x_1,…,x_n)$は下記のように求めることができる。
$$
\large
\begin{align}
P(\lambda|x_1,…,x_n) & \propto f(\lambda|\nu,\alpha) p(x_1,…,.x_n) \\
&= \frac{1}{\alpha^{\nu} \Gamma(\nu)} \lambda^{\nu-1} e^{-\frac{\lambda}{\alpha}} \times \lambda^{\sum_{i=1}^{n} x_i} e^{-n \lambda} \prod_{i=1}^{n} (x_i!)^{-1} \\
& \propto \lambda^{\nu-1} e^{-\frac{\lambda}{\alpha}} \times \lambda^{\sum_{i=1}^{n} x_i} e^{-n \lambda} \\
&= \lambda^{\nu-1+\sum_{i=1}^{n} x_i} e^{-\frac{\lambda}{\alpha}-n \lambda} \\
&= \lambda^{\nu + \sum_{i=1}^{n} x_i – 1} e^{-\lambda \left(n+\frac{\lambda}{\alpha} \right)}
\end{align}
$$
上記より、サンプルサイズ$n$の場合の事後分布は$\displaystyle Ga \left( \nu+\sum_{i=1}^{n} x_i,\left(n+\frac{\lambda}{\alpha} \right)^{-1} \right)$に従うことがわかる。

問題14.5の解答例

問題14.6の解答例

問題14.7の解答例

問題14.8の解答例

問題14.9の解答例

問題14.10の解答例

問題14.11の解答例

問題14.12の解答例

式$(14.3)$を$p$に関してのみ着目した関数を$f(p)$とおくと、$f(p)$は下記のように表すことができる。
$$
\large
\begin{align}
f(p) &= p^{\alpha – 1} (1-p)^{\beta – 1} \times p^{x} (1-p)^{n – x} \\
&= p^{\alpha – 1 + x} (1-p)^{\beta – 1 + n – x}
\end{align}
$$

MAP推定にあたっては上記が最大となる$p$を求めれば良いので、$\log{f(p)}$を考え、$p$に関して偏微分を行う。
$$
\large
\begin{align}
\frac{\partial \log{f(p)}}{\partial p} &= \frac{\partial}{\partial p} \left( (\alpha – 1 + x) \log{p} + (\beta – 1 + n – x) \log{(1-p)} \right) \\
&= \frac{\alpha – 1 + x}{p} – \frac{\beta – 1 + n – x}{1-p}
\end{align}
$$

上記の偏微分の結果が$0$となるような$p$は下記のように求めることができる。
$$
\large
\begin{align}
\frac{\alpha – 1 + x}{p} – \frac{\beta – 1 + n – x}{1-p} &= 0 \\
\frac{\alpha – 1 + x}{p} &= \frac{\beta – 1 + n – x}{1-p} \\
p(\beta – 1 + n – x) &= (1-p)(\alpha – 1 + x) \\
p(\beta – 1 + n – x + \alpha – 1 + x) &= \alpha + x – 1 \\
p(\alpha + \beta + n – 2) &= \alpha + x – 1 \\
p &= \frac{\alpha + x – 1}{\alpha + \beta + n – 2}
\end{align}
$$

上記より、MAP推定値$\hat{p}$は下記のように与えられる。
$$
\large
\begin{align}
\hat{p} = \frac{\alpha + x – 1}{\alpha + \beta + n – 2}
\end{align}
$$

問題14.13の解答例