Ch.14 「ベイズ法」の章末問題の解答例 〜現代数理統計学(学術図書出版社)〜

当記事は「現代数理統計学(学術図書出版社)」の読解サポートにあたってChapter.14の「ベイズ法」の章末問題の解説について行います。
基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。(そのため著者の意図とは異なる解説となる可能性はあります)

↓下記が公式の解答なので、正確にはこちらを参照ください。
https://www.gakujutsu.co.jp/text/isbn978-4-7806-0860-1/

章末の演習問題について

問題14.1の解答例

問題14.2の解答例

問題14.3の解答例

問題14.4の解答例

・ポアソン分布
ポアソン分布$Po(\lambda)$の確率関数を$p(x)=P(X=x|\lambda)$とおくと、$p(x)$は下記のように表すことができる。
$$
\large
\begin{align}
p(x) = \frac{\lambda^{x}e^{-\lambda}}{x!} \quad (1)
\end{align}
$$

上記を$\lambda$の関数と見ると、$\lambda^{x}e^{-\lambda}$より、ガンマ分布の確率密度関数と同様の形状をしていることがわかる。よって、ガンマ分布$Ga(\nu,\alpha)$を事前分布に考えて、事後分布の導出を行う。$Ga(\nu,\alpha)$の確率密度関数を$f(\lambda|\nu,\alpha)$のようにおくと、$f(\lambda|\nu,\alpha)$は下記のように表すことができる。
$$
\large
\begin{align}
f(\lambda|\nu,\alpha) = \frac{1}{\alpha^{\nu} \Gamma(\nu)} \lambda^{\nu-1} e^{-\frac{\lambda}{\alpha}} \quad (2)
\end{align}
$$

(1)式、(2)式を用いて$f(\lambda|\nu,\alpha)p(x)$を考えると、事後分布$P(\lambda|x)$は$f(\lambda|\nu,\alpha)p(x)$に比例する。
$$
\large
\begin{align}
P(\lambda|x) & \propto f(\lambda|\nu,\alpha) p(x) \\
&= \frac{1}{\alpha^{\nu} \Gamma(\nu)} \lambda^{\nu-1} e^{-\frac{\lambda}{\alpha}} \times \frac{\lambda^{x}e^{-\lambda}}{x!} \\
& \propto \lambda^{\nu-1} e^{-\frac{\lambda}{\alpha}} \times \lambda^{x}e^{-\lambda} \\
&= \lambda^{\nu-1+x} e^{-\frac{\lambda}{\alpha} -\lambda} \\
&= \lambda^{\nu+x-1} e^{-\lambda \left(1+\frac{\lambda}{\alpha} \right)}
\end{align}
$$
上記より、事後分布は$\displaystyle Ga \left( \nu+x,\left(1+\frac{\lambda}{\alpha} \right)^{-1} \right)$に従うことがわかる。

サンプルサイズ$n$の場合も(1)式のように同時確率関数$p(x_1,…,.x_n)$を計算することで同様に考えることができる。$p(x_1,…,.x_n)$は下記のように表すことができる。
$$
\large
\begin{align}
p(x_1,…,.x_n) &= \prod_{i=1}^{n} \frac{\lambda^{x_i}e^{-\lambda}}{x_i!} \\
&= \lambda^{\sum_{i=1}^{n} x_i} e^{-n \lambda} \prod_{i=1}^{n} (x_i!)^{-1} \quad (3)
\end{align}
$$

(2)式と(3)式に基づいて、事後分布$P(\lambda|x_1,…,x_n)$は下記のように求めることができる。
$$
\large
\begin{align}
P(\lambda|x_1,…,x_n) & \propto f(\lambda|\nu,\alpha) p(x_1,…,.x_n) \\
&= \frac{1}{\alpha^{\nu} \Gamma(\nu)} \lambda^{\nu-1} e^{-\frac{\lambda}{\alpha}} \times \lambda^{\sum_{i=1}^{n} x_i} e^{-n \lambda} \prod_{i=1}^{n} (x_i!)^{-1} \\
& \propto \lambda^{\nu-1} e^{-\frac{\lambda}{\alpha}} \times \lambda^{\sum_{i=1}^{n} x_i} e^{-n \lambda} \\
&= \lambda^{\nu-1+\sum_{i=1}^{n} x_i} e^{-\frac{\lambda}{\alpha}-n \lambda} \\
&= \lambda^{\nu + \sum_{i=1}^{n} x_i – 1} e^{-\lambda \left(n+\frac{\lambda}{\alpha} \right)}
\end{align}
$$
上記より、サンプルサイズ$n$の場合の事後分布は$\displaystyle Ga \left( \nu+\sum_{i=1}^{n} x_i,\left(n+\frac{\lambda}{\alpha} \right)^{-1} \right)$に従うことがわかる。

問題14.5の解答例

問題14.6の解答例

問題14.7の解答例

問題14.8の解答例

問題14.9の解答例

問題14.10の解答例

問題14.11の解答例

問題14.12の解答例

式$(14.3)$を$p$に関してのみ着目した関数を$f(p)$とおくと、$f(p)$は下記のように表すことができる。
$$
\large
\begin{align}
f(p) &= p^{\alpha – 1} (1-p)^{\beta – 1} \times p^{x} (1-p)^{n – x} \\
&= p^{\alpha – 1 + x} (1-p)^{\beta – 1 + n – x}
\end{align}
$$

MAP推定にあたっては上記が最大となる$p$を求めれば良いので、$\log{f(p)}$を考え、$p$に関して偏微分を行う。
$$
\large
\begin{align}
\frac{\partial \log{f(p)}}{\partial p} &= \frac{\partial}{\partial p} \left( (\alpha – 1 + x) \log{p} + (\beta – 1 + n – x) \log{(1-p)} \right) \\
&= \frac{\alpha – 1 + x}{p} – \frac{\beta – 1 + n – x}{1-p}
\end{align}
$$

上記の偏微分の結果が$0$となるような$p$は下記のように求めることができる。
$$
\large
\begin{align}
\frac{\alpha – 1 + x}{p} – \frac{\beta – 1 + n – x}{1-p} &= 0 \\
\frac{\alpha – 1 + x}{p} &= \frac{\beta – 1 + n – x}{1-p} \\
p(\beta – 1 + n – x) &= (1-p)(\alpha – 1 + x) \\
p(\beta – 1 + n – x + \alpha – 1 + x) &= \alpha + x – 1 \\
p(\alpha + \beta + n – 2) &= \alpha + x – 1 \\
p &= \frac{\alpha + x – 1}{\alpha + \beta + n – 2}
\end{align}
$$

上記より、MAP推定値$\hat{p}$は下記のように与えられる。
$$
\large
\begin{align}
\hat{p} = \frac{\alpha + x – 1}{\alpha + \beta + n – 2}
\end{align}
$$

問題14.13の解答例

「Ch.14 「ベイズ法」の章末問題の解答例 〜現代数理統計学(学術図書出版社)〜」への1件の返信

  1. […] 最尤法は観測値のみを元に推定を行うが、トピックによっては事前知識がわかっている場合や、サンプル数が少ない場合に最尤法が極端な結果を示す場合の補正にあたって、事前分布に基づくベイズ法は役に立つ。事前分布やMAP推定、予測分布が理解できるように演習を取り扱った。・現代数理統計学 Ch.14 「ベイズ法」の章末演習の解答例https://www.hello-statisticians.com/explain-books-cat/math_stat_practice_ch14.html […]

コメントは受け付けていません。