当記事は「数理統計学(共立出版)」の読解サポートにあたってChapter.$12$の「ベイズ推論」の章末問題の解答の作成を行いました。
基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。
・解答まとめ
https://www.hello-statisticians.com/answer_textbook_math_stat#green
章末の演習問題について
問題12.1の解答例
$X \sim \mathrm{Bin}(n,p)$より、$p$の共役事前分布にベータ分布$\mathrm{Be}(\alpha,\beta)$を考えることができる。$[1]$、$[3]$もベータ分布の特殊な例と見ることができるので、実質的には$[2]$で$[1]$、$[3]$も内包することができる。
よって確率変数$Y$が$Y \sim \mathrm{Be}(\alpha,\beta)$であるときの$E[Y]$を先に導出し、その結果をそれぞれの設問で適用する。$E[Y]$は下記のように計算できる。
$$
\large
\begin{align}
E[Y] &= \int_{0}^{1} y \times \frac{1}{B(\alpha,\beta)} y^{\alpha-1} (1-y)^{\beta^1} dy \\
&= \frac{1}{B(\alpha,\beta)} \int_{0}^{1} y^{(\alpha+1)-1} (1-y)^{\beta^1} dy \\
&= \frac{B(\alpha+1,\beta)}{B(\alpha,\beta)} \\
&= \frac{\Gamma(\alpha+1)\cancel{\Gamma(\beta)}}{\Gamma(\alpha+\beta+1)} \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\cancel{\Gamma(\beta)}} \\
&= \frac{\cancel{\Gamma(\alpha)}\alpha}{\cancel{\Gamma(\alpha+\beta)}(\alpha+\beta)} \frac{\cancel{\Gamma(\alpha+\beta)}}{\cancel{\Gamma(\alpha)}} \\
&= \frac{\alpha}{\alpha+\beta} \quad (1)
\end{align}
$$
$[1]$
ベータ分布$\mathrm{Be}(1,1)$は一様分布であるので、無情報事前分布と考えることができる。このとき$p$の事後分布を$P(p|x)$とおくと$P(p|x)$は下記のように考えることができる。
$$
\large
\begin{align}
P(p|x) & \propto P(x|p) P(p) \\
&= {}_{n} C_{x} p^{x}(1-p)^{n-x} \times \frac{1}{B(1,1)} p^{1-1}(1-p)^{1-1} \\
& \propto p^{(x+1)-1}(1-p)^{(n-x+1)-1}
\end{align}
$$
よって事後分布は$\mathrm{Be}(x+1,n-x+1)$であり、$p$のEAP推定量を$E[p|X]$とおくと$(1)$式より下記のように考えることができる。
$$
\large
\begin{align}
E[p|X] &= \frac{x+1}{(x+1)+(n-x+1)} \\
&= \frac{x+1}{n+2}
\end{align}
$$
$[2]$
$p$の事前分布にベータ分布$\mathrm{Be}(\alpha,\beta)$を考えるとき、事後分布$P(p|x)$は下記のように考えることができる。
$$
\large
\begin{align}
P(p|x) & \propto P(x|p) P(p) \\
&= {}_{n} C_{x} p^{x}(1-p)^{n-x} \times \frac{1}{B(\alpha,\beta)} p^{\alpha-1}(1-p)^{\beta-1} \\
& \propto p^{(x+\alpha)-1}(1-p)^{(n-x+\beta)-1}
\end{align}
$$
よって事後分布は$\mathrm{Be}(x+\alpha,n-x+\beta)$であり、$p$のEAP推定量を$E[p|X]$とおくと$(1)$式より下記のように考えることができる。
$$
\large
\begin{align}
E[p|X] &= \frac{x+\alpha}{(x+\alpha)+(n-x+\beta)} \\
&= \frac{x+\alpha}{n+\alpha+\beta}
\end{align}
$$
$[3]$
フィッシャー情報量$\displaystyle \sqrt{I(p)} = \sqrt{\frac{n}{p(1-p)}}$に比例するベータ分布$\displaystyle \mathrm{Be} \left( \frac{1}{2},\frac{1}{2} \right)$はジェフリーズの事前分布と考えられる。このとき$p$の事後分布を$P(p|x)$とおくと$P(p|x)$は下記のように考えることができる。
$$
\large
\begin{align}
P(p|x) & \propto P(x|p) P(p) \\
&= {}_{n} C_{x} p^{x}(1-p)^{n-x} \times \frac{1}{B \left( \frac{1}{2},\frac{1}{2} \right)} p^{\frac{1}{2}-1}(1-p)^{\frac{1}{2}-1} \\
& \propto p^{x+\frac{1}{2}-1}(1-p)^{n-x+\frac{1}{2}-1}
\end{align}
$$
よって事後分布は$\displaystyle \mathrm{Be} \left( x+\frac{1}{2},n-x+\frac{1}{2} \right)$であり、$p$のEAP推定量を$E[p|X]$とおくと$(1)$式より下記のように考えることができる。
$$
\large
\begin{align}
E[p|X] &= \frac{x+1/2}{(x+1/2)+(n-x+1/2)} \\
&= \frac{x+1/2}{n+1} \\
&= \frac{2x+1}{2(n+1)}
\end{align}
$$