Ch.9 「ベイズ決定」の章末問題の解答例 〜基礎統計学Ⅲ 自然科学の統計学(東京大学出版会)〜

当記事は「基礎統計学Ⅲ 自然科学の統計学(東京大学出版会)」の読解サポートにあたってChapter.9の「ベイズ決定」の章末問題の解説について行います。
※ 基本的には書籍の購入者向けの解答例・解説なので、まだ入手されていない方は下記より入手をご検討いただけたらと思います。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。(そのため著者の意図とは異なる解説となる可能性はあります)

章末の演習問題について

問題9.1の解答例

巻末の解答を確認したところ、つぼ$H_3$のSとFの比例が$2:1$ではなく、$1:2$で計算していると思われるので、以下では巻末の解答に合わせて$S:F=1:2$で計算を行う。

i)
$$
\large
\begin{align}
P(H_i|S) = \frac{P(H_i)P(S|H_i)}{P(S)}
\end{align}
$$
上記のベイズの定理の式に従って計算を行う。ここで$\displaystyle H_i = \frac{1}{3}, P(S) = \sum_{i=1}^{3} P(H_i)P(S|H_i)$より、$P(S)$の計算を行う。
$$
\large
\begin{align}
P(S) &= \sum_{i=1}^{3} P(H_i)P(S|H_i) \\
&= \frac{1}{3} \sum_{i=1}^{3} P(S|H_i) \\
&= \frac{1}{3} \left( \frac{3}{4} + \frac{1}{2} + \frac{1}{3} \right) \\
&= \frac{1}{3} \times \frac{9+6+4}{12} \\
&= \frac{19}{36}
\end{align}
$$

このとき、$P(H_1|S), P(H_2|S), P(H_3|S)$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
P(H_1|S) &= \frac{P(H_1)P(S|H_1)}{P(S)} \\
&= \frac{1}{3} \times \frac{3}{4} \times \frac{36}{19} \\
&= \frac{9}{19} \\
P(H_2|S) &= \frac{P(H_2)P(S|H_2)}{P(S)} \\
&= \frac{1}{3} \times \frac{1}{2} \times \frac{36}{19} \\
&= \frac{6}{19} \\
P(H_3|S) &= \frac{P(H_3)P(S|H_3)}{P(S)} \\
&= \frac{1}{3} \times \frac{1}{3} \times \frac{36}{19} \\
&= \frac{4}{19}
\end{align}
$$

ⅱ)
$$
\large
\begin{align}
P(H_i|S_1,S_2) = \frac{P(H_i|S_1)P(S_2|H_i,S_1)}{P(S_1,S_2)}
\end{align}
$$
上記のベイズの定理の式に従って計算を行う。ここで$\displaystyle P(S_1,S_2) = \sum_{i=1}^{3} P(H_i|S_1)P(S_2|H_i,S_1)$より、$P(S_1,S_2)$の計算を行う。
$$
\large
\begin{align}
P(S_1,S_2) &= \sum_{i=1}^{3} P(H_i|S_1)P(S_2|H_i,S_1) \\
&= \frac{9}{19} \times \frac{3}{4} + \frac{6}{19} \times \frac{1}{2} + \frac{6}{19} \times \frac{1}{3} \\
&= \frac{9 \times 3 \times 3 + 6 \times 6 + 4 \times 4}{19 \times 4 \times 3} = \frac{133}{228}
\end{align}
$$

このとき、$P(H_1|S_1,S_2), P(H_2|S_1,S_2), P(H_3|S_1,S_2)$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
P(H_1|S_1,S_2) &= \frac{P(H_1|S_1)P(S_2|H_1,S_1)}{P(S_1,S_2)} \\
&= \frac{9}{19} \times \frac{3}{4} \times \frac{228}{133} \\
&= \frac{81}{133} \\
P(H_2|S_1,S_2) &= \frac{P(H_2|S_1)P(S_2|H_2,S_1)}{P(S_1,S_2)} \\
&= \frac{6}{19} \times \frac{1}{2} \times \frac{228}{133} \\
&= \frac{36}{133} \\
P(H_3|S_1,S_2) &= \frac{P(H_3|S_1)P(S_2|H_3,S_1)}{P(S_1,S_2)} \\
&= \frac{4}{19} \times \frac{1}{3} \times \frac{228}{133} \\
&= \frac{16}{133}
\end{align}
$$

ⅲ)
$$
\large
\begin{align}
P(H_i|S_1,S_2) = \frac{P(H_i)P(S_1,S_2|H_i)}{P(S_1,S_2)}
\end{align}
$$
上記のベイズの定理の式に従って計算を行う。ここで$\displaystyle P(S_1,S_2) = \sum_{i=1}^{3} P(H_i)P(S_1,S_2|H_i)$より、$P(S_1,S_2)$の計算を行う。
$$
\large
\begin{align}
P(S_1,S_2) &= \sum_{i=1}^{3} P(H_i)P(S_1,S_2|H_i) \\
&= \frac{1}{3} \times \left( \frac{3}{4} \right)^2 + \frac{1}{3} \times \left( \frac{1}{2} \right)^2 + \frac{1}{3} \times \left( \frac{1}{3} \right)^2 \\
&= \frac{3^2 \times 3^2 + 4 \times 3^2 + 4^2}{3^3 \times 4^2} = \frac{133}{3^3 \times 4^2}
\end{align}
$$

このとき、$P(H_1|S_1,S_2), P(H_2|S_1,S_2), P(H_3|S_1,S_2)$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
P(H_1|S_1,S_2) &= \frac{P(H_1)P(S_1,S_2|H_1)}{P(S_1,S_2)} \\
&= \frac{1}{3} \times \left( \frac{3}{4} \right)^2 \times \frac{3^3 \times 4^2}{133} \\
&= \frac{81}{133} \\
P(H_2|S_1,S_2) &= \frac{P(H_2)P(S_1,S_2|H_2)}{P(S_1,S_2)} \\
&= \frac{1}{3} \times \left( \frac{1}{2} \right)^2 \times \frac{3^3 \times 4^2}{133} \\
&= \frac{36}{133} \\
P(H_3|S_1,S_2) &= \frac{P(H_3)P(S_1,S_2|H_3)}{P(S_1,S_2)} \\
&= \frac{1}{3} \times \left( \frac{1}{3} \right)^2 \times \frac{3^3 \times 4^2}{133} \\
&= \frac{16}{133}
\end{align}
$$

問題9.2の解答例

$P(S)=P(S_1,S_2)$は下記のように計算することができる。
$$
\large
\begin{align}
P(S) &= P(S_1,S_2) = \sum_{i=1}^{3} P(H_i|S_1)P(S_2|H_i,S_1) \\
&= \frac{9}{19} \times \frac{3}{4} + \frac{6}{19} \times \frac{1}{2} + \frac{6}{19} \times \frac{1}{3} \\
&= \frac{9 \times 3 \times 3 + 6 \times 6 + 4 \times 4}{19 \times 4 \times 3} = \frac{133}{228}
\end{align}
$$

また、同様に$P(F)=P(S_1,F_2)$は下記のように計算することができる。
$$
\large
\begin{align}
P(F) &= P(S_1,F_2) = \sum_{i=1}^{3} P(H_i|S_1)P(F_2|H_i,S_1) \\
&= \frac{9}{19} \times \frac{1}{4} + \frac{6}{19} \times \frac{1}{2} + \frac{6}{19} \times \frac{2}{3} \\
&= \frac{9 \times 3 + 6 \times 6 + 4 \times 2 \times 4}{19 \times 4 \times 3} = \frac{95}{228} = 1 – P(S_1,S_2)
\end{align}
$$

問題9.3の解答例

$5$回目の試行の後の$\theta$の事後確率分布が$Be(5,2)$であることから、$\theta$の期待値は下記のように計算できる。
$$
\large
\begin{align}
\int_{0}^{1} \theta \times \frac{1}{B(5,2)} \theta^{5-1} (1-\theta)^{2-1} dx &= \frac{(5+2-1)!}{(5-1)!(2-1)!} \int_{0}^{1} \theta^{5} (1-\theta) dx \\
&= 5 \times 6 \times \left[ \frac{1}{6}\theta^6 – \frac{1}{7}\theta^7 \right]_{0}^{1} \\
&= \frac{5 \times 6}{6 \times 7} = \frac{5}{7}
\end{align}
$$

問題9.4の解答例

https://www.hello-statisticians.com/explain-terms-cat/conjugate_dist1.html#i-6
上記の導出結果の事後分布$\displaystyle N \left( \frac{n \tau^2 \bar{x} + \sigma^2 \lambda}{n \tau^2 + \sigma^2} , \frac{\sigma^2 \tau^2}{n \tau^2 + \sigma^2} \right)$に対して値を代入することで結果を得ることができる。
$$
\large
\begin{align}
\frac{n \tau^2 \bar{x} + \sigma^2 \lambda}{n \tau^2 + \sigma^2} &= \frac{1 \times 1/2 \times 6.5 + 1/4 \times 5}{1 \times 1/2 + 1/4} \\
&= \frac{2 \times 6.5 + 5}{2 + 1} \\
&= 6 \\
\frac{\sigma^2 \tau^2}{n \tau^2 + \sigma^2} &= \frac{1/4 \times 1/2}{1 \times 1/2 + 1/4} \\
&= \frac{1}{4+2} \\
&= \frac{1}{6}
\end{align}
$$

巻末の解答とは平均の値が異なるが、巻末の解答はおそらく計算ミスだと思われた。

問題9.5の解答例

i)
事後確率$P(D|S=(1,1,0)), P(\bar{D}|S=(1,1,0))$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
P(D|S=(1,1,0)) &= \frac{P(D)P(S=(1,1,0)|D)}{P(S=(1,1,0))} \\
&= \frac{P(D)P(S=(1,1,0)|D)}{P(D)P(S=(1,1,0)|D) + P(\bar{D})P(S=(1,1,0)|\bar{D})} \\
&= \frac{P(D)P(S_1=1|D)P(S_2=1|D)P(S_3=0|D)}{P(D)P(S_1=1|D)P(S_2=1|D)P(S_3=0|D) + P(\bar{D})P(S_1=1|\bar{D})P(S_2=1|\bar{D})P(S_3=0|\bar{D})} \\
&= \frac{0.23 \times 0.1 \times 0.7 \times (1-0.6)}{0.23 \times 0.1 \times 0.7 \times (1-0.6) + 0.77 \times 0.8 \times 0.2 \times (1-0.5)} \\
&= 0.0946… \simeq 0.095 \\
P(\bar{D}|S=(1,1,0)) &= \frac{P(\bar{D})P(S_1=1|\bar{D})P(S_2=1|\bar{D})P(S_3=0|\bar{D})}{P(D)P(S_1=1|D)P(S_2=1|D)P(S_3=0|D) + P(\bar{D})P(S_1=1|\bar{D})P(S_2=1|\bar{D})P(S_3=0|\bar{D})} \\
&= \frac{0.77 \times 0.8 \times 0.2 \times (1-0.5)}{0.23 \times 0.1 \times 0.7 \times (1-0.6) + 0.77 \times 0.8 \times 0.2 \times (1-0.5)} \\
&= 0.9053… \simeq 0.905
\end{align}
$$

問題9.6の解答例

i)
晴天と雨天の事前確率がそれぞれ$\displaystyle \frac{1}{2}$のとき、損失の期待値が最小となるのは$a_2$であるので、$a_2$が最適な行動となる。また、事前確率を$p, 1-p$とおくときは、$a_1,a_2,a_3$それぞれの損失の期待値$E[L(a_1)],E[L(a_2)],E[L(a_3)]$は下記のように計算できる。
$$
\large
\begin{align}
E[L(a_1)] &= p \times 0 + (1-p) \times 5 \\
&= 5(1-p) \\
E[L(a_2)] &= p \times 1 + (1-p) \times 3 \\
&= p + 3(1-p) \\
E[L(a_3)] &= p \times 3 + (1-p) \times 2 \\
&= 3p + 2(1-p)
\end{align}
$$

以下、$E[L(a_1)] < E[L(a_2)], E[L(a_2)] < E[L(a_3)]$を$p$について解き、最適な行動を調べる。 ・$E[L(a_1)] < E[L(a_2)]$
$$
\large
\begin{align}
E[L(a_1)] &< E[L(a_2)] \\
5(1-p) &< p + 3(1-p) \\
2(1-p) &< p \\
2 &< 3p \\
p &> \frac{2}{3}
\end{align}
$$

・$E[L(a_2)] < E[L(a_3)]$
$$
\large
\begin{align}
E[L(a_2)] &< E[L(a_3)] \\
p + 3(1-p) &< 3p + 2(1-p) \\
1-p &< 2p \\
1 &< 3p \\
p &> \frac{1}{3}
\end{align}
$$

ここまでの議論により、$p$が$\displaystyle \left[ 0,\frac{1}{3} \right)$の時は$a_3$、$\displaystyle \left[ \frac{1}{3},\frac{2}{3} \right)$の時は$a_2$、$\displaystyle \left[ \frac{2}{3},1 \right]$の時は$a_1$がそれぞれ最適な行動となる。

ⅱ)
$$
\large
\begin{align}
P(\theta_1|z_i) &= \frac{P(\theta_1)P(z_i|\theta_1)}{P(z_i)} \\
&= \frac{P(\theta_1)P(z_i|\theta_1)}{P(\theta_1)P(z_i|\theta_1)+P(\theta_2)P(z_i|\theta_2)} \\
P(\theta_2|z_i) &= 1 – P(\theta_1|z_i)
\end{align}
$$
事後確率はベイズの定理や補集合の活用により、上記のように計算することができる。巻末の解答では事前確率に関して$\displaystyle P(\theta_1)=\frac{1}{2}, P(\theta_2)=\frac{1}{2}$を設定しているので、以下ではこの前提で計算を行う。

・$z_1$
$$
\large
\begin{align}
P(\theta_1|z_1) &= \frac{P(\theta_1)P(z_1|\theta_1)}{P(\theta_1)P(z_1|\theta_1)+P(\theta_2)P(z_1|\theta_2)} \\
&= \frac{0.5 \times 0.60}{0.5 \times 0.60 + 0.5 \times 0.20} = \frac{3}{4} \\
P(\theta_2|z_1) &= 1 – P(\theta_1|z_1) = \frac{1}{4}
\end{align}
$$

・$z_2$
$$
\large
\begin{align}
P(\theta_1|z_2) &= \frac{P(\theta_1)P(z_2|\theta_1)}{P(\theta_1)P(z_2|\theta_1)+P(\theta_2)P(z_2|\theta_2)} \\
&= \frac{0.5 \times 0.25}{0.5 \times 0.25 + 0.5 \times 0.30} = \frac{5}{11} \\
P(\theta_2|z_2) &= 1 – P(\theta_1|z_2) = \frac{6}{11}
\end{align}
$$

・$z_3$
$$
\large
\begin{align}
P(\theta_1|z_3) &= \frac{P(\theta_1)P(z_3|\theta_1)}{P(\theta_1)P(z_3|\theta_1)+P(\theta_2)P(z_3|\theta_2)} \\
&= \frac{0.5 \times 0.25}{0.5 \times 0.15 + 0.5 \times 0.50} = \frac{3}{13} \\
P(\theta_2|z_1) &= 1 – P(\theta_1|z_1) = \frac{10}{13}
\end{align}
$$

ⅲ)
i)の結果に基づき、$z_1$の時は$a_1$、$z_2$の時は$a_2$、$z_3$の時は$a_3$がそれぞれ最適な行動となる。

問題9.7の解答例

問題9.8の解答例

問題9.9の解答例

まとめ

Chapter.9の「ベイズ決定」の演習について取り扱いました。

https://www.amazon.co.jp/dp/4130420674