Ch.9 「ベイズ決定」の章末問題の解答例 〜基礎統計学Ⅲ 自然科学の統計学(東京大学出版会)〜

当記事は「基礎統計学Ⅲ 自然科学の統計学(東京大学出版会)」の読解サポートにあたってChapter.$9$の「ベイズ決定」の章末問題の解説について行います。
基本的には書籍の購入者向けの解答例・解説なので、まだ入手されていない方は下記より入手をご検討ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。

章末の演習問題について

問題9.1の解答例

巻末の解答を確認したところ、つぼ$H_3$のSとFの比例が$2:1$ではなく、$1:2$で計算していると思われるので、以下では巻末の解答に合わせて$S:F=1:2$で計算を行う。

i)
$$
\large
\begin{align}
P(H_i|S) = \frac{P(H_i)P(S|H_i)}{P(S)}
\end{align}
$$
上記のベイズの定理の式に従って計算を行う。ここで$\displaystyle H_i = \frac{1}{3}, P(S) = \sum_{i=1}^{3} P(H_i)P(S|H_i)$より、$P(S)$の計算を行う。
$$
\large
\begin{align}
P(S) &= \sum_{i=1}^{3} P(H_i)P(S|H_i) \\
&= \frac{1}{3} \sum_{i=1}^{3} P(S|H_i) \\
&= \frac{1}{3} \left( \frac{3}{4} + \frac{1}{2} + \frac{1}{3} \right) \\
&= \frac{1}{3} \times \frac{9+6+4}{12} \\
&= \frac{19}{36}
\end{align}
$$

このとき、$P(H_1|S), P(H_2|S), P(H_3|S)$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
P(H_1|S) &= \frac{P(H_1)P(S|H_1)}{P(S)} \\
&= \frac{1}{3} \times \frac{3}{4} \times \frac{36}{19} \\
&= \frac{9}{19} \\
P(H_2|S) &= \frac{P(H_2)P(S|H_2)}{P(S)} \\
&= \frac{1}{3} \times \frac{1}{2} \times \frac{36}{19} \\
&= \frac{6}{19} \\
P(H_3|S) &= \frac{P(H_3)P(S|H_3)}{P(S)} \\
&= \frac{1}{3} \times \frac{1}{3} \times \frac{36}{19} \\
&= \frac{4}{19}
\end{align}
$$

ⅱ)
$$
\large
\begin{align}
P(H_i|S_1,S_2) = \frac{P(H_i|S_1)P(S_2|H_i,S_1)}{P(S_1,S_2)}
\end{align}
$$
上記のベイズの定理の式に従って計算を行う。ここで$\displaystyle P(S_1,S_2) = \sum_{i=1}^{3} P(H_i|S_1)P(S_2|H_i,S_1)$より、$P(S_1,S_2)$の計算を行う。
$$
\large
\begin{align}
P(S_1,S_2) &= \sum_{i=1}^{3} P(H_i|S_1)P(S_2|H_i,S_1) \\
&= \frac{9}{19} \times \frac{3}{4} + \frac{6}{19} \times \frac{1}{2} + \frac{6}{19} \times \frac{1}{3} \\
&= \frac{9 \times 3 \times 3 + 6 \times 6 + 4 \times 4}{19 \times 4 \times 3} = \frac{133}{228}
\end{align}
$$

このとき、$P(H_1|S_1,S_2), P(H_2|S_1,S_2), P(H_3|S_1,S_2)$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
P(H_1|S_1,S_2) &= \frac{P(H_1|S_1)P(S_2|H_1,S_1)}{P(S_1,S_2)} \\
&= \frac{9}{19} \times \frac{3}{4} \times \frac{228}{133} \\
&= \frac{81}{133} \\
P(H_2|S_1,S_2) &= \frac{P(H_2|S_1)P(S_2|H_2,S_1)}{P(S_1,S_2)} \\
&= \frac{6}{19} \times \frac{1}{2} \times \frac{228}{133} \\
&= \frac{36}{133} \\
P(H_3|S_1,S_2) &= \frac{P(H_3|S_1)P(S_2|H_3,S_1)}{P(S_1,S_2)} \\
&= \frac{4}{19} \times \frac{1}{3} \times \frac{228}{133} \\
&= \frac{16}{133}
\end{align}
$$

ⅲ)
$$
\large
\begin{align}
P(H_i|S_1,S_2) = \frac{P(H_i)P(S_1,S_2|H_i)}{P(S_1,S_2)}
\end{align}
$$
上記のベイズの定理の式に従って計算を行う。ここで$\displaystyle P(S_1,S_2) = \sum_{i=1}^{3} P(H_i)P(S_1,S_2|H_i)$より、$P(S_1,S_2)$の計算を行う。
$$
\large
\begin{align}
P(S_1,S_2) &= \sum_{i=1}^{3} P(H_i)P(S_1,S_2|H_i) \\
&= \frac{1}{3} \times \left( \frac{3}{4} \right)^2 + \frac{1}{3} \times \left( \frac{1}{2} \right)^2 + \frac{1}{3} \times \left( \frac{1}{3} \right)^2 \\
&= \frac{3^2 \times 3^2 + 4 \times 3^2 + 4^2}{3^3 \times 4^2} = \frac{133}{3^3 \times 4^2}
\end{align}
$$

このとき、$P(H_1|S_1,S_2), P(H_2|S_1,S_2), P(H_3|S_1,S_2)$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
P(H_1|S_1,S_2) &= \frac{P(H_1)P(S_1,S_2|H_1)}{P(S_1,S_2)} \\
&= \frac{1}{3} \times \left( \frac{3}{4} \right)^2 \times \frac{3^3 \times 4^2}{133} \\
&= \frac{81}{133} \\
P(H_2|S_1,S_2) &= \frac{P(H_2)P(S_1,S_2|H_2)}{P(S_1,S_2)} \\
&= \frac{1}{3} \times \left( \frac{1}{2} \right)^2 \times \frac{3^3 \times 4^2}{133} \\
&= \frac{36}{133} \\
P(H_3|S_1,S_2) &= \frac{P(H_3)P(S_1,S_2|H_3)}{P(S_1,S_2)} \\
&= \frac{1}{3} \times \left( \frac{1}{3} \right)^2 \times \frac{3^3 \times 4^2}{133} \\
&= \frac{16}{133}
\end{align}
$$

問題9.2の解答例

$P(S)=P(S_1,S_2)$は下記のように計算することができる。
$$
\large
\begin{align}
P(S) &= P(S_1,S_2) = \sum_{i=1}^{3} P(H_i|S_1)P(S_2|H_i,S_1) \\
&= \frac{9}{19} \times \frac{3}{4} + \frac{6}{19} \times \frac{1}{2} + \frac{6}{19} \times \frac{1}{3} \\
&= \frac{9 \times 3 \times 3 + 6 \times 6 + 4 \times 4}{19 \times 4 \times 3} = \frac{133}{228}
\end{align}
$$

また、同様に$P(F)=P(S_1,F_2)$は下記のように計算することができる。
$$
\large
\begin{align}
P(F) &= P(S_1,F_2) = \sum_{i=1}^{3} P(H_i|S_1)P(F_2|H_i,S_1) \\
&= \frac{9}{19} \times \frac{1}{4} + \frac{6}{19} \times \frac{1}{2} + \frac{6}{19} \times \frac{2}{3} \\
&= \frac{9 \times 3 + 6 \times 6 + 4 \times 2 \times 4}{19 \times 4 \times 3} = \frac{95}{228} = 1 – P(S_1,S_2)
\end{align}
$$

問題9.3の解答例

$5$回目の試行の後の$\theta$の事後確率分布が$Be(5,2)$であることから、$\theta$の期待値は下記のように計算できる。
$$
\large
\begin{align}
\int_{0}^{1} \theta \times \frac{1}{B(5,2)} \theta^{5-1} (1-\theta)^{2-1} dx &= \frac{(5+2-1)!}{(5-1)!(2-1)!} \int_{0}^{1} \theta^{5} (1-\theta) dx \\
&= 5 \times 6 \times \left[ \frac{1}{6}\theta^6 – \frac{1}{7}\theta^7 \right]_{0}^{1} \\
&= \frac{5 \times 6}{6 \times 7} = \frac{5}{7}
\end{align}
$$

問題9.4の解答例

https://www.hello-statisticians.com/explain-terms-cat/conjugate_dist1.html#i-6
上記の導出結果の事後分布$\displaystyle N \left( \frac{n \tau^2 \bar{x} + \sigma^2 \lambda}{n \tau^2 + \sigma^2} , \frac{\sigma^2 \tau^2}{n \tau^2 + \sigma^2} \right)$に対して値を代入することで結果を得ることができる。
$$
\large
\begin{align}
\frac{n \tau^2 \bar{x} + \sigma^2 \lambda}{n \tau^2 + \sigma^2} &= \frac{1 \times 1/2 \times 6.5 + 1/4 \times 5}{1 \times 1/2 + 1/4} \\
&= \frac{2 \times 6.5 + 5}{2 + 1} \\
&= 6 \\
\frac{\sigma^2 \tau^2}{n \tau^2 + \sigma^2} &= \frac{1/4 \times 1/2}{1 \times 1/2 + 1/4} \\
&= \frac{1}{4+2} \\
&= \frac{1}{6}
\end{align}
$$

巻末の解答とは平均の値が異なるが、巻末の解答はおそらく計算ミスだと思われた。

問題9.5の解答例

i)
事後確率$P(D|S=(1,1,0)), P(\bar{D}|S=(1,1,0))$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
P(D|S=(1,1,0)) &= \frac{P(D)P(S=(1,1,0)|D)}{P(S=(1,1,0))} \\
&= \frac{P(D)P(S=(1,1,0)|D)}{P(D)P(S=(1,1,0)|D) + P(\bar{D})P(S=(1,1,0)|\bar{D})} \\
&= \frac{P(D)P(S_1=1|D)P(S_2=1|D)P(S_3=0|D)}{P(D)P(S_1=1|D)P(S_2=1|D)P(S_3=0|D) + P(\bar{D})P(S_1=1|\bar{D})P(S_2=1|\bar{D})P(S_3=0|\bar{D})} \\
&= \frac{0.23 \times 0.1 \times 0.7 \times (1-0.6)}{0.23 \times 0.1 \times 0.7 \times (1-0.6) + 0.77 \times 0.8 \times 0.2 \times (1-0.5)} \\
&= 0.0946… \simeq 0.095 \\
P(\bar{D}|S=(1,1,0)) &= \frac{P(\bar{D})P(S_1=1|\bar{D})P(S_2=1|\bar{D})P(S_3=0|\bar{D})}{P(D)P(S_1=1|D)P(S_2=1|D)P(S_3=0|D) + P(\bar{D})P(S_1=1|\bar{D})P(S_2=1|\bar{D})P(S_3=0|\bar{D})} \\
&= \frac{0.77 \times 0.8 \times 0.2 \times (1-0.5)}{0.23 \times 0.1 \times 0.7 \times (1-0.6) + 0.77 \times 0.8 \times 0.2 \times (1-0.5)} \\
&= 0.9053… \simeq 0.905
\end{align}
$$

問題9.6の解答例

i)
晴天と雨天の事前確率がそれぞれ$\displaystyle \frac{1}{2}$のとき、損失の期待値が最小となるのは$a_2$であるので、$a_2$が最適な行動となる。また、事前確率を$p, 1-p$とおくときは、$a_1,a_2,a_3$それぞれの損失の期待値$E[L(a_1)],E[L(a_2)],E[L(a_3)]$は下記のように計算できる。
$$
\large
\begin{align}
E[L(a_1)] &= p \times 0 + (1-p) \times 5 \\
&= 5(1-p) \\
E[L(a_2)] &= p \times 1 + (1-p) \times 3 \\
&= p + 3(1-p) \\
E[L(a_3)] &= p \times 3 + (1-p) \times 2 \\
&= 3p + 2(1-p)
\end{align}
$$

以下、$E[L(a_1)] < E[L(a_2)], E[L(a_2)] < E[L(a_3)]$を$p$について解き、最適な行動を調べる。 ・$E[L(a_1)] < E[L(a_2)]$
$$
\large
\begin{align}
E[L(a_1)] &< E[L(a_2)] \\
5(1-p) &< p + 3(1-p) \\
2(1-p) &< p \\
2 &< 3p \\
p &> \frac{2}{3}
\end{align}
$$

・$E[L(a_2)] < E[L(a_3)]$
$$
\large
\begin{align}
E[L(a_2)] &< E[L(a_3)] \\
p + 3(1-p) &< 3p + 2(1-p) \\
1-p &< 2p \\
1 &< 3p \\
p &> \frac{1}{3}
\end{align}
$$

ここまでの議論により、$p$が$\displaystyle \left[ 0,\frac{1}{3} \right)$の時は$a_3$、$\displaystyle \left[ \frac{1}{3},\frac{2}{3} \right)$の時は$a_2$、$\displaystyle \left[ \frac{2}{3},1 \right]$の時は$a_1$がそれぞれ最適な行動となる。

ⅱ)
$$
\large
\begin{align}
P(\theta_1|z_i) &= \frac{P(\theta_1)P(z_i|\theta_1)}{P(z_i)} \\
&= \frac{P(\theta_1)P(z_i|\theta_1)}{P(\theta_1)P(z_i|\theta_1)+P(\theta_2)P(z_i|\theta_2)} \\
P(\theta_2|z_i) &= 1 – P(\theta_1|z_i)
\end{align}
$$
事後確率はベイズの定理や補集合の活用により、上記のように計算することができる。巻末の解答では事前確率に関して$\displaystyle P(\theta_1)=\frac{1}{2}, P(\theta_2)=\frac{1}{2}$を設定しているので、以下ではこの前提で計算を行う。

・$z_1$
$$
\large
\begin{align}
P(\theta_1|z_1) &= \frac{P(\theta_1)P(z_1|\theta_1)}{P(\theta_1)P(z_1|\theta_1)+P(\theta_2)P(z_1|\theta_2)} \\
&= \frac{0.5 \times 0.60}{0.5 \times 0.60 + 0.5 \times 0.20} = \frac{3}{4} \\
P(\theta_2|z_1) &= 1 – P(\theta_1|z_1) = \frac{1}{4}
\end{align}
$$

・$z_2$
$$
\large
\begin{align}
P(\theta_1|z_2) &= \frac{P(\theta_1)P(z_2|\theta_1)}{P(\theta_1)P(z_2|\theta_1)+P(\theta_2)P(z_2|\theta_2)} \\
&= \frac{0.5 \times 0.25}{0.5 \times 0.25 + 0.5 \times 0.30} = \frac{5}{11} \\
P(\theta_2|z_2) &= 1 – P(\theta_1|z_2) = \frac{6}{11}
\end{align}
$$

・$z_3$
$$
\large
\begin{align}
P(\theta_1|z_3) &= \frac{P(\theta_1)P(z_3|\theta_1)}{P(\theta_1)P(z_3|\theta_1)+P(\theta_2)P(z_3|\theta_2)} \\
&= \frac{0.5 \times 0.25}{0.5 \times 0.15 + 0.5 \times 0.50} = \frac{3}{13} \\
P(\theta_2|z_1) &= 1 – P(\theta_1|z_1) = \frac{10}{13}
\end{align}
$$

ⅲ)
i)の結果に基づき、$z_1$の時は$a_1$、$z_2$の時は$a_2$、$z_3$の時は$a_3$がそれぞれ最適な行動となる。

問題9.7の解答例

問題9.8の解答例

問題9.9の解答例

まとめ

Chapter.$9$の「ベイズ決定」の演習について取り扱いました。

https://www.amazon.co.jp/dp/4130420674