Ch.6 「カーネル法」の章末問題の解答例　パターン認識と機械学習 6.16〜6.27

当記事は「パターン認識と機械学習」の読解サポートにあたってChapter.$6$の「カーネル法」の章末問題の解説について行います。
基本的には書籍の購入者向けの解説なので、まだ入手されていない方は下記より入手をご検討ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。

・参考
パターン認識と機械学習 解答まとめ
https://www.hello-statisticians.com/answer_textbook#prml

解答まとめ

問題$6.16$

問題$6.17$

問題$6.18$

問題$6.19$

問題$6.20$

$$
\large
\begin{align}
\mathbf{\mu}_{a|b} &= (\mathbf{\mu}_{a} + \mathbf{\Sigma}_{ab}\mathbf{\Sigma}_{bb}^{-1}(\mathbf{x}_{b}-\mathbf{\mu}_{b})) \quad (2.81) \\
\mathbf{\mu}_{b|a} &= (\mathbf{\mu}_{b} + \mathbf{\Sigma}_{ba}\mathbf{\Sigma}_{aa}^{-1}(\mathbf{x}_{a}-\mathbf{\mu}_{a})) \quad (2.81)’ \\
\mathbf{\Sigma}_{a|b} &= \mathbf{\Sigma}_{aa}-\mathbf{\Sigma}_{ab}\mathbf{\Sigma}_{bb}^{-1}\mathbf{\Sigma}_{ba} \quad (2.82) \\
\mathbf{\Sigma}_{b|a} &= \mathbf{\Sigma}_{bb}-\mathbf{\Sigma}_{ba}\mathbf{\Sigma}_{aa}^{-1}\mathbf{\Sigma}_{ab} \quad (2.82)’
\end{align}
$$

$(2.81), (2.82)$式は上記のように表される。詳しい導出は「多次元正規分布における条件付き確率分布の数式の導出」で取り扱った。

多次元正規分布における条件付き確率分布の数式の導出を理解する

ここで同時分布の$p(\mathbf{t}_{N+1})$と共分散行列の$C_{N+1}$はそれぞれ下記のように表される。
$$
\large
\begin{align}
p(\mathbf{t}_{N+1}) &= \mathcal{N}(\mathbf{0}_{N+1},C_{N+1}) \quad (6.64)’ \\
C_{N+1} &= \left( \begin{array}{cc} C_{N} & \mathbf{k} \\ \mathbf{k}^{\mathrm{T}} & c \end{array} \right) \quad (6.65)
\end{align}
$$

上記に$(2.81)’$式を適用することで下記が得られる。
$$
\large
\begin{align}
m(\mathbf{x}_{N+1}) &= (0 + \mathbf{k}^{\mathrm{T}}C_{N}^{-1}(\mathbf{t}-\mathbf{0}_{N})) \\
&= \mathbf{k}^{\mathrm{T}}C_{N}^{-1}\mathbf{t} \quad (6.66)
\end{align}
$$

同様に$(2.82)’$式を適用することで下記が得られる。
$$
\large
\begin{align}
\sigma^2(\mathbf{x}_{N+1}) = c-\mathbf{k}^{\mathrm{T}}C_{N}^{-1}\mathbf{k} \quad (6.67)
\end{align}
$$

問題$6.21$

問題$6.22$

問題$6.23$

問題$6.24$

問題$6.25$

問題$6.26$

$$
\large
\begin{align}
p(a_{N+1}|\mathbf{t}_{N}) &= \int p(a_{N+1}|\mathbf{a}_{N})p(\mathbf{a}_{N}|\mathbf{t}_{N}) d \mathbf{a}_{N} \quad (6.77) \\
p(a_{N+1}|\mathbf{a}_{N}) &= \mathcal{N}(a_{N+1}|\mathbf{k}^{\mathrm{T}} C_{N}^{-1} \mathbf{a}_{N}, c-\mathbf{k}^{\mathrm{T}} C_{N}^{-1}\mathbf{k}) \quad (6.78)
\end{align}
$$

問題$6.27$