Ch.11 「サンプリング法」の章末問題の解答例 パターン認識と機械学習 11.1〜11.17

当記事は「パターン認識と機械学習」の読解サポートにあたってChapter.$11$の「サンプリング法」の章末問題の解説について行います。

基本的には書籍の購入者向けの解説なので、まだ入手されていない方は下記より入手をご検討ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。

・参考
パターン認識と機械学習 解答まとめ
https://www.hello-statisticians.com/answer_textbook#prml

問題$11.1$

問題$11.2$

下記で詳しく取り扱った。

問題$11.3$

$$
\large
\begin{align}
p(y) = \frac{1}{\pi} \frac{1}{1+y^2} \quad (11.8)
\end{align}
$$

上記で表した確率密度関数$p(y)$に関して累積分布関数$\displaystyle h(y) = \int_{-\infty}^{y} p(x) dx$を定める。このとき$h(y)$は下記のように表せる。
$$
\large
\begin{align}
h(y) &= \int_{-\infty}^{y} p(x) dx \\
&= \int_{-\infty}^{y} \frac{1}{\pi} \frac{1}{1+x^2} dx \\
&= \frac{1}{\pi} \int_{-\infty}^{y} \frac{1}{1+x^2} dx \quad (1)
\end{align}
$$

このとき上記に対し、$x=\tan{\theta}$のように変数変換することを考える。このとき下記が成立する。
$$
\large
\begin{align}
\frac{1}{1+x^2} &= \frac{1}{1+\tan^2{\theta}} \\
&= \frac{\cos^2{\theta}}{\cos^2{\theta}+\sin^2{\theta}} = \cos^2{\theta} \\
\frac{dx}{d \theta} &= \frac{1}{\cos^2{\theta}}
\end{align}
$$

また、$-\infty < x \leq y$には$\displaystyle -\frac{\pi}{2} < \theta \leq \tan^{-1}{y}$が対応する。よって、$(1)$式は下記のように計算できる。
$$
\large
\begin{align}
h(y) &= \frac{1}{\pi} \int_{-\infty}^{y} \frac{1}{1+x^2} dx \quad (1) \\
&= \frac{1}{\pi} \int_{-\frac{\pi}{2}}^{\tan^{-1}{y}} \cos^2{\theta} \frac{1}{\cos^2{\theta}} d \theta \\
&= \frac{1}{\pi} \left[ \theta \right]_{-\frac{\pi}{2}}^{\tan^{-1}{y}} \\
&= \frac{1}{\pi} \left[ \tan^{-1}{y} – \left( -\frac{\pi}{2} \right) \right] \\
&= \frac{1}{\pi}\tan^{-1}{y} + \frac{1}{2} \quad (2)
\end{align}
$$

ここで$z=h(y)$のようにおくと、$y=h^{-1}(z)$を計算することでコーシー分布に基づく乱数の生成を行える。$(2)$式を元に$y=f(z)=h^{-1}(z)$は下記のように導出できる。
$$
\large
\begin{align}
z &= h(y) = \frac{1}{\pi}\tan^{-1}{y} + \frac{1}{2} \quad (2) \\
\tan^{-1}{y} &= \left( z – \frac{1}{2} \right) \pi \\
y &= \tan{ \left[ \left( z – \frac{1}{2} \right) \pi \right] } = f(z)
\end{align}
$$

下記でも同様の導出を取り扱った。

問題$11.4$

問題$11.5$

$\mathbf{z} \sim \mathcal{N}(0,1)$であるので、$\mathbf{y} = \boldsymbol{\mu} + \mathbf{L}\mathbf{z}$も正規分布に従う。このことは確率密度関数を考えることで示せる。よって、以下は$\mathbb{E}[\mathbf{y}]$と$\mathrm{cov}[\mathbf{y}]$を計算する。
$$
\large
\begin{align}
\mathbb{E}[\mathbf{y}] &= \mathbb{E}[\boldsymbol{\mu} + \mathbf{L}\mathbf{z}] \\
&= \boldsymbol{\mu} + \mathbf{L} \mathbb{E}[\mathbf{z}] \\
&= \boldsymbol{\mu} + \mathbf{L} \mathbf{0} = \boldsymbol{\mu} \\
\mathrm{cov}[\mathbf{y}] &= \mathbb{E} \left[ \mathbf{y}\mathbf{y}^{\mathrm{T}} \right] – \mathbb{E}[\mathbf{y}]\mathbb{E}[\mathbf{y}]^{\mathrm{T}} \\
&= \mathbb{E} \left[ (\boldsymbol{\mu} + \mathbf{L}\mathbf{z})(\boldsymbol{\mu} + \mathbf{L}\mathbf{z})^{\mathrm{T}} \right] – \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}} \\
&= \mathbb{E} \left[ \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}} + 2 \boldsymbol{\mu}^{\mathrm{T}}\mathbf{L}\mathbf{z} + (\mathbf{L}\mathbf{z})(\mathbf{L}\mathbf{z})^{\mathrm{T}} \right] – \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}} \\
&= \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}} – \boldsymbol{\mu}\boldsymbol{\mu}^{\mathrm{T}} + \mathbb{E} \left[ (\mathbf{L}\mathbf{z})(\mathbf{L}\mathbf{z})^{\mathrm{T}} \right] \\
&= \mathbb{E} \left[ (\mathbf{L}\mathbf{z})(\mathbf{L}\mathbf{z})^{\mathrm{T}} \right] \\
&= \mathbf{L} \mathbb{E} \left[ \mathbf{z} \mathbf{z}^{\mathrm{T}} \right] \mathbf{L}^{\mathrm{T}} \\
&= \mathbf{L} \mathbf{L}^{\mathrm{T}} = \mathbf{\Sigma}
\end{align}
$$

よって$\mathbf{y} \sim \mathcal{N}(\boldsymbol{\mu},\mathbf{\Sigma})$が示される。

「Ch.11 「サンプリング法」の章末問題の解答例 パターン認識と機械学習 11.1〜11.17」への1件の返信

コメントは受け付けていません。