Ch.2 「確率分布」の章末問題の解答例 〜パターン認識と機械学習〜

当記事は「パターン認識と機械学習」の読解サポートにあたってChapter.2の「確率分布」の章末問題の解説について行います。
※ 基本的には書籍の購入者向けの解説なので、まだ入手されていない方は下記より入手をご検討いただけたらと思います。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。(そのため著者の意図とは異なる解説となる可能性はあります)

章末の演習問題について

問題2.12

確率分布が正規化されているかどうかは全定義域で積分した際に1に一致するかを確かめれば良い。
$$
\begin{align}
U(x|a, b) = \frac{1}{b-a} \qquad a \leq x \leq b
\end{align}
$$
以下では上記に対し、$\displaystyle \int_{a}^{b} U(x|a, b) dx = 1$が成立することを確かめる。
$$
\begin{align}
\int_{a}^{b} U(x|a, b) dx &= \int_{a}^{b} \frac{1}{b-a} dx \\
&= \frac{1}{b-a} \left[ x \right]_{a}^{b} \\
&= \frac{1}{b-a} (b-a) \\
&= 1
\end{align}
$$
上記より、一様分布$U(x|a, b)$は正規化されていると考えることができる。

また、期待値$E[X]$と分散$V[X]$は下記のように表すことができる。
$$
\begin{align}
E[X] &= \int_{a}^{b} \frac{1}{b-a} x dx \\
&= \frac{1}{b-a} \left[ \frac{1}{2}x^2 \right]_{a}^{b} \\
&= \frac{1}{2(b-a)} (b^2-a^2) \\
&= \frac{(b+a)(b-a)}{2(b-a)} \\
&= \frac{(a+b)}{2} \\
V[X] &= \int_{a}^{b} \frac{1}{b-a} (x-E[X])^2 dx \\
&= \frac{1}{3(b-a)} \left[ (x-E[X])^3 \right]_{a}^{b} \\
&= \frac{1}{3(b-a)} ((b-E[X])^3-(a-E[X])^3) \\
&= \frac{1}{3(b-a)} ((b-E[X])-(a-E[X]))((a-E[X])^2 + (a-E[X])(b-E[X]) + (b-E[X])^2) \\
&= \frac{1}{3(b-a)} (b-a)\left( \left( a-\frac{(a+b)}{2} \right)^2 + \left( a-\frac{(a+b)}{2} \right)\left( b-\frac{(a+b)}{2} \right) + \left( b-\frac{(a+b)}{2} \right)^2\right) \\
&= \frac{1}{3} \left( \left(\frac{(a-b)}{2}\right)^2 + \left(\frac{(a-b)}{2}\right)\left(\frac{(b-a)}{2}\right) + \left(\frac{(b-a)}{2})^2\right) \right) \\
&= \frac{1}{3} \left( \left(\frac{(a-b)}{2}\right)^2 + \left(\frac{(a-b)}{2}\right)\left(\frac{(b-a)}{2}\right) + \left(\frac{(b-a)}{2})^2\right) \right) \\
&= \frac{(b-a)^2}{12}
\end{align}
$$

問題2.20

(2.48)式より、$D$次元の分散共分散行列の$\mathbf{\Sigma}$は下記のように表せる。
$$
\begin{align}
\mathbf{\Sigma} = \sum_{i=1}^{D} \lambda_{i} \mathbf{u}_{i} \mathbf{u}_{i}^{T}
\end{align}
$$
これを二次形式の$\mathbf{a}^{T}\mathbf{\Sigma}\mathbf{a}$に代入すると下記のようになる。
$$
\begin{align}
\mathbf{a}^{T}\mathbf{\Sigma}\mathbf{a} &= \mathbf{a}^{T} \left( \sum_{i=1}^{D} \lambda_{i} \mathbf{u}_{i} \mathbf{u}_{i}^{T} \right) \mathbf{a} \\
&= \lambda_{i} \sum_{i=1}^{D} \mathbf{a}^{T} \mathbf{u}_{i} \mathbf{u}_{i}^{T} \mathbf{a} \\
&= \lambda_{i} \sum_{i=1}^{D} (\mathbf{a}^{T} \mathbf{u}_{i})^2
\end{align}
$$
$\lambda_{i} \leq 0$の$\lambda_{i}$が存在する場合、$\mathbf{u}_i=1$かつ$\mathbf{u}_j=0 (j \neq i)$が成立するように$\mathbf{a}$を考えることで、二次形式の$\mathbf{a}^{T}\mathbf{\Sigma}\mathbf{a}$は0以下の値となる。よって、$\lambda_{i} > 0$は必要条件となる。

問題2.21

$D \times D$の対称行列を考えた際に、$(i,j)$成分と$(j,i)$成分が一致する。このことより、独立なパラメータの数は${}_D C_2$に一致するため、$\displaystyle \frac{D(D-1)}{2}$となる。

問題2.41

$$
\begin{align}
Gamma(\lambda|a,b) = \frac{b^a}{\Gamma(a)} \lambda^{a-1} e^{-b \lambda}
\end{align}
$$
上記のように定義されるガンマ分布に対して、$0 \leq \lambda \leq \infty$の区間で積分を行う。
$$
\begin{align}
\int_{0}^{\infty} Gamma(\lambda|a,b) d \lambda &= \frac{b^a}{\Gamma(a)} \int_{0}^{\infty} \lambda^{a-1} e^{-b \lambda} d \lambda
\end{align}
$$
上記において、$(1.141)$式を参考に$u = b \lambda$のように置き換えることを考える。このとき$d \lambda = b^{-1} du$のように置き換えることができる。
$$
\begin{align}
\int_{0}^{\infty} Gamma(\lambda|a,b) d \lambda &= \frac{b^a}{\Gamma(a)} \int_{0}^{\infty} \lambda^{a-1} e^{-b \lambda} d \lambda \\
&= \frac{b^a}{\Gamma(a)} \int_{0}^{\infty} \left(\frac{u}{b}\right)^{a-1} e^{-u} b^{-1} du \\
&= \frac{1}{\Gamma(a)} \int_{0}^{\infty} u^{a-1} e^{-u} du
\end{align}
$$
ガンマ関数の定義より、$\displaystyle \Gamma(a) = \int_{0}^{\infty} u^{a-1} e^{-u} du$が成立するので、$\displaystyle \int_{0}^{\infty} Gamma(\lambda|a,b) d \lambda=1$となり、これはガンマ分布が正規化されていることを表す。

問題2.42

期待値を$E[\lambda]$、分散を$V[\lambda]$とした際に、それぞれ下記のような数式で定義される。
$$
\begin{align}
E[\lambda] &= \int_{0}^{\infty} \lambda Gamma(\lambda|a,b) d \lambda \\
V[\lambda] &= \int_{0}^{\infty} (\lambda-E[\lambda])^2 Gamma(\lambda|a,b) d \lambda
\end{align}
$$
以下、それぞれの式について計算する。

期待値$E[\lambda]$は下記のように計算することができる。
$$
\begin{align}
E[\lambda] &= \int_{0}^{\infty} \lambda Gamma(\lambda|a,b) d \lambda \\
&= \frac{b^a}{\Gamma(a)} \int_{0}^{\infty} \lambda^{a} e^{-b \lambda} d \lambda \\
&= \frac{b^a}{\Gamma(a)} \left[ -\lambda^{a} b^{-1} e^{-b \lambda} \right]_{0}^{\infty} + \frac{b^a}{\Gamma(a)} \int_{0}^{\infty} a b^{-1} \lambda^{a-1} e^{-b \lambda} d \lambda \\
&= \frac{1}{\Gamma(a)} \Gamma(a) a b^{-1} \\
&= \frac{a}{b}
\end{align}
$$
途中の計算では問題2.41の結果を利用した。