多次元正規分布における周辺分布(Marginal distribution)の数式の導出を理解する

多次元正規分布の周辺分布(Marginal distribution)の導出を取り扱います。「パターン認識と機械学習(PRML)」の上巻の$2.3.2$節を参考に取りまとめを行いました。
積分消去やシューア補行列を用いた逆行列の取り扱いなど計算がかなり複雑なのでなるべく計算の詳細が確認できるように所々追記を行いました。なお、$2$次元正規分布における周辺分布の取り扱いに関しては下記でまとめましたのでこちらも合わせてご確認ください。
https://www.hello-statisticians.com/explain-terms-cat/multi_norm_dist3.html

また、$(\mathrm{o.xx})$の形式の式番号は「パターン認識と機械学習」の式番号に対応させました。

前提の確認

問題設定

$$
\large
\begin{align}
N(\mathbf{x}|\mathbf{\mu}, \mathbf{\Sigma}) = \frac{1}{(2 \pi)^{D/2}} \frac{1}{|\Sigma|^{1/2}} \exp \left( -\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu}) \right) \quad (1)
\end{align}
$$

$(1)$式の$\mathbf{x}, \mathbf{\mu}, \mathbf{\Sigma}$に関して下記のような分割を考える。
$$
\large
\begin{align}
\mathbf{x} &= \left(\begin{array}{c} \mathbf{x}_{a} \\ \mathbf{x}_{b} \end{array} \right) \\
\mathbf{\mu} &= \left(\begin{array}{c} \mathbf{\mu}_{a} \\ \mathbf{\mu}_{b} \end{array} \right) \\
\mathbf{\Sigma} &= \left(\begin{array}{c} \Sigma_{aa} & \Sigma_{ab} \\ \Sigma_{ba} & \Sigma_{bb} \end{array} \right)
\end{align}
$$

上記のように$\mathbf{x}, \mathbf{\mu}, \mathbf{\Sigma}$の分割を考えた際に、周辺分布$\displaystyle p(\mathbf{x}_{a}) = \int p(\mathbf{x}_{a},\mathbf{x}_{b}) d \mathbf{x}_{b}$の期待値$\mathbb{E}[\mathbf{x}_{a}]$と共分散行列$\mathrm{cov}[\mathbf{x}_{a}]$を求め、$p(\mathbf{x}_{a}) = \mathcal{N}(\mathbb{E}[\mathbf{x}_{a}],\mathrm{cov}[\mathbf{x}_{a}])$のように表すことがここでの目標である。

精度行列の定義と共分散行列との対応

共分散行列の逆行列を取り扱うにあたって下記のように精度行列が定義される。
$$
\large
\begin{align}
\mathbf{\Lambda} &= \mathbf{\Sigma}^{-1}
\end{align}
$$

このとき共分散行列と精度行列の部分行列の対応は下記のように表される。
$$
\large
\begin{align}
\left(\begin{array}{cc} \Sigma_{aa} & \Sigma_{ab} \\ \Sigma_{ba} & \Sigma_{bb} \end{array} \right)^{-1} = \left(\begin{array}{cc} \Lambda_{aa} & \Lambda_{ab} \\ \Lambda_{ba} & \Lambda_{bb} \end{array} \right)
\end{align}
$$

「シューア補行列に基づく逆行列の公式」で詳しく取り扱ったが、上記のように表した$\Lambda_{aa}, \Lambda_{ab}, \Lambda_{bb}$は下記のように$\Sigma_{aa}, \Sigma_{ab}, \Sigma_{bb}$と対応する。
$$
\large
\begin{align}
M &= (A – B D^{-1} C)^{-1} \\
&= (\Sigma_{aa} – \Sigma_{ab} \Sigma_{bb}^{-1} \Sigma_{ba})^{-1} \\
\Lambda_{aa} &= M = (\Sigma_{aa} – \Sigma_{ab} \Sigma_{bb}^{-1} \Sigma_{ba})^{-1} \\
\Lambda_{ab} &= -MBD \\
&= (\Sigma_{aa} – \Sigma_{ab} \Sigma_{bb}^{-1} \Sigma_{ba})^{-1} \Sigma_{ab} \Sigma_{bb} \\
\Lambda_{bb} &= D^{-1}+D^{-1}CMBD \\
&= \Sigma_{bb}^{-1} + \Sigma_{bb}^{-1}(\Sigma_{aa} – \Sigma_{ab} \Sigma_{bb}^{-1} \Sigma_{ba})^{-1} \Sigma_{ab} \Sigma_{bb}
\end{align}
$$

ここで上記の$M$をシューア補行列という。シューア補行列の詳細に関しては下記で詳しく取り扱った。

・シューア補行列
https://www.hello-statisticians.com/explain-terms-cat/schur_complement_mat1.html

また、$\mathbf{\Sigma} = \mathbf{\Lambda}^{-1}$であることを元に$\Sigma_{aa}, \Sigma_{ab}, \Sigma_{bb}$は$\Lambda_{aa}, \Lambda_{ab}, \Lambda_{bb}$を用いて下記のように表せる。
$$
\large
\begin{align}
\Sigma_{aa} &= (\Lambda_{aa} – \Lambda_{ab} \Lambda_{bb}^{-1} \Lambda_{ba})^{-1} \\
\Sigma_{ab} &= (\Lambda_{aa} – \Lambda_{ab} \Lambda_{bb}^{-1} \Lambda_{ba})^{-1} \Lambda_{ab} \Lambda_{bb} \\
\Sigma_{bb} &= \Lambda_{bb}^{-1} + \Lambda_{bb}^{-1}(\Lambda_{aa} – \Lambda_{ab} \Lambda_{bb}^{-1} \Lambda_{ba})^{-1} \Lambda_{ab} \Lambda_{bb}
\end{align}
$$

平方完成

$\displaystyle – \frac{1}{2} \Delta^2 = -\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu}) = -\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \mathbf{\Lambda}(\mathbf{x}-\mathbf{\mu})$は$\mathbf{x}$を変数と見るとき下記のように展開できる。
$$
\large
\begin{align}
– \frac{1}{2} \Delta^2 &= -\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu}) \\
&= -\frac{1}{2} \mathbf{x}^{\mathrm{T}} \mathbf{\Sigma}^{-1} \mathbf{x} + \mathbf{x}^{\mathrm{T}} \mathbf{\Sigma}^{-1} \mathbf{\mu} + \mathrm{Const.} \quad (2.71) \\
&= -\frac{1}{2} \left( \mathbf{x}^{\mathrm{T}} \mathbf{\Lambda} \mathbf{x} – 2 \mathbf{x}^{\mathrm{T}} \mathbf{\Lambda} \mathbf{\mu} + \mathbf{\mu}^{\mathrm{T}} \mathbf{\Lambda} \mathbf{\mu} \right) \quad (2.71)’
\end{align}
$$

上記で表した$(2.71)$式を元に$\mathbf{x}$に関して平方完成を行うことができる。周辺分布の導出では平方完成を$2$度行う必要があるので式の対応を抑えておくことが重要である。

・参考
二次形式の平方完成の計算の流れ
https://www.hello-statisticians.com/explain-terms-cat/completing_the_square1.html

周辺分布の導出

$\mathbf{x}_{b}$の積分消去

$$
\large
\begin{align}
p(\mathbf{x}_{a}) = \int p(\mathbf{x}_{a},\mathbf{x}_{b}) d \mathbf{x}_{b} \quad (2.83)
\end{align}
$$

「パターン認識と機械学習」の$(2.83)$式から$p(\mathbf{x}_{a})$を導出するにあたっては確率密度関数の$\exp$の中身を$\mathbf{x}_{b}$に関して平方完成し、残りの項を積分の外に書き出し、$\mathbf{x}_{a}$に関して平方完成を行えばよい。

$p(\mathbf{x})=p(\mathbf{x}_{a},\mathbf{x}_{b})$は下記のように表される。
$$
\large
\begin{align}
p(\mathbf{x}) &= p(\mathbf{x}_{a},\mathbf{x}_{b}) \\
&= \frac{1}{(2 \pi)^{D/2}} \frac{1}{|\Sigma|^{1/2}} \exp \left[ -\frac{1}{2}\left(\begin{array}{cc} (\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}} & (\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}} \end{array} \right) \left(\begin{array}{c} \Sigma_{aa} & \Sigma_{ab} \\ \Sigma_{ba} & \Sigma_{bb} \end{array} \right)^{-1} \left(\begin{array}{c} \mathbf{x}_{a}-\mathbf{\mu}_{a} \\ \mathbf{x}_{b}-\mathbf{\mu}_{b} \end{array} \right) \right] \\
&= \frac{1}{(2 \pi)^{D/2}} \frac{1}{|\Sigma|^{1/2}} \exp \left[ -\frac{1}{2}\left(\begin{array}{cc} (\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}} & (\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}} \end{array} \right) \left(\begin{array}{cc} \Lambda_{aa} & \Lambda_{ab} \\ \Lambda_{ba} & \Lambda_{bb} \end{array} \right) \left(\begin{array}{c} \mathbf{x}_{a}-\mathbf{\mu}_{a} \\ \mathbf{x}_{b}-\mathbf{\mu}_{b} \end{array} \right) \right]
\end{align}
$$

上記の$\exp$の中の式を$\displaystyle – \frac{1}{2} \Delta^2$とおくと、$\displaystyle – \frac{1}{2} \Delta^2$は下記のように変形できる。
$$
\large
\begin{align}
– \frac{1}{2} \Delta^2 &= -\frac{1}{2}\left(\begin{array}{cc} (\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}} & (\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}} \end{array} \right) \left(\begin{array}{cc} \Lambda_{aa} & \Lambda_{ab} \\ \Lambda_{ba} & \Lambda_{bb} \end{array} \right) \left(\begin{array}{c} \mathbf{x}_{a}-\mathbf{\mu}_{a} \\ \mathbf{x}_{b}-\mathbf{\mu}_{b} \end{array} \right) \\
&= -\frac{1}{2} \left(\begin{array}{cc} (\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}} & (\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}} \end{array} \right) \left(\begin{array}{c} \Lambda_{aa}(\mathbf{x}_{a}-\mathbf{\mu}_{a})+\Lambda_{ab}(\mathbf{x}_{b}-\mathbf{\mu}_{b}) \\ \Lambda_{ba}(\mathbf{x}_{a}-\mathbf{\mu}_{a})+\Lambda_{bb}(\mathbf{x}_{b}-\mathbf{\mu}_{b}) \end{array} \right) \\
&= -\frac{1}{2} \left[ (\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}}\Lambda_{aa}(\mathbf{x}_{a}-\mathbf{\mu}_{a}) + 2(\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}}\Lambda_{ab}(\mathbf{x}_{b}-\mathbf{\mu}_{b}) + (\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}}\Lambda_{bb}(\mathbf{x}_{b}-\mathbf{\mu}_{b}) \right] \quad (2)
\end{align}
$$

上記の計算にあたって$(\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}}\Lambda_{ab}(\mathbf{x}_{b}-\mathbf{\mu}_{b}) = (\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}}\Lambda_{ba}(\mathbf{x}_{a}-\mathbf{\mu}_{a})$を用いたが、これは下記より導出できる。
$$
\large
\begin{align}
(\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}}\Lambda_{ab}(\mathbf{x}_{b}-\mathbf{\mu}_{b}) &= ((\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}}\Lambda_{ab}(\mathbf{x}_{b}-\mathbf{\mu}_{b}))^{\mathrm{T}} \\
&= (\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}}\Lambda_{ab}^{\mathrm{T}}(\mathbf{x}_{a}-\mathbf{\mu}_{a}) \\
&= (\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}}\Lambda_{ba}(\mathbf{x}_{a}-\mathbf{\mu}_{a})
\end{align}
$$

上記では$\Lambda_{ab}^{\mathrm{T}}=\Lambda_{ba}$であることを用いたが、これは精度行列が対称行列であることに基づく。なお、精度行列が対称行列であることは共分散行列が対称行列であることから「パターン認識と機械学習 演習$2.22$」の導出などに基づき示すことができる。

ここで$(2)$式は$\mathbf{x}_{b}$に着目して下記のように変形を行える。
$$
\large
\begin{align}
– \frac{1}{2} \Delta^2 &= -\frac{1}{2} \left[ (\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}}\Lambda_{aa}(\mathbf{x}_{a}-\mathbf{\mu}_{a}) + 2(\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}}\Lambda_{ab}(\mathbf{x}_{b}-\mathbf{\mu}_{b}) + (\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}}\Lambda_{bb}(\mathbf{x}_{b}-\mathbf{\mu}_{b}) \right] \quad (2) \\
&= -\frac{1}{2} \left[ (\mathbf{x}_{a}-\mathbf{\mu}_{a})^{\mathrm{T}}\Lambda_{aa}(\mathbf{x}_{a}-\mathbf{\mu}_{a}) + 2(\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}}\Lambda_{ba}(\mathbf{x}_{a}-\mathbf{\mu}_{a}) + (\mathbf{x}_{b}-\mathbf{\mu}_{b})^{\mathrm{T}}\Lambda_{bb}(\mathbf{x}_{b}-\mathbf{\mu}_{b}) \right] \\
&= -\frac{1}{2} \left[ \mathbf{x}_{b}^{\mathrm{T}}\Lambda_{bb}\mathbf{x}_{b} + \mathbf{x}_{b}^{\mathrm{T}} \left( – 2 \Lambda_{bb} \mathbf{\mu}_{b} + 2 \Lambda_{ba} (\mathbf{x}_{a}-\mathbf{\mu}_{a}) \right) \right] + \mathrm{Const.} \\
&= -\frac{1}{2} \left[ \mathbf{x}_{b}^{\mathrm{T}}\Lambda_{bb}\mathbf{x}_{b} – 2 \mathbf{x}_{b}^{\mathrm{T}} \left( \Lambda_{bb} \mathbf{\mu}_{b} – \Lambda_{ba} (\mathbf{x}_{a}-\mathbf{\mu}_{a}) \right) \right] + \mathrm{Const.} \\
&= -\frac{1}{2} \left( \mathbf{x}_{b}^{\mathrm{T}}\Lambda_{bb}\mathbf{x}_{b} – 2 \mathbf{x}_{b}^{\mathrm{T}} \mathbf{m} \right) + \mathrm{Const.} \quad (3) \\
\mathbf{m} &= \Lambda_{bb} \mathbf{\mu}_{b} – \Lambda_{ba} (\mathbf{x}_{a}-\mathbf{\mu}_{a}) \quad (2.85)
\end{align}
$$

ここで$(3)$式と$(2.71)’$式の対応を考えることにより、$(3)$式の$\mathbf{x}_{b}$に関する項は下記のように変形できる。
$$
\large
\begin{align}
-\frac{1}{2} \left( \mathbf{x}_{b}^{\mathrm{T}}\Lambda_{bb}\mathbf{x}_{b} – 2 \mathbf{x}_{b}^{\mathrm{T}} \mathbf{m} \right) &= -\frac{1}{2} \left( \mathbf{x}_{b}^{\mathrm{T}}\Lambda_{bb}\mathbf{x}_{b} – 2 \mathbf{x}_{b}^{\mathrm{T}} \mathbf{m} + \mathbf{m}^{\mathrm{T}}\Lambda_{bb}^{-1}\mathbf{m} – \mathbf{m}^{\mathrm{T}}\Lambda_{bb}^{-1}\mathbf{m} \right) \\
&= -\frac{1}{2} \left( \mathbf{x}_{b}^{\mathrm{T}}\Lambda_{bb}\mathbf{x}_{b} – 2 \mathbf{x}_{b}^{\mathrm{T}} \Lambda_{bb} \Lambda_{bb}^{-1} \mathbf{m} + \mathbf{m}^{\mathrm{T}}\Lambda_{bb}^{-1}\Lambda_{bb} \Lambda_{bb}^{-1}\mathbf{m} \right) + \frac{1}{2} \mathbf{m}^{\mathrm{T}}\Lambda_{bb}^{-1}\mathbf{m} \\
&= -\frac{1}{2} \left( \mathbf{x}_{b}^{\mathrm{T}}\Lambda_{bb}\mathbf{x}_{b} – 2 \mathbf{x}_{b}^{\mathrm{T}} \Lambda_{bb} (\Lambda_{bb}^{-1} \mathbf{m}) + \mathbf{m}^{\mathrm{T}}(\Lambda_{bb}^{-1})^{\mathrm{T}}\Lambda_{bb}\Lambda_{bb}^{-1} \mathbf{m} \right) + \frac{1}{2} \mathbf{m}^{\mathrm{T}}\Lambda_{bb}^{-1}\mathbf{m} \\
&= -\frac{1}{2} \left( \mathbf{x}_{b}^{\mathrm{T}}\Lambda_{bb}\mathbf{x}_{b} – 2 \mathbf{x}_{b}^{\mathrm{T}} \Lambda_{bb} (\Lambda_{bb}^{-1} \mathbf{m}) + (\Lambda_{bb}^{-1}\mathbf{m})^{\mathrm{T}}\Lambda_{bb}(\Lambda_{bb}^{-1} \mathbf{m}) \right) + \frac{1}{2} \mathbf{m}^{\mathrm{T}}\Lambda_{bb}^{-1}\mathbf{m} \\
&= -\frac{1}{2}(\mathbf{x}_{b}-\Lambda_{bb}^{-1}\mathbf{m})^{\mathrm{T}} \Lambda_{bb} (\mathbf{x}_{b}-\Lambda_{bb}^{-1}\mathbf{m}) + \frac{1}{2} \mathbf{m}^{\mathrm{T}}\Lambda_{bb}^{-1}\mathbf{m} \quad (4)
\end{align}
$$

よって、$(2.83)$式は$(4)$式を用いて$\mathbf{x}_{b}$について平方完成したのちに残りの項を積分の外に出し、$\mathbf{x}_{a}$に着目することで下記のように変形できる。
$$
\large
\begin{align}
p(\mathbf{x}_{a}) &= \int p(\mathbf{x}_{a},\mathbf{x}_{b}) d \mathbf{x}_{b} \quad (2.83) \\
&= \int -\frac{1}{2} (\mathbf{x}_{b}-\Lambda_{bb}^{-1}\mathbf{m})^{\mathrm{T}} \Lambda_{bb} (\mathbf{x}_{b}-\Lambda_{bb}^{-1}\mathbf{m}) d \mathbf{x}_{b} \\
& \qquad \times \exp \left[ \frac{1}{2} \mathbf{m}^{\mathrm{T}}\Lambda_{bb}^{-1}\mathbf{m} – \frac{1}{2} \mathbf{x}_{a}^{\mathrm{T}}\Lambda_{aa}\mathbf{x}_{a} + \mathbf{x}_{a}^{\mathrm{T}}(\Lambda_{aa}\mathbf{\mu}_{a}+\Lambda_{ab}\mathbf{\mu}_{b}) + \mathrm{Const.} \right] \quad (5)
\end{align}
$$

ここで$\displaystyle \int -\frac{1}{2}(\mathbf{x}_{b}-\Lambda_{bb}^{-1}\mathbf{m})^{\mathrm{T}} \Lambda_{bb} (\mathbf{x}_{b}-\Lambda_{bb}^{-1}\mathbf{m}) d \mathbf{x}_{b}$は正規分布の確率密度関数に比例することから、定数項と見なすことができる。よって$p(\mathbf{x}_{a})$に関して調べるにあたっては、積分の外に書き出した$\exp$の中の項を$\mathbf{x}_{a}$について平方完成を行えばよく、この計算を次項で取り扱う。

$\mathbf{x}_{a}$に関する平方完成

$(5)$式の$\exp$の$\mathbf{x}_{a}$に関する項を$f(\mathbf{x}_{a})$とおくと$f(\mathbf{x}_{a})$は下記のように書き出せる。
$$
\large
\begin{align}
f(\mathbf{x}_{a}) &= \frac{1}{2} \mathbf{m}^{\mathrm{T}}\Lambda_{bb}^{-1}\mathbf{m} – \frac{1}{2} \mathbf{x}_{a}^{\mathrm{T}}\Lambda_{aa}\mathbf{x}_{a} + \mathbf{x}_{a}^{\mathrm{T}}(\Lambda_{aa}\mathbf{\mu}_{a}+\Lambda_{ab}\mathbf{\mu}_{b}) \\
\mathbf{m} &= \Lambda_{bb} \mathbf{\mu}_{b} – \Lambda_{ba} (\mathbf{x}_{a}-\mathbf{\mu}_{a}) \quad (2.85)
\end{align}
$$

$f(\mathbf{x}_{a})$に$(2.85)$式を代入し、$\mathbf{x}_{a}$を変数と見ると下記のように変形できる。
$$
\large
\begin{align}
f(\mathbf{x}_{a}) &= \frac{1}{2} \mathbf{m}^{\mathrm{T}}\Lambda_{bb}^{-1}\mathbf{m} – \frac{1}{2} \mathbf{x}_{a}^{\mathrm{T}}\Lambda_{aa}\mathbf{x}_{a} + \mathbf{x}_{a}^{\mathrm{T}}(\Lambda_{aa}\mathbf{\mu}_{a}+\Lambda_{ab}\mathbf{\mu}_{b}) \\
&= \frac{1}{2} (\Lambda_{bb} \mathbf{\mu}_{b} – \Lambda_{ba} (\mathbf{x}_{a}-\mathbf{\mu}_{a}))^{\mathrm{T}}\Lambda_{bb}^{-1}(\Lambda_{bb} \mathbf{\mu}_{b} – \Lambda_{ba} (\mathbf{x}_{a}-\mathbf{\mu}_{a})) – \frac{1}{2} \mathbf{x}_{a}^{\mathrm{T}}\Lambda_{aa}\mathbf{x}_{a} + \mathbf{x}_{a}^{\mathrm{T}}(\Lambda_{aa}\mathbf{\mu}_{a}+\Lambda_{ab}\mathbf{\mu}_{b}) + \mathrm{Const.} \\
&= -\frac{1}{2} \mathbf{x}_{a}^{\mathrm{T}} \left( \Lambda_{aa}-\Lambda_{ab}\Lambda_{bb}^{-1}\Lambda_{ba} \right) \mathbf{x}_{a} + \mathbf{x}_{a}^{\mathrm{T}} \left( \Lambda_{aa} – \Lambda_{ab}\Lambda_{bb}^{-1}\Lambda_{ba} \right) \mu_{a} + \mathrm{Const’.} \\
&= -\frac{1}{2} \left[ \mathbf{x}_{a}^{\mathrm{T}} \left( \Lambda_{aa}-\Lambda_{ab}\Lambda_{bb}^{-1}\Lambda_{ba} \right) \mathbf{x}_{a} – 2 \mathbf{x}_{a}^{\mathrm{T}} \left( \Lambda_{aa} – \Lambda_{ab}\Lambda_{bb}^{-1}\Lambda_{ba} \right) \mu_{a} \right] + \mathrm{Const’.} \\
&= -\frac{1}{2} \left[ \mathbf{x}_{a}^{\mathrm{T}} \Sigma_{aa}^{-1} \mathbf{x}_{a} – 2 \mathbf{x}_{a}^{\mathrm{T}} \Sigma_{aa}^{-1} \mu_{a} \right] + \mathrm{Const’.} \\
&= -\frac{1}{2} \left[ \mathbf{x}_{a}^{\mathrm{T}} \Sigma_{aa}^{-1} \mathbf{x}_{a} – 2 \mathbf{x}_{a}^{\mathrm{T}} \Sigma_{aa}^{-1} \mu_{a} \right] + \mathrm{Const’.} \\
&= -\frac{1}{2} (\mathbf{x}_{a}-\mu_{a})^{\mathrm{T}} \Sigma_{aa}^{-1} (\mathbf{x}_{a}-\mu_{a}) + \mathrm{Const^{”}.}
\end{align}
$$

上記の式変形にあたっては、「精度行列の定義と共分散行列との対応」より、$\Sigma_{aa} = (\Lambda_{aa} – \Lambda_{ab} \Lambda_{bb}^{-1} \Lambda_{ba})^{-1}$が成立することを用いた。

よって$\displaystyle p(\mathbf{x}_{a}) = \int p(\mathbf{x}_{a},\mathbf{x}_{b}) d \mathbf{x}_{b} = \mathcal{N}(\mathbf{x}_{a},\Sigma_{aa})$が成立することが示される。

ここでの結果は数式がシンプルかつ直感的に解釈しやすいので、単にここでの結果を用いることが目的の場合は導出を考えずに結果だけを用いるで十分であると思われる。

「多次元正規分布における周辺分布(Marginal distribution)の数式の導出を理解する」への2件のフィードバック

コメントは受け付けていません。