多次元正規分布の数式とその直感的理解｜問題演習で理解する統計学【3】

下記などで取り扱った、多次元正規分布に関する問題演習を通した理解ができるように問題・解答・解説をそれぞれ作成しました。

多次元正規分布と二次形式(Mahalanobis distance)の直感的な理解

・標準演習$100$選
https://www.hello-statisticians.com/practice_100

基本問題

直交行列

・問題
$$
\large
\begin{align}
\mathbf{U}\mathbf{U}^{\mathrm{T}} = \mathbf{U}^{\mathrm{T}}\mathbf{U} = \mathbf{I}
\end{align}
$$
上記が成立する行列$\mathbf{U}$を直交行列という。直交行列について下記の問題に答えよ。
i) 直交する2つの大きさ1の2次元のベクトルの例を一つあげよ。
ⅱ) i)で作成した2つの2次元ベクトルを用いて直交行列$\mathbf{U}$を作成せよ。
ⅲ) ⅱ)で作成した直交行列に対して、$\mathbf{U}\mathbf{U}^{\mathrm{T}}$、$\mathbf{U}^{\mathrm{T}}\mathbf{U}$、$\mathbf{U}^{-1}$を計算せよ。

・解答
i)
いくつか例がある方が良いので、以下に3例あげる。
$$
\large
\begin{align}
& \left(\begin{array}{c} 1 \\ 0 \end{array}\right), \left(\begin{array}{c} 0 \\ 1 \end{array}\right) \\
& \frac{1}{\sqrt{2}}\left(\begin{array}{c} 1 \\ 1 \end{array}\right), \frac{1}{\sqrt{2}}\left(\begin{array}{c} -1 \\ 1 \end{array}\right) \\
& \frac{1}{\sqrt{5}}\left(\begin{array}{c} 2 \\ 1 \end{array}\right), \frac{1}{\sqrt{5}}\left(\begin{array}{c} -1 \\ 2 \end{array}\right)
\end{align}
$$

ⅱ)
$$
\large
\begin{align}
\frac{1}{\sqrt{2}}\left(\begin{array}{c} 1 \\ 1 \end{array}\right), \frac{1}{\sqrt{2}}\left(\begin{array}{c} -1 \\ 1 \end{array}\right)
\end{align}
$$
上記を用いて、下記のような直交行列$\mathbf{U}$を作成することができる。
$$
\large
\begin{align}
\mathbf{U} &= \left(\begin{array}{cc} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{array} \right)
\end{align}
$$

ⅲ)
$$
\large
\begin{align}
\mathbf{U}\mathbf{U}^{\mathrm{T}} &= \left(\begin{array}{cc} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{array} \right)\left(\begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{array} \right) \\
&= \left(\begin{array}{cc} \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} + \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \cdot (-\frac{1}{\sqrt{2}}) + \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} + (-\frac{1}{\sqrt{2}}) \cdot \frac{1}{\sqrt{2}} & (-\frac{1}{\sqrt{2}}) \cdot (-\frac{1}{\sqrt{2}}) + \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} \end{array} \right) \\
&= \left(\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array} \right)
\end{align}
$$

$$
\large
\begin{align}
\mathbf{U}^{\mathrm{T}}\mathbf{U} &= \left(\begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{array} \right)\left(\begin{array}{cc} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{array} \right) \\
&= \left(\begin{array}{cc} \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} + (-\frac{1}{\sqrt{2}}) \cdot (-\frac{1}{\sqrt{2}}) & \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} + (-\frac{1}{\sqrt{2}}) \cdot \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} + \frac{1}{\sqrt{2}} \cdot (-\frac{1}{\sqrt{2}}) & \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} + \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} \end{array} \right) \\
&= \left(\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array} \right)
\end{align}
$$

$$
\large
\begin{align}
\mathbf{U}^{-1} &= \left(\begin{array}{cc} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{array} \right)^{-1} \\
&= \frac{1}{(1/\sqrt{2} \cdot 1/\sqrt{2}) – (1/\sqrt{2} \cdot (-1/\sqrt{2}))} \left(\begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{array} \right) \\
&= \left(\begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{array} \right) \\
&= \mathbf{U}^{\mathrm{T}}
\end{align}
$$

・解説
$D$次元の行列の大きさ1の固有ベクトルを$\mathbf{u}_1, \mathbf{u}_2, …, \mathbf{u}_D$としたとき、下記のように並べることで直交行列を作ることができます。
$$
\large
\begin{align}
\mathbf{U} &= \left(\begin{array}{c} \mathbf{u}_1 \\ \mathbf{u}_2 \\ … \\ \mathbf{u}_D \end{array} \right)
\end{align}
$$
このことは分散共分散行列を元にした議論を行う際に色々と出てくるので、必ず抑えておくと良いと思います。

基底の変換

・問題
下記のように$\mathbf{e}_1, \mathbf{e}_2, \mathbf{a}_1, \mathbf{a}_2$を定義する。
$$
\large
\begin{align}
\mathbf{e}_1 = \left(\begin{array}{c} 1 \\ 0 \end{array} \right), \quad \mathbf{e}_2 = \left(\begin{array}{c} 0 \\ 1 \end{array} \right), \quad \mathbf{a}_1 = \left(\begin{array}{c} 2 \\ 1 \end{array} \right), \quad \mathbf{a}_2 = \left(\begin{array}{c} 1 \\ 2 \end{array} \right)
\end{align}
$$
このとき下記の問いに答えよ。このとき下記の問いに答えよ。
i) $\mathbf{a}_1, \mathbf{a}_2$が線型独立であることを示せ。
ⅱ) $\mathbf{a}_1, \mathbf{a}_2$をそれぞれ$\mathbf{e}_1, \mathbf{e}_2$を用いて表せ。
ⅲ) $\mathbf{t} = x\mathbf{e}_1 + y\mathbf{e}_2 = X\mathbf{a}_1 + Y\mathbf{a}_2$のように表せるとき、$\displaystyle \left(\begin{array}{c} x \\ y \end{array} \right) = \mathbf{A}\left(\begin{array}{c} X \\ Y \end{array} \right)$が成立する行列$\mathbf{A}$を求めよ。

・解答
i)
$$
\large
\begin{align}
s\mathbf{a}_1 + t\mathbf{a}_2 = \left(\begin{array}{c} 0 \\ 0 \end{array} \right)
\end{align}
$$
$\mathbf{a}_1, \mathbf{a}_2$が線型独立であることを示すには、上記が成立するとき$s=t=0$になることを示せば良い。
$$
\large
\begin{align}
s\mathbf{a}_1 + t\mathbf{a}_2 &= s\left(\begin{array}{c} 2 \\ 1 \end{array} \right) + t\left(\begin{array}{c} 1 \\ 2 \end{array} \right) \\
&= \left(\begin{array}{c} 2s + t \\ s + 2t \end{array} \right)
\end{align}
$$
$2s+t=0$と$s+2t=0$より$s=t=0$が導出できるため、$\mathbf{a}_1, \mathbf{a}_2$は線型独立である。

ⅱ)
$$
\large
\begin{align}
\mathbf{a}_1 &= \left(\begin{array}{c} 2 \\ 1 \end{array} \right) \\
&= \left(\begin{array}{c} 2 \\ 0 \end{array} \right) + \left(\begin{array}{c} 0 \\ 1 \end{array} \right) \\
&= 2\left(\begin{array}{c} 1 \\ 0 \end{array} \right) + \left(\begin{array}{c} 0 \\ 1 \end{array} \right) \\
&= 2\mathbf{e}_1 + \mathbf{e}_2 \\
\mathbf{a}_2 &= \left(\begin{array}{c} 1 \\ 2 \end{array} \right) \\
&= \left(\begin{array}{c} 1 \\ 0 \end{array} \right) + \left(\begin{array}{c} 0 \\ 2 \end{array} \right) \\
&= \left(\begin{array}{c} 1 \\ 0 \end{array} \right) + 2\left(\begin{array}{c} 0 \\ 1 \end{array} \right) \\
&= \mathbf{e}_1 + 2\mathbf{e}_2
\end{align}
$$

ⅲ)
$X\mathbf{a}_1 + Y\mathbf{a}_2$を$\mathbf{e}_1, \mathbf{e}_2$を用いて表すと下記のようになる。
$$
\large
\begin{align}
X\mathbf{a}_1 + Y\mathbf{a}_2 &= X\left(\begin{array}{c} 2 \\ 1 \end{array} \right) + Y\left(\begin{array}{c} 1 \\ 2 \end{array} \right) \\
&= \left(\begin{array}{c} 2X+Y \\ X+2Y \end{array} \right) \\
&= (2X+Y)\mathbf{e}_1 + (X+2Y)\mathbf{e}_2 \\
\end{align}
$$
ここで$x\mathbf{e}_1 + y\mathbf{e}_2 = X\mathbf{a}_1 + Y\mathbf{a}_2$であることから、下記のように表すことができる。
$$
\large
\begin{align}
\left(\begin{array}{c} x \\ y \end{array} \right) &= \left(\begin{array}{c} 2X+Y \\ X+2Y \end{array} \right) \\
&= \left(\begin{array}{cc} 2 & 1 \\ 1 & 2 \end{array} \right)\left(\begin{array}{c} X \\ Y \end{array} \right)
\end{align}
$$

・解説
基底の変換は多次元正規分布の理解にあたって、分散共分散行列の固有値・固有ベクトルの変換を用いる際に出てくるので必ず抑えておく必要があります。ここで取り扱ったような基底の変換については線形代数の教科書でも出てくるのですが、あまりメインで取り扱われずに導出だけ書かれていることが多いので、より注目して取り組みやすいように演習問題を作成しました。ⅲ)で取り扱った計算については慣れていないと間違えがちなので、何度も繰り返し演習を行うことで慣れておくと良いと思います。

発展問題

分散共分散行列と固有値・固有ベクトル

・問題
$\mathbf{\Sigma}$を$2$次元の分散共分散行列とし、その固有値を$\lambda_i$、大きさ1の固有ベクトルを$\mathbf{u}_i$と考えるとする。このとき下記の問いに答えよ。
i) $\mathbf{u}_1^{\mathrm{T}}\mathbf{u}_1$、$\mathbf{u}_1^{\mathrm{T}}\mathbf{u}_2$をそれぞれ求めよ。
ⅱ) $\displaystyle \mathbf{u}_1 = \left(\begin{array}{c} u_{11} \\ u_{12} \end{array} \right)$、$\displaystyle \mathbf{u}_2 = \left(\begin{array}{c} u_{21} \\ u_{22} \end{array} \right)$とするとき、$\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}$、$\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}$をそれぞれ求めよ。
ⅲ) $\displaystyle \mathbf{U} = \left(\begin{array}{c} \mathbf{u}_1^{\mathrm{T}} \\ \mathbf{u}_2^{\mathrm{T}} \end{array} \right) = \left(\begin{array}{cc} u_{11} & u_{12} \\ u_{21} & u_{22} \end{array} \right)$のように直交行列$\mathbf{U}$を考えるとき、$\mathbf{U}^{\mathrm{T}}\mathbf{U}$を求め、$\displaystyle \mathbf{U}^{\mathrm{T}}\mathbf{U}=\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}+\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}$であることを示せ。
iⅴ) $\mathbf{\Sigma}\mathbf{u}_i = \lambda_i\mathbf{u}_i$の式より、$\mathbf{\Sigma}=\lambda_1\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}+\lambda_2\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}$であることを示せ。
ⅴ) $\displaystyle \mathbf{\Sigma}^{-1}=\frac{1}{\lambda_1}\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}+\frac{1}{\lambda_2}\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}$であることを示せ。

・解答
i)
$\mathbf{u}_1$、$\mathbf{u}_2$は大きさ1の固有ベクトルであるから、$\mathbf{u}_1^{\mathrm{T}}\mathbf{u}_1$、$\mathbf{u}_1^{\mathrm{T}}\mathbf{u}_2$はそれぞれ下記のようになる。
$$
\large
\begin{align}
\mathbf{u}_1^{\mathrm{T}}\mathbf{u}_1 &= 1 \\
\mathbf{u}_1^{\mathrm{T}}\mathbf{u}_2 &= 0
\end{align}
$$

ⅱ)
それぞれ下記のように計算できる。
$$
\large
\begin{align}
\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}} &= \left(\begin{array}{c} u_{11} \\ u_{12} \end{array} \right)\left(\begin{array}{cc} u_{11} & u_{12} \end{array} \right) \\
&= \left(\begin{array}{cc} u_{11}^2 & u_{11}u_{12} \\ u_{12}u_{11} & u_{12}^2 \end{array} \right) \\
\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}} &= \left(\begin{array}{c} u_{21} \\ u_{22} \end{array} \right)\left(\begin{array}{cc} u_{21} & u_{22} \end{array} \right) \\
&= \left(\begin{array}{cc} u_{21}^2 & u_{21}u_{22} \\ u_{22}u_{21} & u_{22}^2 \end{array} \right)
\end{align}
$$

ⅲ)
下記のように計算できる。
$$
\large
\begin{align}
\mathbf{U}^{\mathrm{T}}\mathbf{U} &= \left(\begin{array}{cc} u_{11} & u_{21} \\ u_{12} & u_{22} \end{array} \right)\left(\begin{array}{cc} u_{11} & u_{12} \\ u_{21} & u_{22} \end{array} \right) \\
&= \left(\begin{array}{cc} u_{11}^2+u_{21}^2 & u_{11}u_{12}+u_{21}u_{22} \\ u_{12}u_{11}+u_{22}u_{21} & u_{12}^2+u_{22}^2 \end{array} \right)
\end{align}
$$
また、上記とⅱ)の結果を比較することによって、$\displaystyle \mathbf{U}^{\mathrm{T}}\mathbf{U}=\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}+\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}$を示すことができる。

iv)
$$
\large
\begin{align}
\mathbf{\Sigma}\mathbf{u}_i = \lambda_i\mathbf{u}_i
\end{align}
$$
上記の式に対し、右から$\mathbf{u}_i^{\mathrm{T}}$をかけることを考える。
$$
\large
\begin{align}
\mathbf{\Sigma}\mathbf{u}_i &= \lambda_i\mathbf{u}_i \\
\mathbf{\Sigma}\mathbf{u}_i\mathbf{u}_i^{\mathrm{T}} &= \lambda_i\mathbf{u}_i\mathbf{u}_i^{\mathrm{T}}
\end{align}
$$
ここで、ⅲ)で示した$\displaystyle \mathbf{U}^{\mathrm{T}}\mathbf{U}=\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}+\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}=\mathbf{I}$に基づいて、左辺に単位行列$\mathbf{I}$を作ることを考える。

$$
\large
\begin{align}
\mathbf{\Sigma}\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}} + \mathbf{\Sigma}\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}} &= \lambda_1\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}} + \lambda_2\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}} \\
\mathbf{\Sigma}(\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}} + \mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}) &= \sum_{i=1}^{2} \lambda_i\mathbf{u}_i\mathbf{u}_i^{\mathrm{T}} \\
\mathbf{\Sigma}\mathbf{U}^{\mathrm{T}}\mathbf{U} &= \sum_{i=1}^{2} \lambda_i\mathbf{u}_i\mathbf{u}_i^{\mathrm{T}} \\
\mathbf{\Sigma}\mathbf{I} &= \sum_{i=1}^{2} \lambda_i\mathbf{u}_i\mathbf{u}_i^{\mathrm{T}} \\
\mathbf{\Sigma} &= \sum_{i=1}^{2} \lambda_i\mathbf{u}_i\mathbf{u}_i^{\mathrm{T}}
\end{align}
$$
上記より、$\mathbf{\Sigma}=\lambda_1\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}+\lambda_2\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}$を示すことができた。

v)
$$
\large
\begin{align}
\mathbf{\Sigma}\mathbf{u}_i = \lambda_i\mathbf{u}_i
\end{align}
$$
上記の式に対し、左から$\mathbf{\Sigma}^{-1}$をかけると下記のようになる。
$$
\large
\begin{align}
\mathbf{\Sigma}^{-1}\mathbf{\Sigma}\mathbf{u}_i &= \mathbf{\Sigma}^{-1}\lambda_i\mathbf{u}_i \\
\mathbf{u}_i &= \lambda_i\mathbf{\Sigma}^{-1}\mathbf{u}_i \\
\frac{1}{\lambda_i}\mathbf{u}_i &= \mathbf{\Sigma}^{-1}\mathbf{u}_i
\end{align}
$$
上記において$\lambda_i$のみスカラーであるため、計算順序の入れ替えや両辺に逆数をかけることができた。以下、左辺と右辺を入れ替えて、$\mathbf{\Sigma}^{-1}$について解くことを考える。
$$
\large
\begin{align}
\frac{1}{\lambda_i}\mathbf{u}_i &= \mathbf{\Sigma}^{-1}\mathbf{u}_i \\
\mathbf{\Sigma}^{-1}\mathbf{u}_i &= \frac{1}{\lambda_i}\mathbf{u}_i \\
\mathbf{\Sigma}^{-1}\mathbf{u}_i\mathbf{u}_i^{\mathrm{T}} &= \frac{1}{\lambda_i}\mathbf{u}_i\mathbf{u}_i^{\mathrm{T}}
\end{align}
$$
以降はiv)と同様に導出することができる。

分散共分散行列と多次元正規分布の確率密度関数

・問題
平均ベクトル$\displaystyle \mathbf{\mu}=\left(\begin{array}{c} 1 \\ 1 \end{array} \right)$、分散共分散行列$\displaystyle \mathbf{\Sigma}=\left(\begin{array}{cc} 1 & 0.7 \\ 0.7 & 1 \end{array} \right)$の2次元正規分布を考えると確率密度関数は下記のようになる。
$$
\begin{align}
N(x|\mathbf{\mu}, \mathbf{\Sigma}) = \frac{1}{(2 \pi)^{D/2}} \frac{1}{|\Sigma|^{1/2}} \exp \left( -\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \Sigma^{-1}(\mathbf{x}-\mathbf{\mu}) \right)
\end{align}
$$
また、上記において$\Delta^2 = (\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \Sigma^{-1}(\mathbf{x}-\mathbf{\mu})$と考えるものとする。
このとき、下記の問いに答えよ。
i) 分散共分散行列$\mathbf{\Sigma}$の固有値を求めよ。
ⅱ) i)で求めたそれぞれの固有値に関して、それぞれ固有ベクトルを求めよ。
ⅲ) $\displaystyle \mathbf{\Sigma}^{-1}=\frac{1}{\lambda_1}\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}+\frac{1}{\lambda_2}\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}$であることを用いて、下記を導出せよ。
$$
\begin{align}
\Delta^2 = \sum_{i=1}^{2} \frac{(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}}\mathbf{u}_i \mathbf{u}_i^{\mathrm{T}} (\mathbf{x}-\mathbf{\mu})}{\lambda_i}
\end{align}
$$
iv) $\displaystyle \mathbf{x}=\left(\begin{array}{c} 1 \\ 1 \end{array} \right)$、$\displaystyle \mathbf{x}=\left(\begin{array}{c} 2 \\ 2 \end{array} \right)$、$\displaystyle \mathbf{x}=\left(\begin{array}{c} 0 \\ 2 \end{array} \right)$に関してそれぞれ$\Delta^2$の値を計算せよ。ただし簡易化のために下記のように定義した$y_i$を用いても良いとする。
$$
\begin{align}
y_i = (\mathbf{x}-\mathbf{\mu})^{\mathrm{T}}\mathbf{u}_i = \mathbf{u}_i^{\mathrm{T}} (\mathbf{x}-\mathbf{\mu})
\end{align}
$$
v) $\displaystyle \mathbf{x}=\left(\begin{array}{c} 2 \\ 2 \end{array} \right)$と同じ$\Delta^2$の値を持つ点$\mathbf{x}$をさらに2つあげよ。

・解答
i)
$\det(\mathbf{\Sigma}-\lambda\mathbf{I})=0$を$\lambda$について解けばよい。
$$
\large
\begin{align}
\det(\mathbf{\Sigma}-\lambda\mathbf{I}) &= (1-\lambda)^2-0.7^2 \\
&= (1-\lambda+0.7)(1-\lambda-0.7) \\
&= (1.7-\lambda)(0.3-\lambda) = 0
\end{align}
$$
上記より、分散共分散行列$\mathbf{\Sigma}$の固有値は$\lambda=1.7, 0.3$となる。

ⅱ)
$\lambda=1.7$に対応する固有ベクトルを$\mathbf{u}_1$、$\lambda=0.3$に対応する固有ベクトルを$\mathbf{u}_2$とする。$\mathbf{u}_1$は下記のようになる。
$$
\begin{align}
\mathbf{\Sigma}\mathbf{u}_1 &= 1.7\mathbf{u}_1 \\
\left(\begin{array}{cc} 1 & 0.7 \\ 0.7 & 1 \end{array} \right)\left(\begin{array}{c} u_{11} \\ u_{12} \end{array} \right) &= 1.7\left(\begin{array}{c} u_{11} \\ u_{12} \end{array} \right) \\
\left(\begin{array}{c} u_{11}+0.7u_{12} \\ 0.7u_{11}+u_{12} \end{array} \right) &= \left(\begin{array}{c} 1.7u_{11} \\ 1.7u_{12} \end{array} \right) \\
\left(\begin{array}{c} 0.7u_{12} \\ 0.7u_{11} \end{array} \right) &= \left(\begin{array}{c} 0.7u_{11} \\ 0.7u_{12} \end{array} \right)
\end{align}
$$
上記より、$\mathbf{u}_1$の$x$成分と$y$成分が一致する。また、$\mathbf{u}_1$の大きさが$1$であることから、$\displaystyle \mathbf{u}_1 = \left(\begin{array}{c} 1/\sqrt{2} \\ 1/\sqrt{2} \end{array} \right)$となる。

次に$\mathbf{u}_2$について計算を行う。
$$
\begin{align}
\mathbf{\Sigma}\mathbf{u}_2 &= 0.3\mathbf{u}_2 \\
\left(\begin{array}{cc} 1 & 0.7 \\ 0.7 & 1 \end{array} \right)\left(\begin{array}{c} u{21} \\ u_{22} \end{array} \right) &= 1.7\left(\begin{array}{c} u_{21} \\ u_{22} \end{array} \right) \\
\left(\begin{array}{c} u_{21}+0.7u_{22} \\ 0.7u_{21}+u_{22} \end{array} \right) &= \left(\begin{array}{c} 0.3u_{21} \\ 0.3u_{22} \end{array} \right) \\
\left(\begin{array}{c} 0.7u_{22} \\ 0.7u_{21} \end{array} \right) &= \left(\begin{array}{c} -0.7u_{21} \\ -0.7u_{22} \end{array} \right)
\end{align}
$$
上記と$|\mathbf{u}_2|=1$より、$\displaystyle \mathbf{u}_2 = \left(\begin{array}{c} -1/\sqrt{2} \\ 1/\sqrt{2} \end{array} \right)$が導出できる。

ⅲ)
$\displaystyle \Delta^2 = (\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \Sigma^{-1}(\mathbf{x}-\mathbf{\mu})$に$\displaystyle \mathbf{\Sigma}^{-1}=\frac{1}{\lambda_1}\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}+\frac{1}{\lambda_2}\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}$を代入することで、下記のように導出できる。
$$
\begin{align}
\Delta^2 &= (\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \Sigma^{-1}(\mathbf{x}-\mathbf{\mu}) \\
&= (\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \left(\frac{1}{\lambda_1}\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}+\frac{1}{\lambda_2}\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}} \right) (\mathbf{x}-\mathbf{\mu}) \\
&= (\mathbf{x}-\mathbf{\mu})^{\mathrm{T}} \left(\frac{1}{\lambda_1}\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}} \right) (\mathbf{x}-\mathbf{\mu})+(\mathbf{x}-\mathbf{\mu})^{T} \left(\frac{1}{\lambda_2}\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}} \right) (\mathbf{x}-\mathbf{\mu}) \\
&= \frac{(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}}\mathbf{u}_1\mathbf{u}_1^{\mathrm{T}}(\mathbf{x}-\mathbf{\mu})}{\lambda_1}+\frac{(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}}\mathbf{u}_2\mathbf{u}_2^{\mathrm{T}}(\mathbf{x}-\mathbf{\mu})}{\lambda_2} \\
&= \sum_{i=1}^{2} \frac{(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}}\mathbf{u}_i \mathbf{u}_i^{\mathrm{T}} (\mathbf{x}-\mathbf{\mu})}{\lambda_i}
\end{align}
$$

iv)
$\displaystyle \mathbf{x}=\left(\begin{array}{c} 1 \\ 1 \end{array} \right)$は平均ベクトル$\displaystyle \mathbf{\mu}=\left(\begin{array}{c} 1 \\ 1 \end{array} \right)$と一致する。よって、$y_i$は下記のように計算できる。
$$
\begin{align}
y_i &= \mathbf{u}_i^{\mathrm{T}}(\mathbf{x}-\mathbf{\mu}) \\
&= \left(\begin{array}{cc} u_{i1} & u_{i2} \end{array} \right)\left(\begin{array}{c} 1-1 \\ 1-1 \end{array} \right) \\
&= \left(\begin{array}{cc} u_{i1} & u_{i2} \end{array} \right)\left(\begin{array}{c} 0 \\ 0 \end{array} \right) = 0
\end{align}
$$
よって$\Delta^2$は下記のように計算できる。
$$
\begin{align}
\Delta^2 &= \sum_{i=1}^{2} \frac{(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}}\mathbf{u}_i \mathbf{u}_i^{\mathrm{T}} (\mathbf{x}-\mathbf{\mu})}{\lambda_i} \\
&= \sum_{i=1}^{2} \frac{y_i^2}{\lambda_i} \\
&= \sum_{i=1}^{2} \frac{0 \cdot 0}{\lambda_i} = 0
\end{align}
$$

$\displaystyle \mathbf{x}=\left(\begin{array}{c} 2 \\ 2 \end{array} \right)$については$y_1$と$y_2$をそれぞれ求め、$\Delta^2$を計算する。
$$
\begin{align}
y_1 &= \mathbf{u}_1^{\mathrm{T}}(\mathbf{x}-\mathbf{\mu}) \\
&= \left(\begin{array}{cc} u_{11} & u_{12} \end{array} \right)\left(\begin{array}{c} 2-1 \\ 2-1 \end{array} \right) \\
&= \left(\begin{array}{cc} 1/\sqrt{2} & 1/\sqrt{2} \end{array} \right)\left(\begin{array}{c} 1 \\ 1 \end{array} \right) \\
&= 1/\sqrt{2} \cdot 1 + 1/\sqrt{2} \cdot 1 \\
&= 2/\sqrt{2} = \sqrt{2}
\end{align}
$$
$$
\begin{align}
y_2 &= \mathbf{u}_2^{\mathrm{T}}(\mathbf{x}-\mathbf{\mu}) \\
&= \left(\begin{array}{cc} u_{21} & u_{22} \end{array} \right)\left(\begin{array}{c} 2-1 \\ 2-1 \end{array} \right) \\
&= \left(\begin{array}{cc} -1/\sqrt{2} & 1/\sqrt{2} \end{array} \right)\left(\begin{array}{c} 1 \\ 1 \end{array} \right) \\
&= -1/\sqrt{2} \cdot 1 + 1/\sqrt{2} \cdot 1 \\
&= 0
\end{align}
$$
よって、$\Delta^2$は下記のように計算できる。
$$
\begin{align}
\Delta^2 &= \sum_{i=1}^{2} \frac{(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}}\mathbf{u}_i \mathbf{u}_i^{\mathrm{T}} (\mathbf{x}-\mathbf{\mu})}{\lambda_i} \\
&= \sum_{i=1}^{2} \frac{y_i^2}{\lambda_i} \\
&= \frac{y_1^2}{\lambda_1} \\
&= \frac{(\sqrt{2})^2}{1.7} \\
&= \frac{2}{1.7} = 1.176…
\end{align}
$$

$\displaystyle \mathbf{x}=\left(\begin{array}{c} 0 \\ 2 \end{array} \right)$については$y_1$と$y_2$をそれぞれ求め、$\Delta^2$を計算する。
$$
\begin{align}
y_1 &= \mathbf{u}_1^{\mathrm{T}}(\mathbf{x}-\mathbf{\mu}) \\
&= \left(\begin{array}{cc} u_{11} & u_{12} \end{array} \right)\left(\begin{array}{c} 0-1 \\ 2-1 \end{array} \right) \\
&= \left(\begin{array}{cc} 1/\sqrt{2} & 1/\sqrt{2} \end{array} \right)\left(\begin{array}{c} -1 \\ 1 \end{array} \right) \\
&= 1/\sqrt{2} \cdot (-1) + 1/\sqrt{2} \cdot 1 \\
&= 0
\end{align}
$$
$$
\begin{align}
y_2 &= \mathbf{u}_2^{\mathrm{T}}(\mathbf{x}-\mathbf{\mu}) \\
&= \left(\begin{array}{cc} u_{21} & u_{22} \end{array} \right)\left(\begin{array}{c} 0-1 \\ 2-1 \end{array} \right) \\
&= \left(\begin{array}{cc} -1/\sqrt{2} & 1/\sqrt{2} \end{array} \right)\left(\begin{array}{c} -1 \\ 1 \end{array} \right) \\
&= -1/\sqrt{2} \cdot (-1) + 1/\sqrt{2} \cdot 1 \\
&= 2/\sqrt{2} = \sqrt{2}
\end{align}
$$
よって、$\Delta^2$は下記のように計算できる。
$$
\begin{align}
\Delta^2 &= \sum_{i=1}^{2} \frac{(\mathbf{x}-\mathbf{\mu})^{\mathrm{T}}\mathbf{u}_i \mathbf{u}_i^{\mathrm{T}} (\mathbf{x}-\mathbf{\mu})}{\lambda_i} \\
&= \sum_{i=1}^{2} \frac{y_i^2}{\lambda_i} \\
&= \frac{y_2^2}{\lambda_2} \\
&= \frac{(\sqrt{2})^2}{0.3} \\
&= \frac{2}{0.3} = 6.666…
\end{align}
$$

v)
固有ベクトルの方向にある点だと考えやすいので、$\mathbf{u}_1$と$\mathbf{u}_2$の方向でそれぞれ1つずつ考えることとする。 $\mathbf{u}_1$について考えるにあたっては、$y_1$の値だけを考えればよい。求める点を$\displaystyle \left(\begin{array}{c} a+1 \\ a+1 \end{array} \right)$とおく。
$$
\begin{align} y_1 &= \mathbf{u}_1^{\mathrm{T}}(\mathbf{x}-\mathbf{\mu}) \\
&= \left(\begin{array}{cc} u_{11} & u_{12} \end{array} \right)\left(\begin{array}{c} a+1-1 \\ a+1-1 \end{array} \right) \\
&= \left(\begin{array}{cc} 1/\sqrt{2} & 1/\sqrt{2} \end{array} \right)\left(\begin{array}{c} a+1-1 \\ a+1-1 \end{array} \right) \\
&= 1/\sqrt{2} \cdot a + 1/\sqrt{2} \cdot a \\
&= 2a/\sqrt{2} = \sqrt{2}a
\end{align}
$$
$y_1^2$の値が$\displaystyle \mathbf{x}=\left(\begin{array}{c} 2 \\ 2 \end{array} \right)$と一致することより、$y_1^2=2a^2=2$を解いて$a=1, -1$が得られる。$a=1$に対応する$\displaystyle \mathbf{x}=\left(\begin{array}{c} 2 \\ 2 \end{array} \right)$は既出のため、$a=-1$に対応する$\displaystyle \mathbf{x}=\left(\begin{array}{c} 0 \\ 0 \end{array} \right)$が求める点の一つであると考えることができる。

次に$\mathbf{u}_2$の方向について考える。$y_1=0$のため、$y_2$の値だけを考えればよい。求める点を$\displaystyle \left(\begin{array}{c} -a+1 \\ a+1 \end{array} \right)$とおき、$y_2$について計算すると下記のようになる。
$$
\begin{align}
y_2 &= \mathbf{u}_2^{\mathrm{T}}(\mathbf{x}-\mathbf{\mu}) \\
&= \left(\begin{array}{cc} u_{21} & u_{22} \end{array} \right)\left(\begin{array}{c} -a+1-1 \\ a+1-1 \end{array} \right) \\
&= \left(\begin{array}{cc} -1/\sqrt{2} & 1/\sqrt{2} \end{array} \right)\left(\begin{array}{c} -a \\ a \end{array} \right) \\
&= -1/\sqrt{2} \cdot (-a) + 1/\sqrt{2} \cdot a \\
&= 2a/\sqrt{2} = \sqrt{2}a
\end{align}
$$
この結果を元に、$\Delta^2$の値を$\displaystyle \mathbf{x}=\left(\begin{array}{c} 2 \\ 2 \end{array} \right)$と比較すると下記のようになる。
$$
\begin{align}
\frac{(\sqrt{2}a)^2}{0.3} &= \frac{(\sqrt{2})^2}{1.7} \\
\frac{2a^2}{0.3} &= \frac{2}{1.7} \\
a^2 &= \frac{0.3}{1.7}
\end{align}
$$
上記より、$a = \pm 0.42…$が得られる。$a=0.42$について考えると、$\displaystyle \left(\begin{array}{c} -a+1 \\ a+1 \end{array} \right) = \left(\begin{array}{c} 0.58 \\ 1.42 \end{array} \right)$が得られる。

・解説
iv)で$\displaystyle \mathbf{x}=\left(\begin{array}{c} 2 \\ 2 \end{array} \right)$と$\displaystyle \mathbf{x}=\left(\begin{array}{c} 0 \\ 2 \end{array} \right)$はどちらも$\displaystyle \mathbf{x}=\left(\begin{array}{c} 1 \\ 1 \end{array} \right)$から同じだけ離れている一方で$\Delta^2$を計算すると、大きく異なった値になったことは注意しておくと良いです。これにより2次元正規分布において相関も考慮した上で中心からのズレを定義することができると理解しておくとよいです。
また、v)の結果も同様に、$\displaystyle \mathbf{x}=\left(\begin{array}{c} 2 \\ 2 \end{array} \right)$と同じ$\Delta^2$となる点を探すにあたっては、$\mathbf{u}_1$方向よりも$\mathbf{u}_2$方向の方が$\displaystyle \mathbf{x}=\left(\begin{array}{c} 1 \\ 1 \end{array} \right)$の近隣の点となることを考えると、2次元正規分布の確率密度関数について理解できて良いと思います。

多次元正規分布のサンプリング

・問題
$$
\begin{align}
03, 47, 43, 73, 86, 36, 96, 47, 36, 61, 46, 98, 63, 71, 62, 33, 26, 16, 80, 45, 60, 11, 14, 10, 95 \\
97, 74, 24, 67, 62, 42, 81, 14, 57, 20, 42, 53, 32, 37, 32, 27, 07, 36, 07, 51, 24, 51, 79, 83, 73 \\
16, 76, 62, 27, 66, 56, 50, 26, 71, 07, 32, 90, 79, 78, 53, 13, 55, 38, 58, 59, 88, 97, 54, 14, 10
\end{align}
$$
上記のような乱数表がある際に、平均ベクトル$\displaystyle \mathbf{\mu}=\left(\begin{array}{c} 1 \\ 1 \end{array} \right)$、分散共分散行列$\displaystyle \mathbf{\Sigma}=\left(\begin{array}{cc} 1 & 0.7 \\ 0.7 & 1 \end{array} \right)$の$2$次元正規分布に従うサンプリングを行うことを考える。乱数表はR.A.フィッシャー作成の$6$表に基づいて作成された、「基礎統計学Ⅰ 統計学入門(東京大学出版会)」の$292$ページのものを用いた。
このとき以下の問いに答えよ。
i) 最上段の乱数の$10$の位ごとに区切って度数分布表を作成せよ。
ⅱ)

それぞれの列ごとに乱数を$3$つずつ平均を計算し、i)と同様に度数分布表を作成せよ。平均の計算を行うのは大変なため、下記を用いて良いものとする。
$$
\begin{align}
&38.6, 65.6, 43.0, 55.6, 71.3, 44.6, 75.6, 29.0, 54.6, 29.3, 40.0, 80.3, 58.0, 62.0, 49.0, 24.3, 29.3, \\
&30.0, 48.3, 51.6, 57.3, 53.0, 49.0, 35.6, 59.3
\end{align}
$$
ⅲ) ⅱ)の結果はi)の結果よりも正規分布に近い分布となる。この理由を述べよ。
iv) 分散共分散行列が与えられているとき、$2$つの独立した$1$次元の正規分布に基づくサンプリングに基づいて$2$次元正規分布のサンプリングを行うにはどうすれば良いか。
v) 複数のサンプルのサンプリングを同時に行う際はどのように行列計算を行えば良いか。

・解答
ⅲ)
中心極限定理より、サンプルが多くなるにつれて標本平均は正規分布で近似できるようになるため。