当記事は「統計学のための数学入門$30$講(朝倉書店)」の読解サポートにあたってChapter.$21$の「射影と射影行列」の章末問題の解答の作成を行いました。
基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。
・書籍解答まとめ
https://www.hello-statisticians.com/answer_textbook_math#math_stat
本章のまとめ
ベクトルと部分空間
$k$個の$1$次独立な$p$次元ベクトル$\mathbf{a}_{1}, \cdots , \mathbf{a}_{k}$が張る部分空間$M$を下記のように定義する。
$$
\large
\begin{align}
M = \{ \mathbf{y} : \mathbf{y} = c_1 \mathbf{a}_{1} + \cdots c_k \mathbf{a}_{k} \}
\end{align}
$$
上記の$M$は下記のように$\mathrm{span}$を用いて表されることもあるので合わせて抑えておくと良い1。
$$
\large
\begin{align}
\mathrm{span} \{ \mathbf{a}_{1}, \cdots , \mathbf{a}_{k} \} = \left\{ \sum_{i=1}^{k} c_{i} \mathbf{a}_{i} : c_{i} \in \mathbb{R} \right\}
\end{align}
$$
射影の計算
射影行列
$p$次元ベクトル空間$\mathbb{R}^{p}$の部分空間を$M$、直交補空間を$M^{\perp}$とおくと、任意の$p$次元ベクトル$\mathbf{x} \in \mathbb{R}^{p}$は下記のように一意に表すことができる。
$$
\large
\begin{align}
\mathbf{x} &= \mathbf{x}_{1} + \mathbf{x}_{2} \\
\mathbf{x}_{1} & \in M, \, \mathbf{x}_{2} \in M^{\perp}
\end{align}
$$
このとき、$\mathbf{x}_{1}$は$\mathbf{x}$の$M$への射影、$\mathbf{x}_{2}$は$\mathbf{x}$の$M^{\perp}$への射影であるという。ここで$\mathbf{x}$を$\mathbf{x}_{1}$に対応させる行列を射影行列$P_{M}$とおくと、下記のような式が成立する。
$$
\large
\begin{align}
\mathbf{x}_{1} = P_{M} \mathbf{x} \in M
\end{align}
$$
同様に$\mathbf{x}$を$\mathbf{x}_{2}$に対応させる射影行列を$P_{M^{\perp}}$とおくと、下記のような式が成立する。
$$
\large
\begin{align}
\mathbf{x}_{2} = P_{M^{\perp}} \mathbf{x} \in M^{\perp}
\end{align}
$$
ここで部分空間$M$について$\mathrm{dim}{M}=k$を仮定するとき、直交補空間$M^{\perp}$について$\mathrm{dim}{M^{\perp}}=p \, – \, k$が成立する。このとき、$p \times k$行列$A$を$M$の基底$\{ \mathbf{a}_{1}, \cdots , \mathbf{a}_{k} \}$、$p \times (p \, – \, k)$行列$B$を$M^{\perp}$の基底$\{ \mathbf{b}_{1}, \cdots , \mathbf{b}_{p \, – \, k} \}$を用いてそれぞれ下記のように定義する。
$$
\large
\begin{align}
A &= \left( \begin{array}{ccc} \mathbf{a}_{1} & \cdots & \mathbf{a}_{k} \end{array} \right) \\
B &= \left( \begin{array}{ccc} \mathbf{b}_{1} & \cdots & \mathbf{b}_{p \, – \, k} \end{array} \right)
\end{align}
$$
上記で確認した定義に基づいて、射影行列$P_{M}, \, P_{M^{\perp}}$について下記の$(1)$〜$(5)$が成立する。
$(1) \,$ 射影行列$P_{M}, \, P_{M^{\perp}}$は下記のように表すことができる。
$$
\large
\begin{align}
P_{M} &= A (A^{\mathrm{T}} A)^{-1} A^{\mathrm{T}} \\
P_{M^{\perp}} &= B (B^{\mathrm{T}} B)^{-1} B^{\mathrm{T}} = I_{p} \, – \, P_{M}
\end{align}
$$
$(2) \,$ $P_{M}, \, P_{M^{\perp}}$は対称行列である。
$(3) \,$ $P_{M}, \, P_{M^{\perp}}$はべき等行列である。
$(4) \,$ $\mathrm{tr}(P_{M}) = k, \, \mathrm{tr}(P_{M^{\perp}}) = p \, – \, k$
$(5) \,$ $\mathrm{rank}(P_{M}) = k, \, \mathrm{rank}(P_{M^{\perp}}) = p \, – \, k$
演習問題解答
問題$21.1$
・$[1]$
$$
\large
\begin{align}
\mathbf{a}_{1} = \left( \begin{array}{c} 1 \\ 1 \\ 0 \end{array} \right), \quad \mathbf{a}_{2} = \left( \begin{array}{c} 1 \\ -1 \\ 0 \end{array} \right)
\end{align}
$$
上記を元に、$\displaystyle A = \left( \begin{array}{cc} \mathbf{a}_{1} & \mathbf{a}_{2} \end{array} \right)$を下記のように定義する。
$$
\large
\begin{align}
A = \left( \begin{array}{cc} \mathbf{a}_{1} & \mathbf{a}_{2} \end{array} \right) = \left( \begin{array}{cc} 1 & 1 \\ 1 & -1 \\ 0 & 0 \end{array} \right)
\end{align}
$$
このとき射影行列$P_{M} = A (A^{\mathrm{T}} A)^{-1} A^{\mathrm{T}}$は下記のように計算できる。
$$
\large
\begin{align}
P_{M} &= A (A^{\mathrm{T}} A)^{-1} A^{\mathrm{T}} = A \left[ \left( \begin{array}{ccc} 1 & -1 & 0 \\ 1 & 1 & 0 \end{array} \right) \left( \begin{array}{cc} 1 & 1 \\ 1 & -1 \\ 0 & 0 \end{array} \right) \right]^{-1} A^{\mathrm{T}} \\
&= A \left( \begin{array}{cc} 2 & 0 \\ 0 & 2 \end{array} \right)^{-1} A^{\mathrm{T}} \\
&= \frac{1}{2} A A^{\mathrm{T}} \\
&= \frac{1}{2} \left( \begin{array}{cc} 1 & 1 \\ 1 & -1 \\ 0 & 0 \end{array} \right) \left( \begin{array}{ccc} 1 & -1 & 0 \\ 1 & 1 & 0 \end{array} \right) \\
&= \frac{1}{2} \left( \begin{array}{ccc} 2 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & 0 \end{array} \right) \\
&= \left( \begin{array}{ccc} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{array} \right)
\end{align}
$$
上記で確認した定義に基づいて、射影行列$P_{M}, \, P_{M^{\perp}}$について下記の$(1)$〜$(5)$が成立する。
$(1) \,$ 射影行列$P_{M}, \, P_{M^{\perp}}$は下記のように表すことができる。
$$
\large
\begin{align}
P_{M} &= A (A^{\mathrm{T}} A)^{-1} A^{\mathrm{T}} \\
P_{M^{\perp}} &= B (B^{\mathrm{T}} B)^{-1} B^{\mathrm{T}} = I_{p} \, – \, P_{M}
\end{align}
$$
$(2) \,$ $P_{M}, \, P_{M^{\perp}}$は対称行列である。
$(3) \,$ $P_{M}, \, P_{M^{\perp}}$はべき等行列である。
$(4) \,$ $\mathrm{tr}(P_{M}) = k, \, \mathrm{tr}(P_{M^{\perp}}) = p \, – \, k$
$(5) \,$ $\mathrm{rank}(P_{M}) = k, \, \mathrm{rank}(P_{M^{\perp}}) = p \, – \, k$
問題$21.2$
- Matrix Computations参照 ↩︎