当記事は「統計学のための数学入門$30$講(朝倉書店)」の読解サポートにあたってChapter.$23$の「対称行列の固有値と固有ベクトル」の章末問題の解答の作成を行いました。
基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。
・書籍解答まとめ
https://www.hello-statisticians.com/answer_textbook_math#math_stat
本章のまとめ
対称行列の固有値・固有ベクトルの性質
問題$23.1$で使用するので、$23.1$節、P.$144$の「対称行列の固有値・固有ベクトルの性質」の内容を以下にまとめる。
$p$次の正方行列$A$の固有値$\lambda_i$に関して下記が成立する。
$(1) \,$ 対称行列の固有値は全て実数である。
$(2) \,$ 対称行列の相異なる固有値に対応する固有ベクトルは直交する
上記の導出については下記で詳しく取り扱った。
対称行列の対角化とスペクトル分解
$p$次の対称行列$A$について下記の$(1)$と$(2)$が成立する。
・$(1) \,$ $p$次の対称行列$A$は$A$の固有ベクトルによって作成される直交行列$U$を用いて下記のように対角化が可能である。
$$
\large
\begin{align}
U^{\mathrm{T}} A U &= \Lambda = \left(\begin{array}{ccccc} \lambda_1 & 0 & 0 & \cdots & 0 \\ 0 & \lambda_2 & 0 & \cdots & 0 \\ 0 & 0 & \lambda_3 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & \lambda_{p} \end{array} \right)
\end{align}
$$
・$(2) \,$
・$2)$ $p$次の対称行列$A$は固有値$\lambda_1, \cdots , \lambda_{p}$とそれぞれの固有値に対応する長さ$1$の固有ベクトル$\mathbf{u}_{1}, \cdots , \mathbf{u}_{p}$を用いて次のように表せる。
$$
\large
\begin{align}
A &= U \Lambda U^{\mathrm{T}} = \sum_{i=1}^{p} \lambda_{i} \mathbf{u}_{i} \mathbf{u}_{i}^{\mathrm{T}}
\end{align}
$$
この変形をスペクトル分解という。上記の式変形や導出の詳細については下記で取り扱った。
演習問題解答
問題$23.1$
$$
\large
\begin{align}
A = \left(\begin{array}{ccc} 1 & 0 & 2 \\ 0 & 1 & 0 \\ 2 & 0 & 1 \end{array} \right)
\end{align}
$$
上記の行列$A$に対し、固有方程式$\det(\lambda I_3 – A)=0$は下記のように解くことができる。
$$
\large
\begin{align}
\det(\lambda I_3 – A) &= \left| \begin{array}{ccc} \lambda-1 & 0 & -2 \\ 0 & \lambda-1 & 0 \\ -2 & 0 & \lambda-1 \end{array} \right| \\
&= (\lambda-1) \cdot (-1)^{2+2} \cdot \left| \begin{array}{cc} \lambda-1 & -2 \\ -2 & \lambda-1 \end{array} \right| \\
&= (\lambda-1)[(\lambda-1)^2 – (-2)^2] = 0 \\
(\lambda-1)[(\lambda-1)^2 – 2^2] &= 0 \\
(\lambda-1)(\lambda-1+2)(\lambda-1-2) &= 0 \\
(\lambda+1)(\lambda-1)(\lambda-3) &= 0 \\
\lambda &= -1, \, 1 ,\ 3
\end{align}
$$
以下、上記で得られたそれぞれの固有値に対し、長さ$1$の固有ベクトル$\left(\begin{array}{c} x \\ y \\ z \end{array} \right)$の計算を行う。
・$\lambda_1=3$
$$
\large
\begin{align}
\left(\begin{array}{ccc} 1 & 0 & 2 \\ 0 & 1 & 0 \\ 2 & 0 & 1 \end{array} \right) \left(\begin{array}{c} x \\ y \\ z \end{array} \right) &= -\left(\begin{array}{c} x \\ y \\ z \end{array} \right) \\
\left(\begin{array}{c} x+2z \\ y \\ 2x+z \end{array} \right) &= \left(\begin{array}{c} 3x \\ 3y \\ 3z \end{array} \right)
\end{align}
$$
上記より$x=z, y=0$が得られるので、$\lambda_1=3$に対応する長さ$1$の固有ベクトル$\mathbf{u}_{1}=\left(\begin{array}{c} x \\ y \\ z \end{array} \right)$は下記のように得られる。
$$
\large
\begin{align}
\mathbf{u}_{1} = \frac{1}{\sqrt{2}} \left(\begin{array}{c} 1 \\ 0 \\ 1 \end{array} \right)
\end{align}
$$
・$\lambda_2=1$
$$
\large
\begin{align}
\left(\begin{array}{ccc} 1 & 0 & 2 \\ 0 & 1 & 0 \\ 2 & 0 & 1 \end{array} \right) \left(\begin{array}{c} x \\ y \\ z \end{array} \right) &= \left(\begin{array}{c} x \\ y \\ z \end{array} \right) \\
\left(\begin{array}{c} x+2z \\ y \\ 2x+z \end{array} \right) &= \left(\begin{array}{c} x \\ y \\ z \end{array} \right)
\end{align}
$$
上記より$x=z=0$が得られるので、$\lambda_2=1$に対応する長さ$1$の固有ベクトル$\mathbf{u}_{2}=\left(\begin{array}{c} x \\ y \\ z \end{array} \right)$は下記のように得られる。
$$
\large
\begin{align}
\mathbf{u}_{2} = \left(\begin{array}{c} 0 \\ 1 \\ 0 \end{array} \right)
\end{align}
$$
・$\lambda_1=-1$
$$
\large
\begin{align}
\left(\begin{array}{ccc} 1 & 0 & 2 \\ 0 & 1 & 0 \\ 2 & 0 & 1 \end{array} \right) \left(\begin{array}{c} x \\ y \\ z \end{array} \right) &= -\left(\begin{array}{c} x \\ y \\ z \end{array} \right) \\
\left(\begin{array}{c} x+2z \\ y \\ 2x+z \end{array} \right) &= \left(\begin{array}{c} -x \\ -y \\ -z \end{array} \right)
\end{align}
$$
上記より$x=-z, y=0$が得られるので、$\lambda_3=-1$に対応する長さ$1$の固有ベクトル$\mathbf{u}_{3}=\left(\begin{array}{c} x \\ y \\ z \end{array} \right)$は下記のように得られる。
$$
\large
\begin{align}
\mathbf{v}_{3} = \frac{1}{\sqrt{2}} \left(\begin{array}{c} 1 \\ 0 \\ -1 \end{array} \right)
\end{align}
$$
ここまでの導出結果に対し、$\lambda = 3, \, 1 ,\ -1$が全て実数で、固有ベクトル$\mathbf{u}_{1}, \mathbf{u}_{2}, \mathbf{u}_{3}$に対してそれぞれ内積を取ると$0$に一致することが確認できる。
よって行列$A$に対してP.$144$でまとめられた「対称行列の固有値・固有ベクトルの性質」が成立することが確認できる。
問題$23.2$
$$
\large
\begin{align}
U = \left(\begin{array}{ccc} \mathbf{u}_{1} & \mathbf{u}_{2} & \mathbf{u}_{3} \end{array} \right) = \frac{1}{\sqrt{2}} \left(\begin{array}{ccc} 1 & 0 & 1 \\ 0 & \sqrt{2} & 0 \\ 1 & 0 & -1 \end{array} \right)
\end{align}
$$
上記のように$U$を定義すると、「問題$23.1$の解答」より$U$が直交行列であるので、$U^{\mathrm{T}} = U^{-1}$は下記のように表すことができる。
$$
\large
\begin{align}
U^{\mathrm{T}} = \frac{1}{\sqrt{2}} \left(\begin{array}{ccc} 1 & 0 & 1 \\ 0 & \sqrt{2} & 0 \\ 1 & 0 & -1 \end{array} \right)
\end{align}
$$
よって$A$の対角化は下記のように$U^{\mathrm{T}} A U$を計算することで行うことができる。
$$
\large
\begin{align}
U^{\mathrm{T}} A U &= \frac{1}{\sqrt{2}} \left(\begin{array}{ccc} 1 & 0 & 1 \\ 0 & \sqrt{2} & 0 \\ 1 & 0 & -1 \end{array} \right)\left(\begin{array}{ccc} 1 & 0 & 2 \\ 0 & 1 & 0 \\ 2 & 0 & 1 \end{array} \right) U \\
&= \frac{1}{\sqrt{2}} \left(\begin{array}{ccc} 3 & 0 & 3 \\ 0 & \sqrt{2} & 0 \\ -1 & 0 & 1 \end{array} \right) U \\
&= \frac{1}{2} \left(\begin{array}{ccc} 3 & 0 & 3 \\ 0 & \sqrt{2} & 0 \\ -1 & 0 & 1 \end{array} \right) \left(\begin{array}{ccc} 1 & 0 & 1 \\ 0 & \sqrt{2} & 0 \\ 1 & 0 & -1 \end{array} \right) \\
&= \frac{1}{2} \left(\begin{array}{ccc} 6 & 0 & 0 \\ 0 & 2 & 0 \\ 0 & 0 & -2 \end{array} \right) \\
&= \left(\begin{array}{ccc} 3 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & -1 \end{array} \right) = \Lambda
\end{align}
$$
また、$A$は下記のようにスペクトル分解を行うことができる。
$$
\large
\begin{align}
A &= \lambda_{1} \mathbf{u}_{1} \mathbf{u}_{1}^{\mathrm{T}} + \lambda_{2} \mathbf{u}_{2} \mathbf{u}_{2}^{\mathrm{T}} + \lambda_{3} \mathbf{u}_{3} \mathbf{u}_{3}^{\mathrm{T}} \\
&= \frac{3}{2} \left( \begin{array}{c} 1 \\ 0 \\ 1 \end{array} \right) \left( \begin{array}{ccc} 1 & 0 & 1 \end{array} \right) + \left(\begin{array}{c} 0 \\ 1 \\ 0 \end{array} \right) \left(\begin{array}{ccc} 0 & 1 & 0 \end{array} \right) + \frac{-1}{2} \left(\begin{array}{c} 1 \\ 0 \\ -1 \end{array} \right) \left(\begin{array}{ccc} 1 & 0 & -1 \end{array} \right) \\
&= \frac{3}{2} \left( \begin{array}{ccc} 1 & 0 & 1 \\ 0 & 0 & 0 \\ 1 & 0 & 1 \end{array} \right) + \left(\begin{array}{ccc} 0 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{array} \right) \, – \, \frac{1}{2} \left(\begin{array}{ccc} 1 & 0 & -1 \\ 0 & 0 & 0 \\ -1 & 0 & 1 \end{array} \right)
\end{align}
$$
同様に$A^{-1}$は下記のように得ることができる。
$$
\large
\begin{align}
A^{-1} &= \frac{1}{\lambda_{1}} \mathbf{u}_{1} \mathbf{u}_{1}^{\mathrm{T}} + \frac{1}{\lambda_{2}} \mathbf{u}_{2} \mathbf{u}_{2}^{\mathrm{T}} + \frac{1}{\lambda_{3}} \mathbf{u}_{3} \mathbf{u}_{3}^{\mathrm{T}} \\
&= \frac{1}{6} \left( \begin{array}{c} 1 \\ 0 \\ 1 \end{array} \right) \frac{1}{\sqrt{2}} \left( \begin{array}{ccc} 1 & 0 & 1 \end{array} \right) + \left(\begin{array}{c} 0 \\ 1 \\ 0 \end{array} \right) \left(\begin{array}{ccc} 0 & 1 & 0 \end{array} \right) + \frac{-1}{2} \left(\begin{array}{c} 1 \\ 0 \\ -1 \end{array} \right) \left(\begin{array}{ccc} 1 & 0 & -1 \end{array} \right) \\
&= \frac{1}{6} \left( \begin{array}{ccc} 1 & 0 & 1 \\ 0 & 0 & 0 \\ 1 & 0 & 1 \end{array} \right) + \left(\begin{array}{ccc} 0 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{array} \right) \, – \, \frac{1}{2} \left(\begin{array}{ccc} 1 & 0 & -1 \\ 0 & 0 & 0 \\ -1 & 0 & 1 \end{array} \right) \\
&= \frac{1}{6} \left(\begin{array}{ccc} 1 \, – \, 3 & 0 & 1+3 \\ 0 & 6 & 0 \\ 1+3 & 0 & 1 \, – \, 3 \end{array} \right) \\
&= \frac{1}{6} \left(\begin{array}{ccc} -2 & 0 & 4 \\ 0 & 6 & 0 \\ 4 & 0 & -2 \end{array} \right) \\
&= \frac{1}{3} \left(\begin{array}{ccc} -1 & 0 & 2 \\ 0 & 3 & 0 \\ 2 & 0 & -1 \end{array} \right)
\end{align}
$$
・解説
$A^{-1} A$が下記のように計算できることも合わせて確認しておくと良いと思います。
$$
\large
\begin{align}
A^{-1} A &= \frac{1}{3} \left(\begin{array}{ccc} -1 & 0 & 2 \\ 0 & 3 & 0 \\ 2 & 0 & -1 \end{array} \right) \left(\begin{array}{ccc} 1 & 0 & 2 \\ 0 & 1 & 0 \\ 2 & 0 & 1 \end{array} \right) \\
&= \frac{1}{3} \left(\begin{array}{ccc} 3 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & 3 \end{array} \right) \\
&= \left(\begin{array}{ccc} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{array} \right) = I
\end{align}
$$