対称行列(symmetric matrix)の固有値と固有ベクトルの性質とその導出

統計学や機械学習で出てくる行列は対称行列(symmetric matrix)である場合が多いですが、対称行列の取り扱いはやや特殊なので抑えておくと良いです。当記事では対称行列の固有値と固有ベクトルの性質とその導出について取りまとめました。
「統計学のための数学入門$30$講」の$23$章の「対称行列の固有値と固有ベクトル」を参考に作成を行いました。

・用語/公式解説
https://www.hello-statisticians.com/explain-terms

対称行列の固有値・固有ベクトルの性質

対称行列の固有値・固有ベクトルでは下記の性質がそれぞれ成立する。

$1. \,$ 対称行列の固有値は全て実数である。
$2. \,$ 対称行列の相異なる固有値に対応する固有ベクトルは直交する

導出

対称行列の固有値は全て実数

対称行列$A$の固有値を$\lambda$、固有値に対応する固有ベクトルを$\mathbf{x}$とおく。このとき、$\lambda$の共役複素数を$\bar{\lambda}$、$\mathbf{x}$の成分の共役複素数を成分に持つベクトルを$\bar{\mathbf{x}}$と定義する。

上記の定義は下記のような数式で表すことができる。
$$
\large
\begin{align}
A \mathbf{x} &= \lambda \mathbf{x} \quad (1) \\
A \bar{\mathbf{x}} &= \bar{\lambda} \bar{\mathbf{x}} \quad (2)
\end{align}
$$

$(1)$式に関して以下の変形が成立する。
$$
\large
\begin{align}
A \mathbf{x} &= \lambda \mathbf{x} \quad (1) \\
\bar{\mathbf{x}}^{\mathrm{T}} A \mathbf{x} &= \bar{\mathbf{x}}^{\mathrm{T}} (\lambda \mathbf{x}) \\
\bar{\mathbf{x}}^{\mathrm{T}} A \mathbf{x} &= \lambda \bar{\mathbf{x}}^{\mathrm{T}} \mathbf{x} \\
(\bar{\mathbf{x}}^{\mathrm{T}} A \mathbf{x})^{\mathrm{T}} &= (\lambda \bar{\mathbf{x}}^{\mathrm{T}} \mathbf{x})^{\mathrm{T}} \\
\mathbf{x}^{\mathrm{T}} A \bar{\mathbf{x}} &= \lambda \mathbf{x}^{\mathrm{T}} \bar{\mathbf{x}} \quad (3)
\end{align}
$$

途中の式変形にあたっては$A^{\mathrm{T}}=A$であることを用いた。

同様に$(2)$式に関して以下の変形が成立する。
$$
\large
\begin{align}
A \bar{\mathbf{x}} &= \bar{\lambda} \bar{\mathbf{x}} \quad (2) \\
\mathbf{x}^{\mathrm{T}} A \bar{\mathbf{x}} &= \mathbf{x}^{\mathrm{T}} (\bar{\lambda} \bar{\mathbf{x}}) \\
\mathbf{x}^{\mathrm{T}} A \bar{\mathbf{x}} &= \bar{\lambda} \mathbf{x}^{\mathrm{T}} \bar{\mathbf{x}} \quad (4)
\end{align}
$$

$(3), (4)$式より下記が成立する。
$$
\large
\begin{align}
\lambda \mathbf{x}^{\mathrm{T}} \bar{\mathbf{x}} &= \bar{\lambda} \mathbf{x}^{\mathrm{T}} \bar{\mathbf{x}} \\
(\lambda – \bar{\lambda}) \mathbf{x}^{\mathrm{T}} \bar{\mathbf{x}} &= 0
\end{align}
$$

ここで$\mathbf{x}^{\mathrm{T}} \bar{\mathbf{x}} > 0$より、$\lambda=\bar{\lambda}$が成立するので$\lambda$は実数である。

対称行列の固有ベクトルが直交

対称行列$A$の相異なる$2$つの固有値を$\lambda_1, \lambda_2$、それぞれの固有値に対応する固有ベクトルを$\mathbf{x}_{1}, \mathbf{x}_{2}$とおく。

上記は下記のような式で表せる。
$$
\large
\begin{align}
A \mathbf{x}_{1} &= \lambda_1 \mathbf{x}_{1} \quad (5) \\
A \mathbf{x}_{2} &= \lambda_2 \mathbf{x}_{2} \quad (6)
\end{align}
$$

このとき$A^{\mathrm{T}}=A$であることに基づいて$(5)$式について下記の変形が成立する。
$$
\large
\begin{align}
A \mathbf{x}_{1} &= \lambda_1 \mathbf{x}_{1} \quad (5) \\
\mathbf{x}_{2}^{\mathrm{T}} A \mathbf{x}_{1} &= \mathbf{x}_{2}^{\mathrm{T}} (\lambda_1 \mathbf{x}_{1}) \\
\mathbf{x}_{2}^{\mathrm{T}} A \mathbf{x}_{1} &= \lambda_1 \mathbf{x}_{2}^{\mathrm{T}} \mathbf{x}_{1} \\
(\mathbf{x}_{2}^{\mathrm{T}} A \mathbf{x}_{1})^{\mathrm{T}} &= (\lambda_1 \mathbf{x}_{2}^{\mathrm{T}} \mathbf{x}_{1})^{\mathrm{T}} \\
\mathbf{x}_{1}^{\mathrm{T}} A \mathbf{x}_{2} &= \lambda_1 \mathbf{x}_{1}^{\mathrm{T}} \mathbf{x}_{2} \quad (7)
\end{align}
$$

また、$(6)$式について下記が成立する。
$$
\large
\begin{align}
A \mathbf{x}_{2} &= \lambda_2 \mathbf{x}_{2} \quad (6) \\
\mathbf{x}_{1}^{\mathrm{T}} A \mathbf{x}_{2} &= \mathbf{x}_{1}^{\mathrm{T}} (\lambda_2 \mathbf{x}_{2}) \\
\mathbf{x}_{1}^{\mathrm{T}} A \mathbf{x}_{2} &= \lambda_2 \mathbf{x}_{1}^{\mathrm{T}} \mathbf{x}_{2} \quad (8)
\end{align}
$$

$(7), (8)$式より下記が成立する。
$$
\large
\begin{align}
\lambda_1 \mathbf{x}_{1}^{\mathrm{T}} \mathbf{x}_{2} &= \lambda_2 \mathbf{x}_{1}^{\mathrm{T}} \mathbf{x}_{2} \\
(\lambda_1 \, – \, \lambda_2) \mathbf{x}_{1}^{\mathrm{T}} \mathbf{x}_{2} &= 0 \quad (9)
\end{align}
$$

ここで$\lambda_1 \neq \lambda_2$を仮定したので、$(9)$式より$\mathbf{x}_{1}^{\mathrm{T}} \mathbf{x}_{2}=0$が成立するが、$\mathbf{x}_{1}, \mathbf{x}_{2}$はどちらも零ベクトルではないので、$\mathbf{x}_{1} \perp \mathbf{x}_{2}$が成立する。

上記を用いることで、「$n \times n$対称行列が$n$個の相異なる固有値を持つとき、大きさ$1$の固有ベクトルを並べた行列は直交行列になる」ということも示すことができる。