対称行列における正定値行列・非負定値行列・負定値行列の性質とその導出

正定値行列(positive definite matrix)は行列に対する任意のベクトルの$2$次形式が常に正である場合の行列に対応します。当記事では正定値行列、非負定値行列、負定値行列について成立する式や性質とその導出について取り扱いました。
「統計学のための数学入門$30$講」の$23.2$節の「正定値行列・非負定値行列・負定値行列の性質」や「Matrix Computations」Section$4.2$の「Positive Definite Systems」を参考に作成を行いました。

・用語/公式解説
https://www.hello-statisticians.com/explain-terms

正定値行列・非負定値行列・負定値行列の定義と性質

正方行列$A$の$2$次形式

$p$次正方行列$A \in \mathbb{R}^{p \times p}$のベクトル$\mathbf{x} \in \mathbb{R}^{p}$についての$2$次形式を$q(\mathbf{x})$とおくと、$q(\mathbf{x})$は下記のように定義される。
$$
\large
\begin{align}
q(\mathbf{x}) = \mathbf{x}^{\mathrm{T}} A \mathbf{x}
\end{align}
$$

$2$次形式について詳しくは下記で取り扱った。

二次形式(quadratic form)と対称行列(symmetric matrix)の対応

正定値行列・非負定値行列・負定値行列の定義

$p$次正方行列$A \in \mathbb{R}^{p \times p}$が正定値行列であることは任意のベクトル$\mathbf{x} \in \mathbb{R}^{p}$について下記が成立することと同値である。
$$
\large
\begin{align}
\mathbf{x}^{\mathrm{T}} A \mathbf{x} > 0
\end{align}
$$

正方行列$A$が正定値行列であることを$A > O$のように表す場合もある。同様に$A$が非負定値行列・負定値行列である場合は下記のように表される。

・非負定値行列
$$
\large
\begin{align}
A \geq O \iff \mathbf{x}^{\mathrm{T}} A \mathbf{x} \geq 0, \, {}^{\forall} \mathbf{x} \in \mathbb{R}^{p}
\end{align}
$$

・負定値行列
$$
\large
\begin{align}
A < O \iff \mathbf{x}^{\mathrm{T}} A \mathbf{x} < 0, \, {}^{\forall} \mathbf{x} \in \mathbb{R}^{p}
\end{align}
$$

対称行列における正定値行列・非負定値行列・負定値行列の性質

$A$が$p$次対称行列である場合、下記がそれぞれ成立する。
$(1) \,$ $A > O$ $\, \iff \,$ 行列$A$の固有値が全て正
$(2) \,$ $A \geq O$ $\, \iff \,$ 行列$A$の固有値が全て$0$以上
$(3) \,$ $A < O$ $\, \iff \,$ 行列$A$の固有値が全て負
$(4) \,$ $A > O \, \implies \, \det{(A)} > 0$
$(5) \,$ $A \geq O \, \implies \, \det{(A)} \geq 0$
$(6) \,$ $A > O$なら逆行列$A^{-1} > O$が存在し、$A^{-1} > O$である
$(7) \,$ $A \geq B > O$なら$|A| \geq |B|$である
$(8) \,$ $A \geq B > O$なら$B^{-1} \geq A^{-1}$である
$(9) \,$ $B \in \mathbb{R}^{p \times q}$のとき、$B^{\mathrm{T}}B$と$BB^{\mathrm{T}}$の正の固有値の個数と固有値の値は一致する
$(10) \,$ $A > O$のとき$-A < O$である

導出

$(1)$〜$(3)$の導出

$(1)$の導出

・「$A > O$ $\, \implies \,$ $\lambda > 0$」の導出
行列$A \in \mathbb{R}^{p \times p}$の固有値を$\lambda$、$\lambda$に対応する長さ$1$の固有ベクトルを$\mathbf{x} \in \mathbb{R}^{p}$とおくと下記が成立する。
$$
\large
\begin{align}
A \mathbf{x} = \lambda \mathbf{x}
\end{align}
$$

ここで上記の式に$\mathbf{x}^{\mathrm{T}}$を左からかけるとき、$\lambda$がスカラーであるので下記のような式変形が得られる。
$$
\large
\begin{align}
\mathbf{x}^{\mathrm{T}} A \mathbf{x} &= \mathbf{x}^{\mathrm{T}} (\lambda \mathbf{x}) \\
\mathbf{x}^{\mathrm{T}} A \mathbf{x} &= \lambda \mathbf{x}^{\mathrm{T}} \mathbf{x} \\
&= \lambda
\end{align}
$$

$A > O$であるとき${}^{\forall} \mathbf{x} \in \mathbb{R}^{p}$について$\mathbf{x}^{\mathrm{T}} A \mathbf{x} > 0$であるので「$A > O$ $\, \implies \,$ $\lambda > 0$」が成立する。

・「$\lambda > 0$ $\, \implies \,$ $A > O$」の導出
$A$の固有値を$\lambda_{i}, \, i=1, \cdots , p$とおき、$\lambda_{i} > 0$を仮定する。このとき$\lambda_{i}$に対応する長さ$1$の固有ベクトルを$\mathbf{u}_{i}$とおくと、スペクトル分解の式に基づいて下記が成立する。
$$
\large
\begin{align}
A = \sum_{i=1}^{p} \lambda_{i} \mathbf{u}_{i} \mathbf{u}_{i}^{\mathrm{T}}
\end{align}
$$

ここで$\mathbf{x}^{\mathrm{T}} A \mathbf{x}$に上記を代入することで下記が得られる。
$$
\large
\begin{align}
\mathbf{x}^{\mathrm{T}} A \mathbf{x} &= \mathbf{x}^{\mathrm{T}} \left( \sum_{i=1}^{p} \lambda_{i} \mathbf{u}_{i} \mathbf{u}_{i}^{\mathrm{T}} \right) \mathbf{x} \\
&= \sum_{i=1}^{p} \lambda_{i} \mathbf{x}^{\mathrm{T}} \mathbf{u}_{i} \mathbf{u}_{i}^{\mathrm{T}} \mathbf{x} \\
&= \sum_{i=1}^{p} \lambda_{i} (\mathbf{x}^{\mathrm{T}} \mathbf{u}_{i})^{2}
\end{align}
$$

「$\lambda_{i} > 0$を仮定した」かつ「$\mathbf{x}$が固有ベクトル$\mathbf{u}_{1}, \cdots , \mathbf{u}_{p}$全てと直交することはない¹」ので、上記より$\mathbf{x}^{\mathrm{T}} A \mathbf{x} > 0$が成立する。よって$A > O$である。

$(2), (3)$の導出

$(1)$式の$>$を$\geq$や$<$に置き換えることで同様に示すことができる。

$(4), (5)$の導出

固有値分解の式より、直交行列$U$を用いて$A = U^{\mathrm{T}} \Lambda U$が成立する。このとき$|U|=1$であるので$\det{(A)} = |A|$は下記のように計算できる。
$$
\large
\begin{align}
\det{(A)} &= |A| = |U^{\mathrm{T}} \Lambda U| \\
&= |U^{\mathrm{T}}| |\Lambda| |U| \\
&= |\Lambda| = \prod_{i=1}^{p} \lambda_{i}
\end{align}
$$

ここで「$A > O \, \iff \, \lambda_{i} > 0$」、「$A \geq O \, \iff \, \lambda_{i} \geq 0$」なので、$(4)$と$(5)$がそれぞれ成立する。

$(6)$の導出

正定値行列は固有値が全て正であるので、行列式が正であり逆行列を持つ。ここで$A = U^{\mathrm{T}} \Lambda U$のように固有値分解の式を仮定するとき、$A^{-1}$について下記が成立する。
$$
\large
\begin{align}
A^{-1} &= (U^{\mathrm{T}} \Lambda U)^{-1} \\
&= U^{-1} \Lambda^{-1} (U^{\mathrm{T}})^{-1} \\
&= U^{\mathrm{T}} \Lambda^{-1} U
\end{align}
$$

ここで$\Lambda$の対角成分を$\lambda_{1}, \cdots , \lambda_{p}$とおくと、$\Lambda^{-1}$の対角成分は$\displaystyle \frac{1}{\lambda_{1}} , \cdots , \frac{1}{\lambda_{p}}$で表される。

$\lambda_{i}>0, \, {}^{\forall} i \in \{ 1, \cdots , p \}$のとき$\displaystyle \frac{1}{\lambda_{i}}>0, \, {}^{\forall} i \in \{ 1, \cdots , p \}$が成立するので$A > O$のとき$A^{-1} > O$である。

$(7), (8)$の導出

$(9)$の導出

$\lambda$を$B^{\mathrm{T}} B$の固有値、$\mathbf{x}$を対応する固有ベクトルとする。このとき下記が成立する。
$$
\large
\begin{align}
B^{\mathrm{T}} B \mathbf{x} = \lambda \mathbf{x}
\end{align}
$$

ここで上記に$B$を左からかけると下記が成立する。
$$
\large
\begin{align}
B B^{\mathrm{T}} B \mathbf{x} &= B \lambda \mathbf{x} \\
(B B^{\mathrm{T}}) B \mathbf{x} &= \lambda B \mathbf{x}
\end{align}
$$

上記より、$\lambda$が$B B^{\mathrm{T}}$の固有値、$B \mathbf{x}$が対応する固有ベクトルであることが確認できる。このことは全ての$\lambda$について成立するので「$B^{\mathrm{T}}B$と$BB^{\mathrm{T}}$の正の固有値の個数と固有値の値は一致する」ことが確認できる。

$(10)$の導出

$(1)$の導出と同様に示すことができる。

1. $\mathbf{u}_{1}, \cdots \mathbf{u}_{p}$はそれぞれ$1$次独立であるから、$\mathbf{x}$が全ての固有ベクトル$\mathbf{u}_{1}, \cdots \mathbf{u}_{p}$とは直交できない。 ↩︎