ブログ

最小多項式(minimal polynomial)と対角化可能性の判定

行列$A$を代入すると零行列$O$になる多項式の中で「次数が最小」かつ「最高次の係数が$1$」である多項式を最小多項式(minimal polynomial)といいます。当記事では最小多項式と行列の対角化可能性の判定法と具体例について取りまとめを行いました。
作成にあたっては「チャート式シリーズ 大学教養 線形代数」の第$8$章「固有値問題と行列の対角化」を主に参考にしました。

・数学まとめ
https://www.hello-statisticians.com/math_basic

最小多項式と対角化可能性

最小多項式の定義

$n$次正方行列$A$に対して集合$I_{A}$を下記のように定義する。
$$
\large
\begin{align}
I_{A} = \{ f(t) \, | \, f(A) = O \}
\end{align}
$$

上記は$I_{A}$が「$A$を代入すると零行列になるような多項式の全体がなす集合」と解釈できる。このように定義を行なった集合$I_{A}$における「次数が最小」かつ「多項式の最高次数の係数が$1$」である多項式を最小多項式(minimal polynomial)という。

最小多項式と対角化可能性

$n$次正方行列$A$の最小多項式を$p_{A}(t)$とおくとき、下記の$[1]$〜$[3]$は同値である。
$[1] \,$ 行列$A$は対角化可能である。
$[2] \,$ 方程式$p_{A}(t)=0$は重解を持たない。
$[3] \,$ 行列$A$の相異なる全ての固有値を$\lambda_{1}, \cdots , \lambda_{r}$とするとき、最小多項式$p_{A}(t)$が下記のように分解できる。
$$
\large
\begin{align}
p_{A}(t) = \prod_{i=1}^{r} (t \, – \, \lambda_{i})
\end{align}
$$

最小多項式の使用例

以下、「チャート式シリーズ 大学教養 線形代数」の例題の確認を行う。

基本例題$175$

$$
\large
\begin{align}
A = \left( \begin{array}{ccc} 1 & -1 & 1 \\ 1 & 1 & 1 \\ 0 & 2 & 0 \end{array} \right)
\end{align}
$$

行列$A$の固有多項式を$F_{A}(t)$、最小多項式を$p_{A}(t)$とおく。このとき、$F_{A}(t) = \det{(tI_{3} \, – \, A)}$は下記のように得ることができる。
$$
\large
\begin{align}
F_{A}(t) &= \det{(tI_{3} \, – \, A)} = \left| \begin{array}{ccc} t \, – \, 1 & 1 & -1 \\ -1 & t \, – \, 1 & -1 \\ 0 & -2 & t \end{array} \right| \\
&= \left| \begin{array}{ccc} 0 & t^{2} \, – \, 2t + 2 & -t \\ -1 & t \, – \, 1 & -1 \\ 0 & -2 & t \end{array} \right| \\
&= (-1) \cdot (-1)^{2+1} \left| \begin{array}{cc} t^{2} \, – \, 2t + 2 & -t \ -2 & t \end{array} \right| \\
&= t(t^{2} \, – \, 2t + 2) \, – \, 2t \\
&= t^{3} \, – \, 2 t^{2} \\
&= t^{2}(t \, – \, 2)
\end{align}
$$

上記より$p_{A}(t) = t(t-2) \, \mathrm{or} \, t^{2}(t-2)$である。ここで$p(t)=t(t-2)$とおくと、$p(A)$は下記のように計算できる。
$$
\large
\begin{align}
p(A) &= A(A \, – \, 2I_{3}) = \left( \begin{array}{ccc} 1 & -1 & 1 \\ 1 & 1 & 1 \\ 0 & 2 & 0 \end{array} \right)\left( \begin{array}{ccc} -1 & -1 & 1 \\ 1 & -1 & 1 \\ 0 & 2 & -2 \end{array} \right) \\
&= \left( \begin{array}{ccc} -2 & 2 & -2 \\ 0 & 0 & 0 \\ 2 & -2 & 2 \end{array} \right) \neq O
\end{align}
$$

上記より$p_{A}(t)=t^{2}(t-2)$である。ここで$p_{A}(t)=0$が重解を持つので行列$A$は対角化不可能である。

重要例題$085$

二次形式(quadratic form)の正定値かどうかの判定と標準形・シルベスター標準形

$n$個の変数についての$2$次の単項式$x_i, x_j$の実数係数の$1$次結合の式を$2$次形式(quadratic form)といいます。当記事では$2$次形式が正定値かどうかの判定と$2$次形式の標準形やシルベスター標準形についてそれぞれ確認を行いました。
作成にあたっては「チャート式シリーズ 大学教養 線形代数」の第$8$章「固有値問題と行列の対角化」を主に参考にしました。

・数学まとめ
https://www.hello-statisticians.com/math_basic

正定値かどうかの判定・標準形

正定値かどうかの確認

標準形

$\mathbb{R}$上の$n$変数の$2$次形式を$q(x_1, \cdots , x_n)$とおく。
$$
\large
\begin{align}
\left( \begin{array}{c} x_{1} \\ \vdots \\ x_{n} \end{array} \right) = U \left( \begin{array}{c} x_{1}’ \\ \vdots \\ x_{n}’ \end{array} \right)
\end{align}
$$

このとき上記のような行列$U$による変数変換によって、$q(x_1, \cdots , x_n)$は下記のような形に変換することができる。
$$
\large
\begin{align}
q(x_1, \cdots , x_n) &= \lambda_{1} x_{1}’^{2} + \cdots + \lambda_{n} x_{n}’^{2}
\lambda_{1}, \cdots , \lambda_{n} & \in \mathbb{R}
\end{align}
$$

上記のような形式の$2$次形式を標準形という。任意の$2$次形式は対応する行列$U$を用いた直交変換によって標準形に変換することができる。

シルベスター標準形

$\mathbb{R}$上の$n$変数の$2$次形式を$q(x_1, \cdots , x_n)$とおく。
$$
\large
\begin{align}
\left( \begin{array}{c} x_{1} \\ \vdots \\ x_{n} \end{array} \right) = P \left( \begin{array}{c} x_{1}’ \\ \vdots \\ x_{n}’ \end{array} \right)
\end{align}
$$

このとき上記のような行列$P$による変数変換によって、$q(x_1, \cdots , x_n)$は下記のような形に変換することができる。
$$
\large
\begin{align}
q(x_1, \cdots , x_n) &= x_{1}’^{2} + \cdots + x_{n_{+}}’^{2} – x_{n_{+}+1}’^{2} – \cdots – x_{n_{+} + n_{-}}’^{2}
\end{align}
$$

上記のような形式の$2$次形式をシルベスター標準形という。ここで$n_{+}$を$2$次形式$q$の正の慣性指数、$n_{-}$を$q$の負の慣性指数という。

計算例

以下、「チャート式シリーズ 大学教養 線形代数」の例題の確認を行う。

基本例題$163$

基本例題$164$

・$[1]$
$$
\large
\begin{align}
q(x_1, \cdots , x_3) = 4x_{1}^{2} + 2x_{2}^{2} + 3x_{3}^{2} – 4x_{1}x_{2} – 4x_{2}x_{3} + 4x_{3}x_{1}
\end{align}
$$

上記の式は下記のように平方完成することができる。
$$
\large
\begin{align}
q(x_1, \cdots , x_n) &= 4x_{1}^{2} + 2x_{2}^{2} + 3x_{3}^{2} – 4x_{1}x_{2} – 4x_{2}x_{3} + 4x_{3}x_{1}
&= (2x_{1}-x_{2}+x_{3})^{2} + (x_{2}-x_{3})^{2} + x_{3}^{2}
\end{align}
$$

ここで$x_{1}’=2x_{1}-x_{2}+x_{3}$、x_{2}’=x_{2}-x_{3}$、$x_{3}’=x_{3}$とおくと下記が成立する。
$$
\large
\begin{align}
\left( \begin{array}{c} x_{1}’ \\ x_{2}’ \\ x_{3}’ \end{array} \right) &= \left( \begin{array}{c} 2 & -1 & 1 \\ 0 & 1 & -1 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{c} x_{1} \\ x_{2} \\ x_{3} \end{array} \right) \\
\left( \begin{array}{c} x_{1} \\ x_{2} \\ x_{3} \end{array} \right) &= \left( \begin{array}{c} 2 & -1 & 1 \\ 0 & 1 & -1 \\ 0 & 0 & 1 \end{array} \right)^{-1} \left( \begin{array}{c} x_{1}’ \\ x_{2}’ \\ x_{3}’ \end{array} \right)
\left( \begin{array}{c} x_{1} \\ x_{2} \\ x_{3} \end{array} \right) &= U \left( \begin{array}{c} x_{1}’ \\ x_{2}’ \\ x_{3}’ \end{array} \right) \quad (1)
\end{align}
$$

上記より、与えられた$2$次形式$q(x_1, \cdots , x_3)$は$(1)$式のような変数変換によって標準形$q(x_1, \cdots , x_3)=x_{1}’^{2} + x_{2}’^{2} + x_{3}’^{2}$に変換される。この標準形はシルベスター標準形でもある。

表現行列⑤:部分空間への正射影作用素の表現行列(representation matrix)

ベクトル空間$V$からベクトル空間$W$への線形写像$f:V \longrightarrow W$について、それぞれのベクトル空間$V, W$の基底に基づく演算の際に表現行列が用いられます。当記事では部分空間への正射影作用素の表現行列について取りまとめを行いました。
作成にあたっては「チャート式シリーズ 大学教養 線形代数」の第$6$章「線形写像」を主に参考にしました。

・数学まとめ
https://www.hello-statisticians.com/math_basic

部分空間への正射影作用素の表現行列

表現行列

$$
\large
\begin{align}
\left( \begin{array}{ccc} f(\mathbf{v}_{1}) & \cdots & f(\mathbf{v}_{n}) \end{array} \right) = \left( \begin{array}{ccc} \mathbf{w}_{1} & \cdots & \mathbf{w}_{m} \end{array} \right) \left( \begin{array}{ccc} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} & \cdots & a_{mn} \end{array} \right)
\end{align}
$$

線形写像$f:V \longrightarrow W$の表現行列$A$は上記を元に下記のように定義される。

$$
\large
\begin{align}
A = \left( \begin{array}{ccc} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} & \cdots & a_{mn} \end{array} \right)
\end{align}
$$

詳しくは下記で取り扱った。
https://www.hello-statisticians.com/math_basic/representation_matrix1.html

正射影作用素

正射影作用素の表現行列

計算例

以下、「チャート式シリーズ 大学教養 線形代数」の例題の確認を行う。

基本例題$141$

重要例題$072$

表現行列④:基底変換と線形写像の表現行列(representation matrix)

ベクトル空間$V$からベクトル空間$W$への線形写像$f:V \longrightarrow W$について、それぞれのベクトル空間$V, W$の基底に基づく演算の際に表現行列(representation matrix)が用いられます。当記事では基底変換と線形写像の表現行列について取り扱いました。
作成にあたっては「チャート式シリーズ 大学教養 線形代数」の第$6$章「線形写像」を主に参考にしました。

・数学まとめ
https://www.hello-statisticians.com/math_basic

基底変換と線形写像の表現行列

基底の変換行列

$n$次元ベクトル空間$V$の$2$つの基底を下記のように定義する。
$$
\large
\begin{align}
\left\{ \mathbf{v}_{1}, \, \cdots , \, \mathbf{v}_{n} \right\} \quad (1) \\
\left\{ \mathbf{v}_{1}’, \, \cdots , \, \mathbf{v}_{n}’ \right\} \quad (2)
\end{align}
$$

このとき$(1)$と$(2)$に関する$1$次変換の表現行列を$P$とおくと、下記が成立する。
$$
\large
\begin{align}
\left( \begin{array}{ccc} \mathbf{v}_{1}’ & \cdots & \mathbf{v}_{n}’ \end{array} \right) = \left( \begin{array}{ccc} \mathbf{v}_{1} & \cdots & \mathbf{v}_{n} \end{array} \right) P
\end{align}
$$

上記の行列$P$を基底$(1)$から基底$(2)$への変換行列という。基底の変換行列は正則行列であるので、上記の行列$P$は$n$次正則行列である。基底の変換行列は下記でも取り扱った。
https://www.hello-statisticians.com/math_basic/change-of-basis_matrix1

表現行列

$$
\large
\begin{align}
\left( \begin{array}{ccc} f(\mathbf{v}_{1}) & \cdots & f(\mathbf{v}_{n}) \end{array} \right) = \left( \begin{array}{ccc} \mathbf{w}_{1} & \cdots & \mathbf{w}_{m} \end{array} \right) \left( \begin{array}{ccc} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} & \cdots & a_{mn} \end{array} \right)
\end{align}
$$

線形写像$f:V \longrightarrow W$の表現行列$A$は上記を元に下記のように定義される。
$$
\large
\begin{align}
A = \left( \begin{array}{ccc} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} & \cdots & a_{mn} \end{array} \right)
\end{align}
$$

詳しくは下記で取り扱った。
https://www.hello-statisticians.com/math_basic/representation_matrix1.html

計算例

以下、「チャート式シリーズ 大学教養 線形代数」の例題の確認を行う。

基本例題$126$

・線形写像$f:V \longrightarrow W$
$$
\large
\begin{align}
f(\mathbf{v}_{1}) &= \mathbf{w}_{1} + 5 \mathbf{w}_{2} \quad f(\mathbf{v}_{2}) = \mathbf{w}_{1} + \mathbf{w}_{2} \quad f(\mathbf{v}_{2}) = 3 \mathbf{w}_{1} + 7 \mathbf{w}_{2} \\
f(\mathbf{v}_{4}) &= 2 \mathbf{w}_{1} + 6 \mathbf{w}_{2} \quad f(\mathbf{v}_{5}) = \mathbf{w}_{1} + \mathbf{w}_{2}
\end{align}
$$

上記は下記のように表すことができる。
$$
\large
\begin{align}
\left( \begin{array}{ccccc} f(\mathbf{v}_{1}) & f(\mathbf{v}_{2}) & f(\mathbf{v}_{3}) & f(\mathbf{v}_{4}) & f(\mathbf{v}_{5}) \end{array} \right) = \left( \begin{array}{cc} \mathbf{w}_{1} & \mathbf{w}_{2} \end{array} \right) \left( \begin{array}{ccccc} 1 & 1 & 3 & 2 & 1 \\ 5 & 1 & 7 & 6 & 1 \end{array} \right) \quad (1)
\end{align}
$$

・基底$\{ \mathbf{w}_{1}, \mathbf{w}_{2} \}$の変換
$$
\large
\begin{align}
\mathbf{w}_{1}’ &= \mathbf{w}_{1} + 5 \mathbf{w}_{2} \\
\mathbf{w}_{2}’ &= \mathbf{w}_{1} + \mathbf{w}_{2}
\end{align}
$$

上記は下記のように表すことができる。
$$
\large
\begin{align}
\left( \begin{array}{cc} \mathbf{w}_{1}’ & \mathbf{w}_{2}’ \end{array} \right) = \left( \begin{array}{cc} \mathbf{w}_{1} & \mathbf{w}_{2} \end{array} \right) \left( \begin{array}{cc} 1 & 1 \\ 5 & 1 \end{array} \right) \quad (2)
\end{align}
$$

・基底$\{ \mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3}, \mathbf{v}_{4}, \mathbf{v}_{5} \}$の変換
$$
\large
\begin{align}
\mathbf{v}_{1}’ &= \mathbf{v}_{2} \quad \mathbf{v}_{2}’ = \mathbf{v}_{3} \quad \mathbf{v}_{3}’ = \mathbf{v}_{1} \\
\mathbf{v}_{4}’ &= \mathbf{v}_{5} \quad \mathbf{v}_{5}’ = \mathbf{v}_{4}
\end{align}
$$

上記は下記のように表すことができる。
$$
\large
\begin{align}
& \left( \begin{array}{ccccc} \mathbf{v}_{1}’ & \mathbf{v}_{2}’ & \mathbf{v}_{3}’ & \mathbf{v}_{4}’ & \mathbf{v}_{5}’ \end{array} \right) \\
&= \left( \begin{array}{ccccc} \mathbf{v}_{1} & \mathbf{v}_{2} & \mathbf{v}_{3} & \mathbf{v}_{4} & \mathbf{v}_{5} \end{array} \right) \left( \begin{array}{ccccc} 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \end{array} \right) \quad (3)
\end{align}
$$

$(1)$〜$(3)$式より下記が成立する。
$$
\large
\begin{align}
& \left( \begin{array}{ccccc} f(\mathbf{v}_{1}’) & f(\mathbf{v}_{2}’) & f(\mathbf{v}_{3}’) & f(\mathbf{v}_{4}’) & f(\mathbf{v}_{5}’) \end{array} \right) \\
&= \left( \begin{array}{ccccc} f(\mathbf{v}_{1}) & f(\mathbf{v}_{2}) & f(\mathbf{v}_{3}) & f(\mathbf{v}_{4}) & f(\mathbf{v}_{5}) \end{array} \right) \left( \begin{array}{ccccc} 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \end{array} \right) \\
&= \left( \begin{array}{cc} \mathbf{w}_{1} & \mathbf{w}_{2} \end{array} \right) \left( \begin{array}{ccccc} 1 & 1 & 3 & 2 & 1 \\ 5 & 1 & 7 & 6 & 1 \end{array} \right) \left( \begin{array}{ccccc} 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \end{array} \right) \\
&= \left( \begin{array}{cc} \mathbf{w}_{1}’ & \mathbf{w}_{2}’ \end{array} \right) \left( \begin{array}{cc} 1 & 1 \\ 5 & 1 \end{array} \right)^{-1} \left( \begin{array}{ccccc} 1 & 1 & 3 & 2 & 1 \\ 5 & 1 & 7 & 6 & 1 \end{array} \right) \left( \begin{array}{ccccc} 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \end{array} \right) \\
&= \left( \begin{array}{cc} \mathbf{w}_{1}’ & \mathbf{w}_{2}’ \end{array} \right) Q^{-1} A P
\end{align}
$$

$V$の基底$\{ \mathbf{v}_{1}’, \mathbf{v}_{2}’, \mathbf{v}_{3}’, \mathbf{v}_{4}’, \mathbf{v}_{5}’ \}$と$W$の基底$\{ \mathbf{w}_{1}’, \mathbf{w}_{2}’ \}$に関する線形写像$f$の表現行列$Q^{-1} A P$は下記のように計算できる。
$$
\large
\begin{align}
Q^{-1} A P &= \left( \begin{array}{cc} 1 & 1 \\ 5 & 1 \end{array} \right)^{-1} \left( \begin{array}{ccccc} 1 & 1 & 3 & 2 & 1 \\ 5 & 1 & 7 & 6 & 1 \end{array} \right) \left( \begin{array}{ccccc} 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \end{array} \right) \\
&= -\frac{1}{4} \left( \begin{array}{cc} 1 & -1 \\ -5 & 1 \end{array} \right) \left( \begin{array}{ccccc} 1 & 1 & 3 & 2 & 1 \\ 5 & 1 & 7 & 6 & 1 \end{array} \right) \left( \begin{array}{ccccc} 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \end{array} \right) \\
&= -\frac{1}{4} \left( \begin{array}{cc} 1 & -1 \\ -5 & 1 \end{array} \right) \left( \begin{array}{ccccc} 1 & 3 & 1 & 1 & 2 \\ 1 & 7 & 5 & 1 & 6 \end{array} \right) \\
&= -\frac{1}{4} \left( \begin{array}{cc} 0 & -4 & -4 & 0 & -4 \\ -4 & -8 & 0 & -4 & -4 \end{array} \right) \\
&= \left( \begin{array}{cc} 0 & 1 & 1 & 0 & 1 \\ 1 & 2 & 0 & 1 & 1 \end{array} \right)
\end{align}
$$

基本例題$127$

重要例題$065$

重要例題$066$

重要例題$067$

正規直交基底(orthonormal basis)の定義と作成手順

計量ベクトル空間におけるノルム(norm)が$1$かつ直交する基底(basis)を正規直交基底(orthonormal basis)といいます。当記事では正規直交基底(orthonormal basis)の定義とグラム・シュミットの直交化に基づく作成手順について、取りまとめの作成を行いました。
作成にあたっては「チャート式シリーズ 大学教養 線形代数」の$7.1$節「内積と計量ベクトル空間」を主に参考にしました。

・数学まとめ
https://www.hello-statisticians.com/math_basic

正規直交基底

正規直交基底の定義

計量ベクトル空間$V$の基底を$\{ \mathbf{v}_{1}, \, \cdots , \, \mathbf{v}_{n} \}$と定義する。このとき下記が成立すれば$\{ \mathbf{v}_{1}, \, \cdots , \, \mathbf{v}_{n} \}$は正規直交基底である。
$[1] \,$ 「$\mathbf{v}_{1}, \, \cdots , \, \mathbf{v}_{n}$の任意の$2$つのベクトルが直交する」 $\iff$ 「$i = j$のとき$(\mathbf{v}_{i}, \mathbf{v}_{j}) = 1$、$i \neq j$のとき$(\mathbf{v}_{i}, \mathbf{v}_{j}) = 0$が成立する」
$[2] \,$ 「全ての基底ベクトルのノルムが$1$である」 $\iff$ 「任意のベクトル$\mathbf{v}_{i}$について$||\mathbf{v}_{i}||=1$が成立する」

グラム・シュミットの直交化と正規直交基底の作成手順

グラム・シュミットの直交化/正規直交化は上図を元に理解すると良い。詳しい手順は下記で取りまとめた。

正規直交基底の具体例

以下、「チャート式シリーズ 大学教養 線形代数」の例題の確認を行う。

基本例題$137$

$$
\large
\begin{align}
\left\{ \left( \begin{array}{c} 1 \\ -1 \\ 0 \end{array} \right), \, \left( \begin{array}{c} 3 \\ 3 \\ 2 \end{array} \right), \, \left( \begin{array}{c} -1 \\ -1 \\ 3 \end{array} \right) \right\} \quad (1)
\end{align}
$$

$(1)$を左から$\mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3}$とおく。このときベクトルの標準内積はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
(\mathbf{v}_{1}, \mathbf{v}_{2}) &= 3 \, – \, 3 = 0 \\
(\mathbf{v}_{2}, \mathbf{v}_{3}) &= -3 \, – \, 3 + 6 = 0 \\
(\mathbf{v}_{3}, \mathbf{v}_{1}) &= -1 + 1 = 0
\end{align}
$$

上記より$\mathbf{v}_{1}, \mathbf{v}_{2}, \mathbf{v}_{3}$はそれぞれ直交しており、$1$次独立である。よって$(1)$はベクトル空間$\mathbb{R}^{3}$の基底であり、正規直交基底は$(1)$を正規化することで下記のように得られる。
$$
\large
\begin{align}
\left\{ \frac{1}{\sqrt{2}}\left( \begin{array}{c} 1 \\ -1 \\ 0 \end{array} \right), \, \frac{1}{\sqrt{22}}\left( \begin{array}{c} 3 \\ 3 \\ 2 \end{array} \right), \, \frac{1}{\sqrt{11}}\left( \begin{array}{c} -1 \\ -1 \\ 3 \end{array} \right) \right\}
\end{align}
$$

基本例題$138$

・$[1]$
$$
\large
\begin{align}
\left\{ \mathbf{v}_{1}=\left( \begin{array}{c} 1 \\ 2 \end{array} \right), \, \mathbf{v}_{2}=\left( \begin{array}{c} 1 \\ 1 \end{array} \right) \right\}
\end{align}
$$

$\mathbf{v}_{1}’=\mathbf{v}_{1}$とおく。このとき、$\mathbf{v}_{1}’$に垂直なベクトルを$\mathbf{v}_{2}’$とおくと下記が成立する。
$$
\large
\begin{align}
\mathbf{v}_{2}’ &= \mathbf{v}_{2} \, – \, x_{1} \mathbf{v}_{1}’ \\
(\mathbf{v}_{1}’, \mathbf{v}_{2}’) &= 0
\end{align}
$$

上記は下記のように$x_1$について解くことができる。
$$
\large
\begin{align}
(\mathbf{v}_{1}’, \mathbf{v}_{2}’) &= 0 \\
(\mathbf{v}_{1}’, \mathbf{v}_{2} \, – \, x_{1} \mathbf{v}_{1}’) &= 0 \\
(\mathbf{v}_{1}’, \mathbf{v}_{2}) \, – \, x_{1} (\mathbf{v}_{1}’, \mathbf{v}_{1}’) &= 0 \\
x_{1} (1^{2} + 2^{2}) &= 1 + 2 \\
x_{1} &= \frac{3}{5}
\end{align}
$$

よって$\mathbf{v}_{2}’$は下記のように得られる。
$$
\large
\begin{align}
\mathbf{v}_{2}’ &= \mathbf{v}_{2} \, – \, x_{1} \mathbf{v}_{1}’ \\
&= \left( \begin{array}{c} 1 \\ 1 \end{array} \right) \, – \, \frac{3}{5} \left( \begin{array}{c} 1 \\ 2 \end{array} \right) \\
&= \frac{1}{5} \left( \begin{array}{c} 2 \\ -1 \end{array} \right)
\end{align}
$$

よって、下記のような正規直交基底${ \mathbf{e}_{1}, \mathbf{e}_{2} }$が得られる。
$$
\large
\begin{align}
\left\{ \mathbf{e}_{1} = \frac{1}{\sqrt{5}}\left( \begin{array}{c} 1 \\ 2 \end{array} \right), \, \mathbf{e}_{2} = \frac{1}{\sqrt{5}}\left( \begin{array}{c} 2 \\ -1 \end{array} \right) \right\}
\end{align}
$$

重要例題$071$

計量ベクトル空間におけるベクトルの正規化(normalization)

計量ベクトル空間で内積を元に定義されるノルムが$1$になるようにベクトルの大きさの調整を行うことをベクトルの正規化(normalization)といいます。当記事では計量ベクトル空間におけるベクトルの正規化の流れと計算例について取りまとめました。
作成にあたっては「チャート式シリーズ 大学教養 線形代数」の第$5$章「ベクトル空間」を主に参考にしました。

・数学まとめ
https://www.hello-statisticians.com/math_basic

計量ベクトル空間におけるベクトルの正規化

計量ベクトル空間とベクトルのノルム

内積$(\mathbf{v}, \mathbf{w})$が定義された$\mathbb{R}$上の実計量ベクトル空間$V$におけるベクトル$\mathbf{v} \in V$のノルム$||\mathbf{v}||$は下記のように定義される。
$$
\large
\begin{align}
||\mathbf{v}|| = \sqrt{(\mathbf{v}, \mathbf{v})}
\end{align}
$$

ベクトルの正規化

実計量ベクトル空間$V$上のベクトル$\mathbf{v} \in V$は$\mathbf{v}$のノルム$||\mathbf{v}||$を用いて下記を計算することで正規化を行うことができる。
$$
\large
\begin{align}
\frac{\mathbf{v}}{||\mathbf{v}||} = \frac{\mathbf{v}}{\sqrt{(\mathbf{v}, \mathbf{v})}}
\end{align}
$$

標準内積

$\mathbb{R}$上の$n$次元ベクトル空間$\mathbb{R}^{n}$上の$2$つのベクトル$\mathbf{v} \in \mathbb{R}^{n}, \, \mathbf{w} \in \mathbb{R}^{n}$を下記のように定義する。
$$
\large
\begin{align}
\mathbf{v} &= \left( \begin{array}{c} v_{1} \\ \vdots \\ v_{n} \end{array} \right) \\
\mathbf{w} &= \left( \begin{array}{c} w_{1} \\ \vdots \\ w_{n} \end{array} \right)
\end{align}
$$

このとき標準内積$(\mathbf{v}, \mathbf{w})$は下記のように定義される。
$$
\large
\begin{align}
(\mathbf{v}, \mathbf{w}) = \mathbf{w}^{\mathrm{T}} \mathbf{v} = v_{1} w_{1} + \cdots v_{n} w_{n}
\end{align}
$$

ベクトルの正規化の計算例

以下、「チャート式シリーズ 大学教養 線形代数」の例題の確認を行う。

基本例題$136$

・$[1]$
$$
\large
\begin{align}
\mathbf{v} = \left( \begin{array}{c} 1 \\ 3 \end{array} \right)
\end{align}
$$

ノルム$||\mathbf{v}||$は下記のように計算できる。
$$
\large
\begin{align}
||\mathbf{v}|| = \sqrt{(\mathbf{v}, \mathbf{v})} = \sqrt{1^2+3^2} = \sqrt{10}
\end{align}
$$

よってベクトル$\mathbf{v}$は下記のように正規化することができる。
$$
\large
\begin{align}
\frac{\mathbf{v}}{||\mathbf{v}||} = \frac{1}{\sqrt{10}} \left( \begin{array}{c} 1 \\ 3 \end{array} \right)
\end{align}
$$

・$[2]$
$$
\large
\begin{align}
\mathbf{v} = \left( \begin{array}{c} 1 \\ -1 \\ 1 \end{array} \right)
\end{align}
$$

ノルム$||\mathbf{v}||$は下記のように計算できる。
$$
\large
\begin{align}
||\mathbf{v}|| = \sqrt{(\mathbf{v}, \mathbf{v})} = \sqrt{1^2+(-1)^2+1^2} = \sqrt{3}
\end{align}
$$

よってベクトル$\mathbf{v}$は下記のように正規化することができる。
$$
\large
\begin{align}
\frac{\mathbf{v}}{||\mathbf{v}||} = \frac{1}{\sqrt{3}} \left( \begin{array}{c} 1 \\ -1 \\ 1 \end{array} \right)
\end{align}
$$

・$[3]$
$$
\large
\begin{align}
\mathbf{v} = \left( \begin{array}{c} 1 \\ 3 \\ 2 \\ 2 \end{array} \right)
\end{align}
$$

ノルム$||\mathbf{v}||$は下記のように計算できる。
$$
\large
\begin{align}
||\mathbf{v}|| = \sqrt{(\mathbf{v}, \mathbf{v})} = \sqrt{1^2+3^2+2^2+2^2} = 3 \sqrt{2}
\end{align}
$$

よってベクトル$\mathbf{v}$は下記のように正規化することができる。
$$
\large
\begin{align}
\frac{\mathbf{v}}{||\mathbf{v}||} = \frac{1}{3 \sqrt{2}} \left( \begin{array}{c} 1 \\ 3 \\ 2 \\ 2 \end{array} \right)
\end{align}
$$

・$[4]$
$$
\large
\begin{align}
\mathbf{v} = \left( \begin{array}{c} 3 \\ 1 \\ 1 \\ -2 \\ 1 \end{array} \right)
\end{align}
$$

ノルム$||\mathbf{v}||$は下記のように計算できる。
$$
\large
\begin{align}
||\mathbf{v}|| = \sqrt{(\mathbf{v}, \mathbf{v})} = \sqrt{3^2+1^2+1^2+(-2)^2+1^2} = 4
\end{align}
$$

よってベクトル$\mathbf{v}$は下記のように正規化することができる。
$$
\large
\begin{align}
\frac{\mathbf{v}}{||\mathbf{v}||} = \frac{1}{4} \left( \begin{array}{c} 3 \\ 1 \\ 1 \\ -2 \\ 1 \end{array} \right)
\end{align}
$$

ベクトルのノルム(norm)となす角($\cos{\theta}$)の計算法・計算例

計量ベクトル空間の$V$では内積(dot product)の値に基づいてベクトル$\mathbf{v}$の大きさ・ノルム(norm)や$\mathbf{v}, \mathbf{w}$のなす角を定義することができます。当記事ではベクトルのノルムやなす角の計算法や計算例について取りまとめを行いました。
作成にあたっては「チャート式シリーズ 大学教養 線形代数」の第$7$章「内積」の内容を主に参考にしました。

・数学まとめ
https://www.hello-statisticians.com/math_basic

ベクトルのノルムとなす角

計量ベクトル空間と標準内積

$K$上のベクトル空間$V$内の$2$つのベクトル$\mathbf{v}, \mathbf{w} \in V$について、内積$(\mathbf{v}, \mathbf{w})$が定義された空間を計量ベクトル空間という。特に$K=\mathbb{R}$のとき実計量ベクトル空間、$K=\mathbb{C}$のとき複素計量ベクトル空間という。

$$
\large
\begin{align}
\mathbf{v} &= \left( \begin{array}{c} v_{1} \\ \vdots \\ v_{n} \end{array} \right) \\
\mathbf{w} &= \left( \begin{array}{c} w_{1} \\ \vdots \\ w_{n} \end{array} \right)
\end{align}
$$

上記のように$n$次元の実計量ベクトル空間$\mathbb{R}^{n}$の$2$つのベクトル$\mathbf{v}, \mathbf{w} \in \mathbb{R}^{n}$が定義されるとき、標準内積$(\mathbf{v}, \mathbf{w})$は下記のような式で定義される。
$$
\large
\begin{align}
(\mathbf{v}, \mathbf{w}) = \mathbf{w}^{\mathrm{T}} \mathbf{v} = v_{1} w_{1} + \cdots v_{n} w_{n}
\end{align}
$$

ベクトルのノルム

計量ベクトル空間$V$内のベクトル$\mathbf{v} \in V$のノルム$||\mathbf{v}||$は計量ベクトル空間の内積に基づいて下記のように定義される。
$$
\large
\begin{align}
||\mathbf{v}|| = \sqrt{(\mathbf{v}, \mathbf{v})}
\end{align}
$$

ベクトルのノルムのことをベクトルの大きさという場合もある。

ベクトルのなす角

計量ベクトル空間$V$内の$2$つのベクトル$\mathbf{v}, \mathbf{w} \in V$のなす角を$\theta \, (0 \leq \theta \leq \pi)$とおくと、$\theta$について下記が成立する。
$$
\large
\begin{align}
\cos{\theta} = \frac{(\mathbf{v}, \mathbf{w})}{||\mathbf{v}|| ||\mathbf{w}||}
\end{align}
$$

ベクトルのノルム・なす角の計算例

以下、「チャート式シリーズ 大学教養 線形代数」の例題の確認を行う。

基本例題$135$

・$[1]$
$$
\large
\begin{align}
\mathbf{v} = \left( \begin{array}{c} 2 \\ 0 \end{array} \right), \, \mathbf{w} = \left( \begin{array}{c} 1 \\ 1 \end{array} \right)
\end{align}
$$

ノルム$||\mathbf{v}||, ||\mathbf{w}||$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
||\mathbf{v}|| &= \sqrt{(\mathbf{v}, \mathbf{v})} = \sqrt{2^2+0^2} = 2 \\
||\mathbf{w}|| &= \sqrt{(\mathbf{w}, \mathbf{w})} = \sqrt{1^2+1^2} = \sqrt{2}
\end{align}
$$

また、ベクトル$\mathbf{v}$と$\mathbf{w}$のなす角を$\theta \, (0 \leq \theta \leq \pi)$とおくと下記が成立する。
$$
\large
\begin{align}
\cos{\theta} &= \frac{(\mathbf{v}, \mathbf{w})}{||\mathbf{v}|| ||\mathbf{w}||} \\
&= \frac{\cancel{2}}{\cancel{2} \sqrt{2}} \\
&= \frac{1}{\sqrt{2}}
\end{align}
$$

ここで$0 \leq \theta \leq \pi$であるので上記より$\displaystyle \theta = \frac{\pi}{4}$が得られる。

・$[2]$
$$
\large
\begin{align}
\mathbf{v} = \left( \begin{array}{c} -1 \\ 1 \\ 0 \end{array} \right), \, \mathbf{w} = \left( \begin{array}{c} 2 \\ -1 \\ 1 \end{array} \right)
\end{align}
$$

ノルム$||\mathbf{v}||, ||\mathbf{w}||$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
||\mathbf{v}|| &= \sqrt{(\mathbf{v}, \mathbf{v})} = \sqrt{(-1)^2+1^2+0^2} = \sqrt{2} \\
||\mathbf{w}|| &= \sqrt{(\mathbf{w}, \mathbf{w})} = \sqrt{2^2+(-1)^2+1^2} = \sqrt{6}
\end{align}
$$

また、ベクトル$\mathbf{v}$と$\mathbf{w}$のなす角を$\theta(0 \leq \theta \leq \pi)$とおくと下記が成立する。
$$
\large
\begin{align}
\cos{\theta} &= \frac{(\mathbf{v}, \mathbf{w})}{||\mathbf{v}|| ||\mathbf{w}||} \\
&= \frac{-3}{\sqrt{2} \cdot \sqrt{6}} \\
&= -\frac{\sqrt{3}}{2}
\end{align}
$$

ここで$0 \leq \theta \leq \pi$であるので上記より$\displaystyle \theta = \frac{5}{6}\pi$が得られる。

・$[3]$
$$
\large
\begin{align}
\mathbf{v} = \left( \begin{array}{c} 1 \\ 1 \\ 1 \\ 1 \end{array} \right), \, \mathbf{w} = \left( \begin{array}{c} 0 \\ 1 \\ 1 \\ 1 \end{array} \right)
\end{align}
$$

ノルム$||\mathbf{v}||, ||\mathbf{w}||$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
||\mathbf{v}|| &= \sqrt{(\mathbf{v}, \mathbf{v})} = \sqrt{1^2+1^2+1^2+1^2} = 2 \\
||\mathbf{w}|| &= \sqrt{(\mathbf{w}, \mathbf{w})} = \sqrt{0^2+1^2+1^2+1^2} = \sqrt{3}
\end{align}
$$

また、ベクトル$\mathbf{v}$と$\mathbf{w}$のなす角を$\theta(0 \leq \theta \leq \pi)$とおくと下記が成立する。
$$
\large
\begin{align}
\cos{\theta} &= \frac{(\mathbf{v}, \mathbf{w})}{||\mathbf{v}|| ||\mathbf{w}||} \\
&= \frac{3}{2 \sqrt{3}} \\
&= \frac{\sqrt{3}}{2}
\end{align}
$$

ここで$0 \leq \theta \leq \pi$であるので上記より$\displaystyle \theta = \frac{\pi}{6}$が得られる。

基底変換(change of basis)と線形写像の表現行列

ベクトル空間$V$の基底を同じベクトル空間上の基底に写すにあたって用いられる行列を基底の変換行列(change of basis matrix)といいます。当記事では基底変換(change of basis)を伴う線形写像の表現行列(representation matrix)について取り扱いました。
作成にあたっては「チャート式シリーズ 大学教養 線形代数」の第$6$章「線形写像」を主に参考にしました。

・数学まとめ
https://www.hello-statisticians.com/math_basic

基底変換を伴う線形写像の表現行列

ベクトル空間と基底の定義

$2$つのベクトル空間$V, W$を定義し、$V, W$についてそれぞれ$2$つの基底を下記のように定義する。
$$
\large
\begin{align}
V &= \left< \mathbf{v}_{1}, \, \cdots , \, \mathbf{v}_{n} \right>, \, \left< \mathbf{v}_{1}’, \, \cdots , \,\mathbf{v}_{n}’ \right> \\
W &= \left< \mathbf{w}_{1}, \, \cdots , \, \mathbf{w}_{n} \right>, \, \left< \mathbf{w}_{1}’, \, \cdots , \, \mathbf{w}_{n}’ \right>
\end{align}
$$

基底の変換行列の定義

$V$の基底変換と$W$の基底変換を基底の変換行列$P, Q$を用いてそれぞれ下記のように定義する。
$$
\large
\begin{align}
\left( \begin{array}{ccc} \mathbf{v}_{1}’ & \cdots & \mathbf{v}_{n}’ \end{array} \right) &= \left( \begin{array}{ccc} \mathbf{v}_{1} & \cdots & \mathbf{v}_{n} \end{array} \right) P \\
\left( \begin{array}{ccc} \mathbf{w}_{1}’ & \cdots & \mathbf{w}_{n}’ \end{array} \right) &= \left( \begin{array}{ccc} \mathbf{w}_{1} & \cdots & \mathbf{w}_{n} \end{array} \right) Q
\end{align}
$$

基底変換を伴う線形写像の表現行列

線形変換$f:V \longrightarrow W$を表現行列$A, A’$を用いてをそれぞれ下記のように定義する。
$$
\large
\begin{align}
\left( \begin{array}{ccc} f(\mathbf{v}_{1}) & \cdots & f(\mathbf{v}_{n}) \end{array} \right) &= \left( \begin{array}{ccc} \mathbf{w}_{1} & \cdots & \mathbf{w}_{n} \end{array} \right) A \\
\left( \begin{array}{ccc} f(\mathbf{v}_{1}’) & \cdots & f(\mathbf{v}_{n}’) \end{array} \right) &= \left( \begin{array}{ccc} \mathbf{w}_{1}’ & \cdots & \mathbf{w}_{n}’ \end{array} \right) A’ \quad (1.1)
\end{align}
$$

ここで$f$が線形変換であることから下記が成立する。
$$
\large
\begin{align}
\left( \begin{array}{ccc} f(\mathbf{v}_{1}’) & \cdots & f(\mathbf{v}_{n}’) \end{array} \right) &= \left( \begin{array}{ccc} f(\mathbf{v}_{1}) & \cdots & f(\mathbf{v}_{n}) \end{array} \right) P
\end{align}
$$

よって、表現行列$A’$について下記の式が成立する。
$$
\large
\begin{align}
\left( \begin{array}{ccc} f(\mathbf{v}_{1}’) & \cdots & f(\mathbf{v}_{n}’) \end{array} \right) &= \left( \begin{array}{ccc} f(\mathbf{v}_{1}) & \cdots & f(\mathbf{v}_{n}) \end{array} \right) P \\
&= \left( \begin{array}{ccc} \mathbf{w}_{1} & \cdots & \mathbf{w}_{n} \end{array} \right) A P \\
&= \left( \begin{array}{ccc} \mathbf{w}_{1}’ & \cdots & \mathbf{w}_{n}’ \end{array} \right) Q^{-1} A P \quad (1.2)
\end{align}
$$

$(1)$式と$(2)$式より$A’ = Q^{-1} A P$が成立する。

計算例

以下、「チャート式シリーズ 大学教養 線形代数」の例題の確認を行う。

基本例題$126$

$$
\large
\begin{align}
f(\mathbf{v}_{1}) &= \mathbf{w}_{1} + 5 \mathbf{w}_{2} \\
f(\mathbf{v}_{2}) &= \mathbf{w}_{1} + \mathbf{w}_{2} \\
f(\mathbf{v}_{3}) &= 3 \mathbf{w}_{1} + 7 \mathbf{w}_{2} \\
f(\mathbf{v}_{4}) &= 2 \mathbf{w}_{1} + 6 \mathbf{w}_{2} \\
f(\mathbf{v}_{5}) &= \mathbf{w}_{1} + \mathbf{w}_{2}
\end{align}
$$

$$
\large
\begin{align}
\mathbf{w}_{1}’ &= \mathbf{w}_{1} + 5 \mathbf{w}_{2} \\
\mathbf{w}_{2}’ &= \mathbf{w}_{1} + \mathbf{w}_{2}
\end{align}
$$

上記より下記が成立する。
$$
\large
\begin{align}
& \left( \begin{array}{ccccc} f(\mathbf{v}_{1}’) & f(\mathbf{v}_{2}’) & f(\mathbf{v}_{3}’) & f(\mathbf{v}_{4}’) & f(\mathbf{v}_{5}’) \end{array} \right) = \left( \begin{array}{ccccc} f(\mathbf{v}_{2}) & f(\mathbf{v}_{3}) & f(\mathbf{v}_{1}) & f(\mathbf{v}_{5}) & f(\mathbf{v}_{4}) \end{array} \right) \\
&= \left( \begin{array}{ccccc} f(\mathbf{v}_{1}) & f(\mathbf{v}_{2}) & f(\mathbf{v}_{3}) & f(\mathbf{v}_{4}) & f(\mathbf{v}_{5}) \end{array} \right) \left( \begin{array}{ccccc} 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \end{array} \right) \\
&= \left( \begin{array}{cc} \mathbf{w}_{1} & \mathbf{w}_{2} \end{array} \right) \left( \begin{array}{ccccc} 1 & 1 & 3 & 2 & 1 \\ 5 & 1 & 7 & 6 & 1 \end{array} \right) \left( \begin{array}{ccccc} 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \end{array} \right) \\
&= \left( \begin{array}{cc} \mathbf{w}_{1}’ & \mathbf{w}_{2}’ \end{array} \right) \left( \begin{array}{cc} 1 & 1 \\ 5 & 1 \end{array} \right)^{-1} \left( \begin{array}{ccccc} 1 & 1 & 3 & 2 & 1 \\ 5 & 1 & 7 & 6 & 1 \end{array} \right) \left( \begin{array}{ccccc} 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \end{array} \right) \\
&= \frac{1}{4} \left( \begin{array}{cc} \mathbf{w}_{1}’ & \mathbf{w}_{2}’ \end{array} \right) \left( \begin{array}{cc} -1 & 1 \\ 5 & -1 \end{array} \right)^{-1} \left( \begin{array}{ccccc} 1 & 1 & 3 & 2 & 1 \\ 5 & 1 & 7 & 6 & 1 \end{array} \right) \left( \begin{array}{ccccc} 0 & 0 & 1 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \end{array} \right) \\
&= \left( \begin{array}{cc} \mathbf{w}_{1}’ & \mathbf{w}_{2}’ \end{array} \right) \left( \begin{array}{ccccc} 0 & 1 & 1 & 0 & 1 \\ 1 & 2 & 0 & 1 & 1 \end{array} \right)
\end{align}
$$

よって表現行列$A’=Q^{-1}AP$は下記のように得られる。
$$
\large
\begin{align}
A’ = Q^{-1}AP = \left( \begin{array}{ccccc} 0 & 1 & 1 & 0 & 1 \\ 1 & 2 & 0 & 1 & 1 \end{array} \right)
\end{align}
$$

基本例題$127$

重要例題$065$

重要例題$066$

重要例題$067$

基底の変換行列(change of basis matrix)の概要と計算例

ベクトル空間$V$の基底を同じベクトル空間上の基底に写すにあたって用いられる行列を基底の変換行列(change of basis matrix)といいます。当記事では基底の変換行列(change of basis matrix)の概要と具体例について取り扱いました。
作成にあたっては「チャート式シリーズ 大学教養 線形代数」の第$6$章「線形写像」を主に参考にしました。

・数学まとめ
https://www.hello-statisticians.com/math_basic

基底の変換行列の概要

$n$次元ベクトル空間$V$の$2$つの基底を下記のように定義する。
$$
\large
\begin{align}
\left\{ \mathbf{v}_{1}, \, \cdots , \, \mathbf{v}_{n} \right\} \quad (1) \\
\left\{ \mathbf{v}_{1}’, \, \cdots , \, \mathbf{v}_{n}’ \right\} \quad (2)
\end{align}
$$

上記に対し、$V$の$1$次変換$\varphi: V \longrightarrow V$を下記のように定義する。
$$
\large
\begin{align}
\varphi(\mathbf{v}_{i}) = \mathbf{v}_{i}’
\end{align}
$$

このとき$(1)$と$(2)$に関する$1$次変換の表現行列を$P$とおくと、下記が成立する。
$$
\large
\begin{align}
\left( \begin{array}{ccc} \mathbf{v}_{1}’ & \cdots & \mathbf{v}_{n}’ \end{array} \right) = \left( \begin{array}{ccc} \mathbf{v}_{1} & \cdots & \mathbf{v}_{n} \end{array} \right) P
\end{align}
$$

上記の行列$P$を基底$(1)$から基底$(2)$への変換行列という。基底の変換行列は正則行列であるので、上記の行列$P$は$n$次正則行列である。

基底の変換行列の例

以下、「チャート式シリーズ 大学教養 線形代数」の例題の確認を行う。

基本例題$125$

$$
\large
\begin{align}
& \left\{ \mathbf{v}_{1} = \left( \begin{array}{c} 1 \\ 1 \\ 0 \end{array} \right), \, \mathbf{v}_{2} = \left( \begin{array}{c} 1 \\ 1 \\ 1 \end{array} \right), \, \mathbf{v}_{3} = \left( \begin{array}{c} 0 \\ 1 \\ 1 \end{array} \right) \right\} \\
& \left\{ \mathbf{v}_{1}’ = \left( \begin{array}{c} 1 \\ 2 \\ 1 \end{array} \right), \, \mathbf{v}_{2}’ = \left( \begin{array}{c} 2 \\ 3 \\ 2 \end{array} \right), \, \mathbf{v}_{3}’ = \left( \begin{array}{c} 1 \\ 1 \\ 2 \end{array} \right) \right\}
\end{align}
$$

基底の変換行列を$P$とおくと下記が成立する。
$$
\large
\begin{align}
\left( \begin{array}{ccc} \mathbf{v}_{1}’ & \mathbf{v}_{2}’ & \mathbf{v}_{3}’ \end{array} \right) &= \left( \begin{array}{ccc} \mathbf{v}_{1} & \mathbf{v}_{2} & \mathbf{v}_{3} \end{array} \right) P \\
\left( \begin{array}{ccc} 1 & 2 & 1 \\ 2 & 3 & 1 \\ 1 & 2 & 2 \end{array} \right) &= \left( \begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 1 \\ 0 & 1 & 1 \end{array} \right) P \\
P &= \left( \begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 1 \\ 0 & 1 & 1 \end{array} \right)^{-1} \left( \begin{array}{ccc} 1 & 2 & 1 \\ 2 & 3 & 1 \\ 1 & 2 & 2 \end{array} \right) \\
&= \left( \begin{array}{ccc} 0 & 1 & -1 \\ 1 & -1 & 1 \\ -1 & 1 & 0 \end{array} \right) \left( \begin{array}{ccc} 1 & 2 & 1 \\ 2 & 3 & 1 \\ 1 & 2 & 2 \end{array} \right) \\
&= \left( \begin{array}{ccc} 1 & 1 & -1 \\ 0 & 1 & 2 \\ 1 & 1 & 0 \end{array} \right)
\end{align}
$$

逆行列の計算にあたっては、掃き出し法を用いることで得ることができる。掃き出し法については下記で詳しく取り扱った。

重要例題$064$

$[1]$

$$
\large
\begin{align}
& \left\{ \mathbf{v}_{1} = \left( \begin{array}{c} 2 \\ 2 \\ 1 \end{array} \right), \, \mathbf{v}_{2} = \left( \begin{array}{c} -1 \\ 1 \\ 0 \end{array} \right), \, \mathbf{v}_{3} = \left( \begin{array}{c} 0 \\ -1 \\ -1 \end{array} \right) \right\} \\
& \left\{ \mathbf{e}_{1} = \left( \begin{array}{c} 1 \\ 0 \\ 0 \end{array} \right), \, \mathbf{e}_{2} = \left( \begin{array}{c} 0 \\ 1 \\ 0 \end{array} \right), \, \mathbf{e}_{3} = \left( \begin{array}{c} 0 \\ 0 \\ 1 \end{array} \right) \right\}
\end{align}
$$

基底の変換行列を$P$とおくと下記が成立する。
$$
\large
\begin{align}
\left( \begin{array}{ccc} \mathbf{e}_{1} & \mathbf{e}_{2} & \mathbf{e}_{3} \end{array} \right) &= \left( \begin{array}{ccc} \mathbf{v}_{1} & \mathbf{v}_{2} & \mathbf{v}_{3} \end{array} \right) P \\
\left( \begin{array}{ccc} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{array} \right) &= \left( \begin{array}{ccc} 2 & -1 & 0 \\ 2 & 1 & -1 \\ 1 & 0 & -1 \end{array} \right) P \\
P &= \left( \begin{array}{ccc} 2 & -1 & 0 \\ 2 & 1 & -1 \\ 1 & 0 & -1 \end{array} \right)^{-1} = \frac{1}{3} \left( \begin{array}{ccc} 1 & 1 & -1 \\ -1 & 2 & -2 \\ 1 & 1 & -4 \end{array} \right)
\end{align}
$$

$[2]$

$$
\large
\begin{align}
& \left\{ \mathbf{v}_{1} = \left( \begin{array}{c} 2 \\ 2 \\ 1 \end{array} \right), \, \mathbf{v}_{2} = \left( \begin{array}{c} -1 \\ 1 \\ 0 \end{array} \right), \, \mathbf{v}_{3} = \left( \begin{array}{c} 0 \\ -1 \\ -1 \end{array} \right) \right\} \\
& \left\{ \mathbf{v}_{1}’ = \left( \begin{array}{c} -3 \\ 3 \\ 1 \end{array} \right), \, \mathbf{v}_{2}’ = \left( \begin{array}{c} -6 \\ 5 \\ 3 \end{array} \right), \, \mathbf{v}_{3}’ = \left( \begin{array}{c} 2 \\ -2 \\ -1 \end{array} \right) \right\}
\end{align}
$$

基底の変換行列を$P$とおくと下記が成立する。
$$
\large
\begin{align}
\left( \begin{array}{ccc} \mathbf{v}_{1}’ & \mathbf{v}_{2}’ & \mathbf{v}_{3}’ \end{array} \right) &= \left( \begin{array}{ccc} \mathbf{v}_{1} & \mathbf{v}_{2} & \mathbf{v}_{3} \end{array} \right) P \\
\left( \begin{array}{ccc} -3 & -6 & 2 \\ 3 & 5 & -2 \\ 1 & 3 & -1 \end{array} \right) &= \left( \begin{array}{ccc} 2 & -1 & 0 \\ 2 & 1 & -1 \\ 1 & 0 & -1 \end{array} \right) P \\
P &= \left( \begin{array}{ccc} 2 & -1 & 0 \\ 2 & 1 & -1 \\ 1 & 0 & -1 \end{array} \right)^{-1} \left( \begin{array}{ccc} -3 & -6 & 2 \\ 3 & 5 & -2 \\ 1 & 3 & -1 \end{array} \right) \\
&= \frac{1}{3} \left( \begin{array}{ccc} 1 & 1 & -1 \\ -1 & 2 & -2 \\ 1 & 1 & -4 \end{array} \right) \left( \begin{array}{ccc} -3 & -6 & 2 \\ 3 & 5 & -2 \\ 1 & 3 & -1 \end{array} \right) \\
&= \frac{1}{3} \left( \begin{array}{ccc} -1 & -4 & 1 \\ 7 & 10 & -4 \\ -4 & -13 & 4 \end{array} \right)
\end{align}
$$

ベクトル空間の基底の内積に基づくグラム行列(gram matrix)の定義と計算例

グラム行列(gram matrix)はベクトル空間の基底の内積に基づいて定義されカーネル法(kernel method)などに用いられます。当記事ではグラム行列(gram matrix)の定義とチャート式線形代数の演習問題の計算例について確認を行いました。
作成にあたっては「チャート式シリーズ 大学教養 線形代数」の第$7$章「内積」を主に参考にしました。

・数学まとめ
https://www.hello-statisticians.com/math_basic

グラム行列

グラム行列の定義

$n$次元ベクトル空間$V$の基底を下記のように定義する。
$$
\large
\begin{align}
\left\{ \mathbf{v}_{1}, \mathbf{v}_{2}, \cdots , \mathbf{v}_{n} \right\}
\end{align}
$$

このとき$\mathbf{v}_{i}$と$\mathbf{v}_{j}$の内積を$(\mathbf{v}_{i},\mathbf{v}_{j})$とおくと、グラム行列$G$は下記のように定義される。
$$
\large
\begin{align}
G = \left( \begin{array}{ccc} (\mathbf{v}_{1},\mathbf{v}_{1}) & \cdots & (\mathbf{v}_{1},\mathbf{v}_{n}) \\ \vdots & \ddots & \vdots \\ (\mathbf{v}_{n},\mathbf{v}_{1}) & \cdots & (\mathbf{v}_{n},\mathbf{v}_{n}) \end{array} \right)
\end{align}
$$

グラム行列の計算例

以下、「チャート式シリーズ 大学教養 線形代数」の例題の確認を行う。

基本例題$147$

$$
\large
\begin{align}
(f, g) = \int_{0}^{\frac{\pi}{2}} f(x)g(x) dx \quad (1)
\end{align}
$$

基底${ \sin{x}, \cos{x} }$について内積$(\sin{x}, \sin{x}), \, (\sin{x}, \cos{x})=(\cos{x}, \sin{x}), \, (\cos{x}, \cos{x})$は$(1)$式に基づいてそれぞれ下記のように計算できる。
・$(\sin{x}, \sin{x})$
$$
\large
\begin{align}
(\sin{x}, \sin{x}) &= \int_{0}^{\frac{\pi}{2}} \sin^{2}{x} dx \\
&= \frac{1}{2} \int_{0}^{\frac{\pi}{2}} (1 – \cos{2x}) dx \\
&= \frac{1}{2} \left[ x – \frac{1}{2}\sin{2x} \right]_{0}^{\frac{\pi}{2}} \\
&= \frac{1}{2} \left( \frac{\pi}{2} – 0 \right) \\
&= \frac{1}{4} \pi
\end{align}
$$

・$(\sin{x}, \cos{x}) = (\cos{x}, \sin{x})$
$$
\large
\begin{align}
(\sin{x}, \cos{x}) &= \int_{0}^{\frac{\pi}{2}} \sin{x} \cos{x} dx \\
&= \frac{1}{2} \int_{0}^{\frac{\pi}{2}} \sin{2x} dx \\
&= \frac{1}{2} \left[ -\frac{1}{2}\cos{2x} \right]_{0}^{\frac{\pi}{2}} \\
&= -\frac{1}{4} (-1-1) \\
&= \frac{1}{2}
\end{align}
$$

・$(\cos{x}, \cos{x})$
$$
\large
\begin{align}
(\sin{x}, \sin{x}) &= \int_{0}^{\frac{\pi}{2}} \cos^{2}{x} dx \\
&= \frac{1}{2} \int_{0}^{\frac{\pi}{2}} (1 + \cos{2x}) dx \\
&= \frac{1}{2} \left[ x + \frac{1}{2}\sin{2x} \right]_{0}^{\frac{\pi}{2}} \\
&= \frac{1}{2} \left( \frac{\pi}{2} – 0 \right) \\
&= \frac{1}{4} \pi
\end{align}
$$

したがって、グラム行列$G$は下記のように表せる。
$$
\large
\begin{align}
G &= \left( \begin{array}{cc} (\mathbf{v}_{1}, \mathbf{v}_{1}) & (\mathbf{v}_{1}, \mathbf{v}_{2}) \\ (\mathbf{v}_{2}, \mathbf{v}_{1}) & (\mathbf{v}_{2}, \mathbf{v}_{2}) \end{array} \right) \\
&= \left( \begin{array}{cc} (\sin{x}, \sin{x}) & (\sin{x}, \cos{x}) \\ (\cos{x}, \sin{x}) & (\cos{x}, \cos{x}) \end{array} \right) \\
&= \frac{1}{4} \left( \begin{array}{cc} \pi & 2 \\ 2 & \pi \end{array} \right)
\end{align}
$$