当記事は「統計学のための数学入門$30$講(朝倉書店)」の読解サポートにあたってChapter.$27$の「ベクトルの微分と条件付き極値問題」の章末問題の解答の作成を行いました。
基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。
・書籍解答まとめ
https://www.hello-statisticians.com/answer_textbook_math#math_stat
本章のまとめ
ベクトルによる偏微分
条件付き極値問題
演習問題解答
問題$27.1$
下記のようにラグランジュ関数$L(\mathbf{x},\lambda)$を定義する。
$$
\large
\begin{align}
L(\mathbf{x},\lambda) = \mathbf{x}^{\mathrm{T}} A \mathbf{x} – \lambda(\mathbf{x}^{\mathrm{T}}\mathbf{x}-1)
\end{align}
$$
このとき、極値の必要条件である$\nabla L(\mathbf{x},\lambda)=0$は下記のように変形できる。
$$
\large
\begin{align}
\nabla L(\mathbf{x},\lambda) &= 0 \\
2 A \mathbf{x} – 2 \lambda \mathbf{x} &= 0 \\
A \mathbf{x} &= \lambda \mathbf{x} \quad (1)
\end{align}
$$
上記の$(1)$式に対し、左から$\mathbf{x}^{\mathrm{T}}$をかけると下記が得られる。
$$
\large
\begin{align}
\mathbf{x}^{\mathrm{T}} A \mathbf{x} &= \mathbf{x}^{\mathrm{T}} (\lambda \mathbf{x}) \\
\mathbf{x}^{\mathrm{T}} A \mathbf{x} &= \lambda \mathbf{x}^{\mathrm{T}} \mathbf{x} \\
\mathbf{x}^{\mathrm{T}} A \mathbf{x} &= \lambda \quad (2)
\end{align}
$$
$(2)$式より二次形式$\mathbf{x}^{\mathrm{T}} A \mathbf{x}$の最大値は対称行列$A$の最大固有値、最小値は最小固有値に対応することが確認できる。
$$
\large
\begin{align}
A = \left(\begin{array}{ccc} 1 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 1 \end{array} \right)
\end{align}
$$
上記の$A$の固有方程式の$\det(A – \lambda I_{3})=0$は下記のように解くことができる。
$$
\large
\begin{align}
\det(A – \lambda I_{3}) &= 0 \\
\left| \begin{array}{ccc} 1-\lambda & 0 & 1 \\ 0 & 1-\lambda & 0 \\ 1 & 0 & 1-\lambda \end{array} \right| &= 0 \\
(-1)^{1+1}(1-\lambda) \left| \begin{array}{cc} 1-\lambda & 0 \\ 0 & 1-\lambda \end{array} \right| + (-1)^{1+3} \left| \begin{array}{cc} 0 & 1 \\ 1-\lambda & 0 \end{array} \right| &= 0 \\
(1-\lambda)^{3} – (1-\lambda) &= 0 \\
(1-\lambda)(\cancel{1} – 2\lambda + \lambda^2 – \cancel{1}) &= 0 \\
-\lambda(\lambda-1)(\lambda-2) &= 0
\end{align}
$$
よって$(1)$式の最大値固有値は$2$、最小値固有値は$0$であることが確認できる。
このとき、$\lambda=2$に対応する固有ベクトル$\displaystyle \frac{1}{\sqrt{2}} \left( \begin{array}{c} 1 \\ 0 \\ 1 \end{array} \right)$、$\lambda=0$に対応する固有ベクトル$\displaystyle \frac{1}{\sqrt{2}} \left( \begin{array}{c} -1 \\ 0 \\ 1 \end{array} \right)$について$\mathbf{x}^{\mathrm{T}}\mathbf{x}=1$が成立し、かつ$\mathbf{x}^{\mathrm{T}} A \mathbf{x}=2, \, \mathbf{x}^{\mathrm{T}} A \mathbf{x}=0$がそれぞれ確認できる。よって得られた結果について十分性も成立する。