共役勾配法(Conjugate Gradient Method)は等高線が同心楕円で表される場合の最適化にあたって有用な手法です。当記事では具体的な二次形式に対して共役勾配法を元に最適化を行う流れをPythonを用いて計…
Hello Statisticians!
共役勾配法(Conjugate Gradient Method)は等高線が同心楕円で表される場合の最適化にあたって有用な手法です。当記事では具体的な二次形式に対して共役勾配法を元に最適化を行う流れをPythonを用いて計…
統計学や機械学習で出てくる行列は対称行列(symmetric matrix)である場合が多いですが、対称行列の取り扱いはやや特殊なので抑えておくと良いです。当記事では対称行列の固有値と固有ベクトルの性質とその導出について…
当記事は「統計学のための数学入門$30$講(朝倉書店)」の読解サポートにあたってChapter.$22$の「固有値と固有ベクトル」の章末問題の解答の作成を行いました。基本的には書籍の購入者向けの解説なので、まだ入手されて…
当記事は「統計学のための数学入門$30$講(朝倉書店)」の読解サポートにあたってChapter.$23$の「対称行列の固有値と固有ベクトル」の章末問題の解答の作成を行いました。基本的には書籍の購入者向けの解説なので、まだ…
QR法と逆反復法を組み合わせることで固有値・固有ベクトルの近似計算を行うことができます。QR法は別記事で取り扱ったので、当記事ではべき乗法や逆反復法に関して取りまとめ、QR法で得られた固有値を元に逆反復法を用いて固有ベク…
多次元のベクトルから主要なベクトルを構築する主成分分析は分散共分散行列の固有値・固有ベクトルを用いて導出できることが知られている。とはいえ、関連の数式を確認すると、二次形式が出てくることでなかなか導出が難しい。そこで本稿…