【統計の森ちゃんねる】主成分分析が分散共分散行列の固有値から得られることを確認シリーズのまとめ

統計の森では、YouTubeチャンネル「統計の森ちゃんねる」を運営しています。

統計の森ちゃんねるでは、「主成分分析; Principal Component Analysis」が分散共分散行列の固有値と固有ベクトルから導出できることを解説する動画シリーズを公開しています。

主成分の導出のためには、二次形式が出てきたり、関数のベクトルでの微分など難しいポイントがいくつか出てくるため、関連の導出をなるべく理解できる様に個別に動画にまとめています。

パターン認識と機械学習上

Contents

#01 主成分分析とはどんなものか？実装を通して雰囲気をつかむ

主成分分析の役割や意義、利用例を解説している。解説にあたって、word2vecを利用した単語の埋め込みベクトルの可視化例を実装。

以下参照

主成分分析を導出するために必要になる「ラグランジュの未定乗数法」を解説。ラグランジュの未定乗数法は制約付きの最適化問題を解く際に用いられる手法で、主成分分析の導出に限らず広く利用されている。

【補足/訂正事項】

約11:25からのまとめで、ラグランジュの未定乗数法における目的関数$L(x, y)$において、制約項に付ける$\lambda$が抜けている
- ×$L\left(\mathbf{x}, \lambda\right) \equiv f\left(\mathbf{x}\right) – g\left(\mathbf{x}\right)$ -> ◯$L\left(\mathbf{x}, \lambda\right) \equiv f\left(\mathbf{x}\right) – \lambda g\left(\mathbf{x}\right)$

下記参照

主成分分析を導出するにあたって必要となる、「二次形式のベクトルと行列での表現」について解説。

二次形式(quadratic form)
- 変数に関する次数が2の多項式
- 統計に関する計算では二乗和が出てくることが多い
- これをベクトルと行列で表現する例が頻出する

下記参照

主成分分析を導出するにあたって必要となる、「関数のベクトルでの微分」について解説。

最適化問題を解くために「微分」が必要
- 主成分分析に限らず、統計や機械学習の問題の多くは、最適化問題に帰着させることが多く、その際にパラメータで関数を微分することが必要になる
- 多変数の問題に対して、多変数の偏微分を行うこともできるが、ベクトル表記のまま微分が行えると式がスッキリする
- 一般的なスカラ関数の微分と同様の形になることがわかった

【補足/訂正事項】

約09:24, まとめの記載が間違っている
- × $\nabla \mathbf{x}^T\mathbf{w} = \mathbf{x}$ -> ◯ $\nabla \mathbf{x}^T\mathbf{w} = \mathbf{w}$

下記参照

主成分分析を導出するにあたって必要となる、「関数のベクトルでの微分」について解説（その４の続き）。

【補足/訂正事項】

01:30, 式が一箇所間違っている（上記その４での訂正と同じ）
- × $\nabla \mathbf{x}^T\mathbf{w} = \mathbf{x}$ -> ◯ $\nabla \mathbf{x}^T\mathbf{w} = \mathbf{w}$
13:12, 上記と同じ式が間違っている

下記参照

ここまでに解説してきた前提知識を利用して、主成分が標本分散共分散行列の固有値・固有ベクトルから導出できることを確認する

下記参照