共役勾配法(Conjugate Gradient Method)は等高線が同心楕円で表される場合の最適化にあたって有用な手法です。当記事では具体的な二次形式に対して共役勾配法を元に最適化を行う流れをPythonを用いて計…
Hello Statisticians!
共役勾配法(Conjugate Gradient Method)は等高線が同心楕円で表される場合の最適化にあたって有用な手法です。当記事では具体的な二次形式に対して共役勾配法を元に最適化を行う流れをPythonを用いて計…
勾配に基づく最適化はよく行われる一方で、楕円に対して勾配法を適用する際に収束がなかなか進まない場合があります。このような場合に役立つ手法が共役勾配法(Conjugate Gradient Method)です。当記事では共…
統計学や機械学習で出てくる行列は対称行列(symmetric matrix)が多いですが、対称行列の取り扱いはやや特殊なので抑えておくと良いです。当記事では対称行列の対角化とスペクトル分解(spectral decomp…
統計学や機械学習で出てくる行列は対称行列(symmetric matrix)である場合が多いですが、対称行列の取り扱いはやや特殊なので抑えておくと良いです。当記事では対称行列の固有値と固有ベクトルの性質とその導出について…
特定の確率分布の期待値を別の確率分布からサンプリングした値に基づいて計算する手法を重点サンプリング(Importance Sampling)といいます。当記事では重点サンプリングの数式表記とPythonを用いた計算例の確…
方策勾配法(Policy Gradient Method)を改善させたアルゴリズムには、REINFORCE・ベースライン・Actor-Criticなどのアルゴリズムがあります。当記事ではこれらの$3$つのアルゴリズムにつ…
方策勾配法(Policy Gradient Method)は強化学習の際に定義される方策をニューラルネットワークで定義し、勾配を用いることで方策の最適化を行う手法です。当記事では方策勾配法における目的関数の定義と勾配の式…
三角関数を用いて定義される回転行列(rotation matrix)は主に$2$次元のベクトルを原点の周りに回転させるベクトルを表しますが、回転行列は直交行列(orthogonal matrix)の一つです。当記事では回…
ベクトル空間を部分空間(subspace)に分解するにあたっては直和(direct sum)かどうかに着目する必要があります。当記事では直和の定義・部分空間の和が直和かどうかの判定・部分空間の直和分解についてそれぞれ取り…
『Pythonで学ぶNLPの基礎とLLMへの反映』のサポートページです。主に誤植が見つかった場合の正誤表の作成やカラー画像の確認が行えるように作成を行いました。誤植につきましては見つかり次第都度追加いたしますので、お気づ…