スコアを用いる生成モデルであるスコアベースモデル(SBM)ではスコアの学習にあたってスコアマッチング(Score Matching)を行います。当記事ではシンプルなスコアマッチングの手法である明示的スコアマッチングと暗黙…
Hello Statisticians!
スコアを用いる生成モデルであるスコアベースモデル(SBM)ではスコアの学習にあたってスコアマッチング(Score Matching)を行います。当記事ではシンプルなスコアマッチングの手法である明示的スコアマッチングと暗黙…
共役勾配法などにおける行列にヘッセ行列(Hessian Matrix)を用いる場合、ニューラルネットワークのようにパラメータが多い場合はヘッセ行列の要素が多いことで計算が難しくなります。このような際にHessian-fr…
勾配に基づく最適化はよく行われる一方で、楕円に対して勾配法を適用する際に収束がなかなか進まない場合があります。このような場合に役立つ手法が共役勾配法(Conjugate Gradient Method)です。当記事では共…
当記事では「数理計画入門(朝倉書店)」の読解サポートにあたってChapter.$4$の「非線形計画」の章末問題の解答の作成を行いました。基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認くださ…
多変数の凸関数の制約なし最適化問題を取り扱うにあたっては多変数関数の勾配(gradient)やヘッセ行列(hessian matrix)を用いることで$1$次・$2$次の最適性条件を表すことができます。当記事ではそれぞれ…
$2$次の偏導関数(Partial derivative)は偏微分を$2$度行なった関数であり、ヘッセ行列(Hessian matrix)を考える際などに用いられます。$2$つ以上の変数がある場合は組み合わせを考える必要…
ヘッセ行列は多変数で表された二次形式(quadratic form)の二階微分を考える際に主に用いられる。凸最適化問題などを取り扱うにあたって時折出てくるので抑えておくと良い。 当稿ではWikipediaなどを参考に、ヘ…