ランジュバン・モンテカルロ(Langevin Monte Carlo)法は対数尤度の勾配であるスコア(score)を用いたサンプリング手法(MCMC)です。当記事ではスコア関数の定義とランジュバン・モンテカルロ法の数式に…
Hello Statisticians!
統計に関する用語、また、それと合わせて各種公式を解説します
ランジュバン・モンテカルロ(Langevin Monte Carlo)法は対数尤度の勾配であるスコア(score)を用いたサンプリング手法(MCMC)です。当記事ではスコア関数の定義とランジュバン・モンテカルロ法の数式に…
確率分布の類似度を計算するにあたってKLダイバージェンスが用いられることが多いですが、式の解釈は抽象的で理解が難しいです。当記事ではKLダイバージェンスの概略が把握できるように通常の確率化とSoftmax関数による確率化…
ソフトマックス関数に基づく確率分布に基づいてサンプリングを行うにあたって、$\exp(x)$がオーバーフローを起こす場合があります。当記事ではこのような際に有用なガンベル最大トリック(Gumbel-max trick)の…
フィッシャー情報行列(FIM; Fisher Information Matrix)は多変数スカラー関数の二次近似(quadratic approximation)を行う際に計算を行う行列です。当記事ではフィッシャー情報…
共役勾配法などにおける行列にヘッセ行列(Hessian Matrix)を用いる場合、ニューラルネットワークのようにパラメータが多い場合はヘッセ行列の要素が多いことで計算が難しくなります。このような際にHessian-fr…
KLダイバージェンス(Kullback-Leibler divergence)は確率分布の類似度を取り扱う指標である一方で、KLダイバージェンスには対称性が成立しません。そこで当記事ではKLダイバージェンスと類似の指標か…
ローゼンブロック関数(Rosenbrock function)は主に$2$変数で表される関数で、シンプルな数式である一方で等高線が複雑になることから最適化アルゴリズムのベンチマークなどに用いられます。当記事ではローゼンブ…
「尤度」と「事前確率」に関してベイズの定理を適用することでパラメータの事後分布が得られます。当記事では事前分布の選定にあたって用いられることのあるジェフリーズの事前分布(Jeffreys prior distributi…
数理統計学の検定論で出てくる検出力関数(power function)は一様最強力検定や一様最強力検定の理解にあたって重要な概念です。当記事では指数分布の両側検定の検出力関数を示し、$95$％両側検定における棄却域につい…
数理統計学の検定論で出てくる検出力関数(power function)は一様最強力検定や一様最強力検定の理解にあたって重要な概念です。当記事では不偏検定の導入の際に用いられる正規分布の母平均の両側検定を行う際の検出力関数…