自己共分散関数（Autocovariance Function）は時間差$k$（時間差をラグとも呼ぶ）のデータ間の相関の強さを表す自己共分散を時間差 $k$ の関数としたものです。これは、定常な時系列データの時間依存性を…
Hello Statisticians!
統計に関する用語、また、それと合わせて各種公式を解説します
自己共分散関数（Autocovariance Function）は時間差$k$（時間差をラグとも呼ぶ）のデータ間の相関の強さを表す自己共分散を時間差 $k$ の関数としたものです。これは、定常な時系列データの時間依存性を…
統計的時系列解析において、エルゴード性は観測データから理論的性質を推論するための基礎的な概念です。 エルゴード性は、「一つの時系列データを解析することでなぜ一般的な結論を導くことができるのか？」という根本的な疑問に回答す…
統計的時系列解析では、観測されたデータから背後にある確率的な構造を理解し、将来の予測や統計的推論を行うことが主要な目的です。この目的を達成するために、時系列データの統計的性質として、確率過程、自己共分散構造、定常性の概念…
ランジュバン・モンテカルロ(Langevin Monte Carlo)法は対数尤度の勾配であるスコア(score)を用いたサンプリング手法(MCMC)です。当記事ではスコア関数の定義とランジュバン・モンテカルロ法の数式に…
確率分布の類似度を計算するにあたってKLダイバージェンスが用いられることが多いですが、式の解釈は抽象的で理解が難しいです。当記事ではKLダイバージェンスの概略が把握できるように通常の確率化とSoftmax関数による確率化…
ソフトマックス関数に基づく確率分布に基づいてサンプリングを行うにあたって、$\exp(x)$がオーバーフローを起こす場合があります。当記事ではこのような際に有用なガンベル最大トリック(Gumbel-max trick)の…
フィッシャー情報行列(FIM; Fisher Information Matrix)は多変数スカラー関数の二次近似(quadratic approximation)を行う際に計算を行う行列です。当記事ではフィッシャー情報…
共役勾配法などにおける行列にヘッセ行列(Hessian Matrix)を用いる場合、ニューラルネットワークのようにパラメータが多い場合はヘッセ行列の要素が多いことで計算が難しくなります。このような際にHessian-fr…
KLダイバージェンス(Kullback-Leibler divergence)は確率分布の類似度を取り扱う指標である一方で、KLダイバージェンスには対称性が成立しません。そこで当記事ではKLダイバージェンスと類似の指標か…
ローゼンブロック関数(Rosenbrock function)は主に$2$変数で表される関数で、シンプルな数式である一方で等高線が複雑になることから最適化アルゴリズムのベンチマークなどに用いられます。当記事ではローゼンブ…