ベイズ線形回帰(Bayesian Linear Regression)におけるパラメータの事後確率と予測分布(Predictive distribution)の導出は正規分布の条件付き分布や周辺分布の計算を用いることで導…
Hello Statisticians!
統計に関する用語、また、それと合わせて各種公式を解説します
ベイズ線形回帰(Bayesian Linear Regression)におけるパラメータの事後確率と予測分布(Predictive distribution)の導出は正規分布の条件付き分布や周辺分布の計算を用いることで導…
多次元正規分布に対してベイズの定理を適用した際の条件付き確率や周辺確率の確率密度関数の式の導出を取り扱います。ここでの導出結果を元に予測分布(Predictive distribution)なども考えることができるので、…
多次元正規分布の周辺分布(Marginal distribution)の導出を取り扱います。「パターン認識と機械学習(PRML)」の上巻の$2.3.2$節を参考に取りまとめを行いました。積分消去やシューア補行列を用いた逆…
二次形式の平方完成(Completing the square)を行うにあたって、行列演算の取り扱いはいきなり出てくると対応が難しいです。そこで当記事では行列が出てくる際の平方完成はどのように行えるかに関して取りまとめま…
多次元正規分布に対して共分散行列の逆行列である精度行列(precision matrix)を考えることで、条件付き確率分布、周辺分布、ベイズの定理などの導出が可能になり、線形回帰に同様の考え方を用いることでパラメータの事…
統計学を取り扱う上で凸関数(convex function)や凸集合(convex set)は様々な状況で用いられます。凸関数に関してはイェンセンの不等式(Jensen’s inequality)が成立し、統計学では期待…
混合正規分布(Mixtures of Gaussians)は多峰の確率分布の表現にあたって、複数の正規分布を確率的に混合して表す分布です。当記事では混合正規分布の尤度関数を確認し、尤度最大化にあたって用いるEMアルゴリズ…
多クラスでの分類（1-of-K表現のモデル）などでよく出てくるカテゴリ分布のパラメータの共役事前分布を利用した推論を扱います。 カテゴリ分布(categorical distribution) カテゴリ分布とは、ベルヌー…
ディリクレ分布(Dirichlet distribution)は多項分布のパラメータの事後確率を考えるときに用いる共役事前分布です。当記事では多項分布の式を確認し、その共役事前分布のディリクレ分布の導入やディリクレ分布を…
ロジスティック回帰などに関連してオッズ(odds)という考え方が用いられますが、教科書などの解説ではオッズそのものの取り扱いがあまり多くありません。そこで当記事ではオッズという考え方を中心に取り扱い、一般的な使用例も確認…