【統計の森ちゃんねる】確率モデルと共役事前分布まとめ【ベイズ推論】

統計の森では、YouTubeチャンネル「統計の森ちゃんねる」を運営しています。

統計の森ちゃんねるでは、ベイズ法の基礎となる考え方として、「確率モデル(probabilistic model)」と「共役事前分布(conjugate prior)」を解説するシリーズを公開しています。共役事前分布はベイズ法を使ったパラメータの推論にはほぼ必須のアイテムです。また、確率モデルはベイズ法に限らず、統計的な推論を行う全ての手法(機械学習含む)で必須の考え方です。

#01 ベイズ法とはどんなものか?そもそも推定とは何を推定するのか?

ベイズ推定について解説するために、そもそも「推定」とは何か?についてを解説。

  • 推定
    • モデルのパラメータを観測データに合わせて調整すること
  • モデル
    • データを生成する関数。
    • 線形モデル(単回帰モデル)の場合は、いわゆる「傾き」と「切片」

また、ベイズ法と最尤法の差異についても解説をしている。

#02 ベイズ法とはどんなものか?ベイズ推定/事後分布/予測分布

本動画では、ベイズ推定の基本的な考え方や計算方法の概略を解説。ここでは、細かい計算には触れず、概要を理解してもらうことを目的にした解説になっている。

  • ベイズ推定
    • 確率モデル$p\left( X, \theta \right)$に基づいて、事後分布$p(\theta | X)$を導出(ベイズの定理)
  • ベイズ法と最尤法の比較(ベイズ法のメリット)
    • リスクを評価できる予測結果が得られる
    • パラメータの推定に自然に正則化の仕組み(過学習が抑えられる)

以下参照

#03 ベイズ法で役立つ確率モデルの構築/グラフィカルモデル/線形モデルの確率モデル表現

本動画では、確率モデルの構築について線形モデルの確率モデル表現を例にして解説する。あわせてグラフィカルモデルについても簡単に解説を実施。

  • ベイズ法では、関心のある変数を全て「確率変数」として扱う
    • 線形モデルを例にすると
      • 出力$y$のモデル:$y \sim \mathcal{N}\left(ax+b, \sigma^2 \right)$
      • パラメータ$\theta=[a, b]^{\top}$のモデル:$\theta \sim P(\theta)$
        • このパラメタ$\theta$を推定したい
  • 確率変数間の依存関係をグラフ(ノードとエッジ)で表現するグラフィカルモデルで考えるのが便利
    • グラフィカルモデルが描ければ、システム全体の確率モデルを定義するのと一緒になる
  • モデルに登場させる確率変数とその依存関係は分析者に委ねられる

以下参照(我々が作成したテキストをAmazonで販売)

#04 ベイズ法で役立つ確率モデルの構築の考え方 【混合モデル/階層モデル(その3の続き)】

前回その3の続きとして、具体的な確率モデルの例として2例紹介。
クラスタリング(混合モデル)と階層モデル(階層線形モデル)を解説しているが、これらは実用上非常によく使われるモデルなので、押さえておくとよい。

  • 混合モデル(クラスタリング)
    • 複数の確率モデルが混合したと仮定するモデル
    • 動画内では正規分布が混合した混合正規分布モデルを挙げているが、正規分布モデルに限らず、任意の確率モデルが利用できる(異なる種類のモデルを利用することも可能)
  • 階層モデル
    • 実用としては、ユーザ毎のモデルを構築したいなど、ユーザ(モデル対象)によってデータ数が限られる様な対象のモデルとして有用
    • 対象間の何らかの関係性を仮定し、他の対象の推論結果を流用した推論を行う

下記参照

#05 線形モデルにおけるパラメータの事後分布の推論【ベイズ推定】

線形モデルのパラメータの事後分布を計算するため、具体的な確率モデルの設計について解説。

  • 線形モデル(正規分布モデル)のパラメータを推論する際の具体的な確率モデルの設計
    • パラメータの事前分布に正規分布モデルを適用する例を紹介
    • 動画内では事後分布の導出までは実施せず(下記ページ参照)

下記参照

#06 二項分布モデルにおけるパラメータの事後分布の推論【ベイズ推定】

ベイズ推論の実践として、二項分布モデルのパラメータの事後分布を計算している。二項分布モデルを例にして、ベイズ法による事後分布の計算について解説。 また、本シリーズの目的だった、共役分布(共役事前分布)の役割についても解説している。

  • 二項分布モデル$\mathrm{Bin}\left( x | N, \theta \right)$のパラメータ$\theta$を推論
    • $\theta$の事前分布としてベータ分布$\mathrm{Beta}\left( \theta | a, b \right)$を利用することで、事後分布$p\left(\theta | X \right)$もベータ分布になることを確認した
  • 尤度関数$f\left(X|\theta \right)$と事前分布$p\left(\theta\right)$の関数の形が同じ関係にある事前分布を共役事前分布と呼ぶ
    • 共役事前分布を利用することで、事後分布を容易に導出できる

以下参照

#07 正規分布モデルにおけるパラメータの事後分布の推論【ベイズ推定】

ベイズ推論の実践として、正規分布モデルのパラメータの事後分布を計算している。 また、トイデータを利用して、事前分布、尤度関数、事後分布の実際の形を確認。

動画内で使っているjupyter notebookは以下のURLから確認できる。

https://gist.github.com/tok41/da5f002bffdc7f0ac374a01eda0ca430

  • 正規分布モデル(平均パラメータ)の尤度関数を展開すると正規分布と同様の関数の形が出てくることを確認
    • 正規分布モデルの平均パラメータの共役事前分布は正規分布となることが確認できた
    • なお、分散パラメータの共役事前分布はガンマ分布となる(動画では計算していない)
  • 事後分布も正規分布となることを確認した

下記参照

#08 ポアソン分布モデルにおけるパラメータの事後分布の推論【ベイズ推定】

この動画では、ベイズ推論の実践として、ポアソン分布モデルのパラメータの事後分布を計算している。 また、トイデータを利用して、事前分布、尤度関数、事後分布の実際の形を確認。

動画内で使っているjupyter notebookは以下のURLから確認できる。

https://gist.github.com/tok41/da5f002bffdc7f0ac374a01eda0ca430

  • ポアソン分布の尤度関数を計算すると、ガンマ分布と同様の関数の形が出てくることを確認
    • ポアソン分布のパラメータの事前分布はガンマ分布になることが確認できた
  • ガンマ分布を事前分布として事後分布を計算すると事後分布もガンマ分布になることを確認した

以下参照