ベイズ統計学の用語まとめ〜ベイズ統計学、ベイズ法、ベイズ推定、ベイズ推定量、ベイズの定理〜

ベイズ統計学(Bayes statistics)にはベイズ法、ベイズ推論、ベイズ推定など様々な用語が用いられる一方で、教科書・参考書などではそれぞれの定義がない場合が多いです。そこで当記事ではベイズ統計学に関連する用語に関して取りまとめを行いました。

Contents

1 前提の確認
2 用語の定義

前提の確認

概要

ベイズ統計学(Bayes statistics)では様々な用語が用いられる一方で、用語の定義が厳密になされる場合は少ない。

・ベイズ統計学(Bayes statistics)
・ベイズ推論
・ベイズ法
・ベイズ推定
・ベイズ推定量(Bayes estimator)
・ベイズの定理(Bayes theorem)

具体的には上記のような用語が「ベイズ統計学」を学ぶ上でよく出てくるが、「ベイズの定理(Bayes theorem)」以外では上記の使い分けは難しい。そこで当記事ではベイズ統計学の用語について取りまとめの作成を行なった。

参考書籍

「統計学準$1$級対応ワークブック(学術図書出版社)」、「現代数理統計学(学術図書出版社)」、「数理統計学(共立出版)」などを用いた。

日本統計学会公式認定統計検定準1級対応統計学実践ワークブック

3,080円(05/11 05:56時点)

Amazon

新装改訂版現代数理統計学

竹村彰通

2,970円(05/10 21:02時点)

Amazon

数理統計学: 統計的推論の基礎

黒木学

3,188円(05/11 02:12時点)

Amazon

上記の書籍では定義が確認できない点が多く見受けられたので、そもそもの用語の意味やWikipediaの内容に加えて筆者の仮説なども交えながら取りまとめを行なった。確定版ではないので適切な参考文献が見つかり次第アップデートを行う予定である。

必要な事前知識

「ベイズ統計学」に関して一通り学んだことを前提としており、「事前確率」、「事後確率」、「尤度」、「最尤推定」、「MAP推定」、「推定量」、「推定値」、「予測分布」などについては解説なくそのまま用語を用いる。

用語の定義

定義が明示的になされており、確実であるものから順に以下取り扱う。

ベイズの定理

事象$A$の原因に互いに排反な$n$個の事象$H_1, H_2, \cdots , H_n$を考える。このとき条件付き確率$P(H_i|A)$は下記のように表せる。
$$
\large
\begin{align}
P(H_i|A) &= \frac{P(H_i)P(A|H_i)}{P(A)} \\
&= \frac{\displaystyle P(H_i)P(A|H_i)}{\displaystyle \sum_{i=1}^{n} P(A \cap H_i)}
\end{align}
$$

上記をベイズの定理(Bayes theorem)という。ベイズの定理は「条件付き確率の定義」や「確率の情報定理」に基づく数式であり、基本的に全ての文献で定義が一致する。

ベイズ推定量

ベイズ推定量(Bayes estimator)はパラメータ$\theta$の事後分布$P(\theta|x)$の期待値を元にパラメータ推定を行う際に用いる推定量である。「数理統計学(共立出版)」のようにEAP推定量(Expected a Posterior Estimator)と表されることもある。

数理統計学: 統計的推論の基礎

黒木学

3,188円(05/11 02:12時点)

Amazon

「ベイズ推定量」と表すと「最大事後確率推定量(MAP推定量)」は「ベイズ的な推定量ではない」と見えなくもないので、「統計の森」では「期待事後推定量(EAP推定量)」と表す場合が多い。