指数型分布族(exponential family)と完備十分統計量の理解

十分統計量(sufficient statistic)」に関連して「完備十分統計量」を取り扱うにあたっては指数型分布族(exponential family)を同時に抑えておくとよい。
当記事では完備十分統計量の定義と、指数型分布族に属する確率分布が「完備(complete)」であることを導出する。作成にあたっては「現代数理統計学(学術図書出版社)」の6.3節の「完備十分統計量」を参考とした。

前提の確認

十分統計量の定義

https://www.hello-statisticians.com/explain-terms-cat/sufficient_statistic1.html
上記で取り扱ったので詳しくは省略するが、「統計量を与えるだけでパラメータに関係なく標本が得られる」場合、その統計量は十分統計量という。

指数型分布族の定義と式の解釈

指数型分布族は下記のように確率関数・確率密度関数が表される確率分布を指す。
$$
\large
\begin{align}
f(x,\theta) = exp \left( a(x)b(\theta) + c(\theta) + d(x) \right)
\end{align}
$$

一方で、「現代数理統計学(学術図書出版社)」の第6章の式(6.14)では、下記のように指数型分布族の数式が定義される。
$$
\large
\begin{align}
f(x,\theta) = h(x) exp \left( \sum_{j=1}^{k} T_j(x) \psi_j(\theta) – c(\theta) \right) \quad (1)
\end{align}
$$
二つの式は式変形によって同値であることを示すことができる。以下では「現代数理統計学(学術図書出版社)」を主に参照するにあたって式(1)の定義を確認する。

式(1)の定義が特徴的なのが「十分統計量」の$T_j(x)$を用いて$x$の関数ではなく、統計量$T_j(x)$と見ることである。このことにより、(1)式の$exp$の中身は$T_j$を定めることにより$x$に関係のない値となる。これに対し分解定理が成立し、これは$T_j(x)$が十分統計量であることを意味する。章末問題の解答例では「2項分布・正規分布の例」や「ポアソン分布・負の二項分布・ガンマ関数の例」をそれぞれ具体的に取り扱っているので、関数の各要素と具体的な分布の関係式については解答例が参考になると思われる。

以下では、(1)式の解釈について確認する。(1)式自体が複数の確率分布に関してまとめた式になるので、抽象的な議論になるが、これは各確率分布が指数型分布族であることがわかれば同様な変形によって同様に考えることができることを意味する。

まず、式(1)は下記のように変形できる。
$$
\large
\begin{align}
f(x,\theta) &= h(x) exp \left( \sum_{j=1}^{k} T_j(x) \psi_j(\theta) – c(\theta) \right) \\
&= e^{-c(\theta)} h(x) exp \left( \sum_{j=1}^{k} T_j(x) \psi_j(\theta) \right)
\end{align}
$$
確率密度関数は$x$を確率変数と見て分布を考えるので、上記において$x$に関しての確率密度関数の形状は$\displaystyle h(x) exp \left( \sum_{j=1}^{k} T_j(x) \psi_j(\theta) \right)$によって定まる。
逆に考えると、$\displaystyle e^{-c(\theta)}$は$\displaystyle \int f(x,\theta) dx$が成立させるにあたって設定する基準化定数である。

また、確率分布のパラメータを$\theta$ではなく$\psi_j(\theta)$に置き換えて考える場合もあり、この時$\psi_j(\theta)$は自然母数(natural parameter)と呼ばれる。必ずしも「自然」な解釈ができるわけではなく、適切ではない場合があると「現代数理統計学(学術図書出版社)」では指摘されている。

自然母数を元に指数型分布族は下記のように書くこともできるとされている。
$$
\large
\begin{align}
f(x,\theta) &= h(x) exp \left( \sum_{j=1}^{k} T_j(x) \psi_j – c(\psi_j) \right)
\end{align}
$$

完備十分統計量

完備十分統計量の定義

「現代数理統計学(学術図書出版社)」では「統計量$T(x)$が完備であること」を下記のように定めている。

統計量$T(x)$の関数の$g(T)$の中でその期待値の$E[g(T)]$が恒等的に0になるものが定数0に限るとき、統計量$T(x)$は完備である。このことは数式上では下記が任意の関数$g(T)$に対して成立することに一致する。
$$
\large
\begin{align}
E_{\theta}[g(T)] = 0, {}^\forall \theta \quad \implies \quad g(T) \equiv 0
\end{align}
$$

上記の定義単体では理解が難しいので、以下二項分布、正規分布などの具体的な確率分布について確認を行ったのちに、指数型分布族をまとめて確認する。

二項分布と完備十分統計量

2項分布の$Bin(n,p)$において、ある事象が観測された回数を$X$とするとき、$X$が完備十分統計量であることを以下で示す。

まず前項の内容の前提部分は任意の関数$g(x)$について下記が成立することに対応する。
$$
\large
\begin{align}
E_{p}[g(X)] = \sum_{x=0}^{n} g(x) {}_n C_x p^{x} (1-p)^{n-x}, \quad {}^{\forall} p
\end{align}
$$

上記の式において$h(x)=g(x)$とおき、両辺を$(1-p)^n$で割り、$\displaystyle r = \frac{p}{1-p}$で置き換える。
$$
\large
\begin{align}
E_{p}[g(X)] &= \sum_{x=0}^{n} g(x) {}_n C_x p^{x} (1-p)^{n-x} \\
&= \sum_{x=0}^{n} h(x) C_x p^{x} (1-p)^{n-x} \\
\frac{E_{p}[g(X)]}{(1-p)^n} &= \frac{1}{(1-p)^n} \sum_{x=0}^{n} h(x) p^{x} (1-p)^{n-x} \\
&= \frac{1}{(1-p)^x} \sum_{x=0}^{n} h(x) p^{x} \\
&= \sum_{x=0}^{n} h(x) \left( \frac{p}{1-p} \right)^{x} \\
&= \sum_{x=0}^{n} h(x) r^{x}
\end{align}
$$

上記が0に一致するので下記が成立する。
$$
\large
\begin{align}
\sum_{x=0}^{n} h(x) r^{x} = 0, \quad {}^{\forall} r>0
\end{align}
$$
上記は$r$に関する多項式だが、多項式が$r>0$のはにで恒等的に0に等しくなるには係数の$h(x)$が全て0に等しくなければならない。これより$g(T) \equiv 0$が得られるので$X$は完備統計量となる。

正規分布と完備十分統計量

指数型分布族と完備十分統計量

完備十分統計量の判定

「指数型分布族(exponential family)と完備十分統計量の理解」への1件の返信

  1. […] 「十分統計量」に関しては下記でも取り扱いましたので、こちらも合わせて確認してみてください。https://www.hello-statisticians.com/explain-terms-cat/sufficient_statistic1.htmlhttps://www.hello-statisticians.com/explain-terms-cat/sufficient_statistic2.htmlhttps://www.hello-statisticians.com/explain-books-cat/math_stat_practice_ch6.html […]

コメントは受け付けていません。