確率分布の再生性とその導出(二項分布・ポアソン分布・正規分布)

確率分布の再生性は二項分布、ポアソン分布、正規分布において成立しますが、導出にあたっては大きく分けると「①モーメント母関数を用いる手法」と「②畳み込み(convolution)を用いる手法」の二つが存在します。
当記事では二項分布、ポアソン分布、正規分布のそれぞれの分布に対し、二通りの導出を確認します。畳み込みを用いる手法ではかなりトリッキーな変形などを行うので、モーメント母関数を考える利点についても実感できるようなトピックであるのではないかと思います。
モーメント母関数については下記の記載も参照してみてください。
https://www.hello-statisticians.com/explain-terms-cat/prob_generating.html

二項分布の再生性の導出

モーメント母関数を用いた導出

二項分布のモーメント母関数を考えるにあたっては、ベルヌーイ分布の母関数を考えてそこから導出するのがシンプルでわかりやすい。二項分布の確率変数を$X=X_1+X_2+…+X_n$のように定義し、$X_i$はベルヌーイ分布の確率変数とする。このとき、$X_i$は確率$p$で$X_i=1$、確率$1-p$で$X_i=0$となるので、ベルヌーイ分布のモーメント母関数$m_{X_i}(t)$は下記のようになる。
$$
\large
\begin{align}
m_{X_i}(t) &= E\left[ e^{tX_i} \right] \\
&= e^{1 \times t}P(X_i=1|p) + e^{0 \times t}P(X_i=0|p) \\
&= e^t \times + e^0 \times (1-p) \\
&= pe^t +1 – p
\end{align}
$$
このとき二項分布のモーメント母関数$m_{X_i}(t)$は下記のように計算できる。(二項分布はベルヌーイ試行の和と対応するが、ベルヌーイ試行はそれぞれの試行がそれぞれ独立であることを仮定する)
$$
\large
\begin{align}
m_{X}(t) &= E\left[ e^{tX} \right] \\
&= E\left[ e^{t(X_1+X_2+…+X_n)} \right] \\
&= E\left[ e^{tX_1}e^{tX_2}…e^{tX_n} \right] \\
&= E\left[ e^{tX_1} \right] E\left[ e^{tX_2} \right]…E\left[ e^{tX_n} \right] \\
&= E\left[ e^{tX_i} \right]^n \\
&= (pe^t +1 – p)^n
\end{align}
$$
$n$回の試行に対応する二項分布のモーメント関数は上記のように$m_{X}(t)=(pe^t +1 – p)^n$となる。このとき確率$p$が等しい際に、$m$回と$n$回に対応する二項分布のモーメント母関数をそれぞれ$m_{X(m)}(t)$、$m_{X(n)}(t)$とすると、確率変数$X(m,n)=X(m)+X(n)$に対応するモーメント母関数は下記のようになる。
$$
\large
\begin{align}
m_{X(m,n)}(t) &= E\left[ e^{tX(m,n)} \right] \\
&= E\left[ e^{t(X(m)+X(n))} \right] \\
&= E\left[ e^{tX(m)} \right] E\left[ e^{tX(n)} \right] \\
&= (pe^t +1 – p)^m \times (pe^t +1 – p)^n \\
&= (pe^t +1 – p)^{m+n}
\end{align}
$$
よって、$X(m)$が二項分布$\mathit{Binom}(m,p)$、$X(n)$が二項分布$\mathit{Binom}(n,p)$に従うとき、$X(m,n)=X(m)+X(n)$は二項分布$\mathit{Binom}(m+n,p)$に従う。(確率分布とモーメント母関数は1対1対応で、かつ$X(m,n)$のモーメント母関数は$\mathit{Binom}(m+n,p)$のモーメント母関数に一致したことによる)

畳み込みを用いた導出

https://www.hello-statisticians.com/explain-books-cat/toukeigakunyuumon-akahon/ch7_practice-html.html
上記の問題7.9の解答と一致する。

ポアソン分布の再生性の導出

モーメント母関数を用いた導出

ポアソン分布のモーメント母関数を$m(t)$とすると下記のように求めることができる。
$$
\large
\begin{align}
m(t) &= E\left[ e^{tX} \right] \\
&= \sum_{k=0}^{\infty} e^{tk} \times \frac{\lambda^k e^{-\lambda}}{k!} \\
&= e^{-\lambda}\sum_{k=0}^{\infty} e^{tk} \times \frac{\lambda^k}{k!} \\
&= e^{-\lambda}\sum_{k=0}^{\infty} \frac{(\lambda e^{t})^k}{k!}
\end{align}
$$
ここで$e^x$のマクローリン展開の$\displaystyle e^{x}=1+\frac{x}{1!}+\frac{x^2}{2!}+…$と対応づけて考えると、下記のように変形することができる。
$$
\large
\begin{align}
m(t) &= e^{-\lambda}\sum_{k=0}^{\infty} \frac{(\lambda e^{t})^k}{k!} \\
&= e^{-\lambda} e^{\lambda e^{t}} \\
&= e^{(\lambda e^{t}-\lambda)} \\
&= e^{\lambda(e^{t}-1)}
\end{align}
$$
上記がポアソン分布のモーメント母関数となる。ここで確率変数$X_1$はパラメータ$\lambda_1$のポアソン分布に従い、確率変数$X_2$はパラメータ$\lambda_2$のポアソン分布に従うとする。また、このときそれぞれのモーメント母関数を$m_{X_1}(t)$、$m_{X_2}(t)$でおくとする。このときの確率変数$X=X_1+X_2$に関するモーメント母関数を$m_{X}(t)$とすると、$m_{X}(t)$は下記のように求めることができる。
$$
\large
\begin{align}
m_{X}(t) &= E\left[ e^{tX} \right] \\
&= E\left[ e^{t(X_1+X_2)} \right] \\
&= E\left[ e^{t(X_1+X_2)} \right] \\
&= E\left[ e^{tX_1} \right] E\left[ e^{tX_2} \right] \\
&= e^{\lambda_1(e^{t}-1)}e^{\lambda_2(e^{t}-1)} \\
&= e^{(\lambda_1+\lambda_2)(e^{t}-1)}
\end{align}
$$
よって、$X_1$がポアソン分布$\mathit{Poisson}(\lambda_1)$、$X_2$がポアソン分布$\mathit{Poisson}(\lambda_2)$に従うとき、$X=X_1+X_2$はポアソン分布$\mathit{Poisson}(\lambda_1+\lambda_2)$に従う。(確率分布とモーメント母関数は1対1対応で、かつ$X$のモーメント母関数が$\mathit{Poisson}(\lambda_1+\lambda_2)$のモーメント母関数に一致したことによる)

畳み込みを用いた導出

https://www.hello-statisticians.com/explain-books-cat/toukeigakunyuumon-akahon/ch7_practice-html.html
上記の問題7.9の解答と一致する。

正規分布の再生性の導出

モーメント母関数を用いた導出

平均$\mu$、分散$\sigma^2$の正規分布$N(\mu,\sigma^2)$のモーメント母関数を$m(t)$とし、簡易的に導出を行う。
$$
\large
\begin{align}
m(t) &= E[e^{tX}] \\
&= \int_{-\infty}^{\infty} e^{tx} \times \frac{1}{\sqrt{2 \pi \sigma^2}}e^{-\frac{(x-\mu)^2}{2 \sigma^2}} dx \\
&= \int_{-\infty}^{\infty} \times \frac{1}{\sqrt{2 \pi \sigma^2}}e^{-\frac{(x-\mu)^2}{2 \sigma^2}+tx} dx \\
&= … \\
&= e^{\mu t + \frac{\sigma^2 t^2}{2}} \int_{-\infty}^{\infty} \times \frac{1}{\sqrt{2 \pi \sigma^2}}e^{-\frac{(x – (\mu + \sigma^2 t))^2}{2 \sigma^2}} dx \\
&= e^{\mu t + \frac{\sigma^2 t^2}{2}}
\end{align}
$$
途中計算はかなり省略たが、$e^{f(x)}$を$x$に関して平方完成し、$x$に関係しない定数項を積分の外に出し、確率分布の定義から積分の中を$1$とすることでモーメント母関数を求めることができる。

ここで確率変数$X_1$はパラメータ$\mu_1$、$\sigma_1^2$の正規分布$N(\mu_1,\sigma_1^2)$に従い、確率変数$X_2$はパラメータ$\mu_2$、$\sigma_2^2$の正規分布$N(\mu_2,\sigma_2^2)$に従うとする。また、このときそれぞれのモーメント母関数を$m_{X_1}(t)$、$m_{X_2}(t)$でおくとする。このときの確率変数$X=X_1+X_2$に関するモーメント母関数を$m_{X}(t)$とすると、$m_{X}(t)$は下記のように求めることができる。
$$
\large
\begin{align}
m_{X}(t) &= E[e^{tX}] \\
&= E[e^{t(X_1+X_2)}] \\
&= E[e^{t(X_1+X_2)}] \\
&= E[e^{tX_1}]E[e^{tX_2}] \\
&= e^{\mu_1 t + \frac{\sigma_1^2 t^2}{2}}e^{\mu_2 t + \frac{\sigma_2^2 t^2}{2}} \\
&= e^{(\mu_1+\mu_2)t + \frac{(\sigma_1^2+\sigma_2^2)t^2}{2}}
\end{align}
$$
よって、$X_1$が正規分布$N(\mu_1,\sigma_1^2)$、$X_2$が正規分布$N(\mu_2,\sigma_2^2)$に従うとき、$X=X_1+X_2$は正規分布$N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$に従う。(確率分布とモーメント母関数は1対1対応で、かつ$X$のモーメント母関数が$N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$のモーメント母関数に一致したことによる)

畳み込みを用いた導出

https://www.hello-statisticians.com/explain-books-cat/toukeigakunyuumon-akahon/ch7_practice-html.html
上記の問題7.9の解答と一致する。

参考
・基礎統計学Ⅰ 統計学入門(東京大学出版会)

-> 7.4章にモーメント母関数を用いた簡単な導出と、畳み込みを用いたポアソン分布の導出が記載されている。

「確率分布の再生性とその導出(二項分布・ポアソン分布・正規分布)」への6件のフィードバック

  1. […] ・モーメント母関数$$begin{align}m(t) &= Eleft[e^{tX}right] \&= sum_{k=0}^{n} e^{tk} cdot {}_n C_k p^k (1-p)^{n-k} \&= sum_{k=0}^{n} {}_n C_k (p e^t)^k (1-p)^{n-k} \&= (p e^t + 1 – p)^nend{align}$$確率母関数の計算と同様に導出にあたっては二項定理を利用した。また、モーメント母関数を活用することで二項分布の再生性を示すことができることも合わせて抑えておくとよい。https://www.hello-statisticians.com/explain-terms-cat/probdist3.html […]

  2. […] 「標本分布(sampling distribution)」は統計量$t(X_1, …, X_n)$の確率分布である。標本和$X_1+X_2+…+X_n$のようなや標本平均$bar{X}$の標本分布は母集団分布に依存し、母集団分布が下記で取り扱った再生性を持っている場合、シンプルな計算で求めることができる。https://www.hello-statisticians.com/explain-terms-cat/probdist3.html […]

  3. […] ポアソン分布は下記で導出を行ったように再生性が成立し、(3.51)式のようにたたみこみが行える。https://www.hello-statisticians.com/explain-terms-cat/probdist3.html#i-4(3.51)式より、$displaystyle sum_{i=1}^{n} X_i$は$Po(n lambda)$に従う。ここで、$e^{-2lambda}$の推定量が$$delta(x)$であることより、下記が成立する。$$largebegin{align}e^{-2lambda} &= E[delta(x)] \&= sum_{x=0}^{infty} delta(x) frac{(n lambda)^y}{y!} e^{-n lambda}end{align}$$ […]

  4. […] ・解説ここで取り扱った再生性を持つ確率分布はポアソン分布の他にも、二項分布、正規分布、ガンマ分布などが挙げられます。詳しくは下記などで取り扱ったので、下記も合わせて参照してみてください。https://www.hello-statisticians.com/explain-terms-cat/probdist3.htmlhttps://www.hello-statisticians.com/explain-books-cat/math_stat_practice_ch3.html#38 […]

コメントは受け付けていません。