確率分布の再生性とその導出（二項分布・ポアソン分布・正規分布）

確率分布の再生性は二項分布、ポアソン分布、正規分布において成立しますが、導出にあたっては大きく分けると「①モーメント母関数を用いる手法」と「②畳み込み(convolution)を用いる手法」の二つが存在します。
当記事では二項分布、ポアソン分布、正規分布のそれぞれの分布に対し、二通りの導出を確認します。畳み込みを用いる手法ではかなりトリッキーな変形などを行うので、モーメント母関数を考える利点についても実感できるようなトピックであるのではないかと思います。
モーメント母関数については下記の記載も参照してみてください。
https://www.hello-statisticians.com/explain-terms-cat/prob_generating.html

二項分布の再生性の導出

モーメント母関数を用いた導出

二項分布のモーメント母関数を考えるにあたっては、ベルヌーイ分布の母関数を考えてそこから導出するのがシンプルでわかりやすい。二項分布の確率変数を$X=X_1+X_2+…+X_n$のように定義し、$X_i$はベルヌーイ分布の確率変数とする。このとき、$X_i$は確率$p$で$X_i=1$、確率$1-p$で$X_i=0$となるので、ベルヌーイ分布のモーメント母関数$m_{X_i}(t)$は下記のようになる。
$$
\large
\begin{align}
m_{X_i}(t) &= E\left[ e^{tX_i} \right] \\
&= e^{1 \times t}P(X_i=1|p) + e^{0 \times t}P(X_i=0|p) \\
&= e^t \times + e^0 \times (1-p) \\
&= pe^t +1 – p
\end{align}
$$

このとき二項分布のモーメント母関数$m_{X_i}(t)$は下記のように計算できる。（二項分布はベルヌーイ試行の和と対応するが、ベルヌーイ試行はそれぞれの試行がそれぞれ独立であることを仮定する）
$$
\large
\begin{align}
m_{X}(t) &= E\left[ e^{tX} \right] \\
&= E\left[ e^{t(X_1+X_2+…+X_n)} \right] \\
&= E\left[ e^{tX_1}e^{tX_2}…e^{tX_n} \right] \\
&= E\left[ e^{tX_1} \right] E\left[ e^{tX_2} \right]…E\left[ e^{tX_n} \right] \\
&= E\left[ e^{tX_i} \right]^n \\
&= (pe^t +1 – p)^n
\end{align}
$$

$n$回の試行に対応する二項分布のモーメント関数は上記のように$m_{X}(t)=(pe^t +1 – p)^n$となる。このとき確率$p$が等しい際に、$m$回と$n$回に対応する二項分布のモーメント母関数をそれぞれ$m_{X(m)}(t)$、$m_{X(n)}(t)$とすると、確率変数$X(m,n)=X(m)+X(n)$に対応するモーメント母関数は下記のようになる。
$$
\large
\begin{align}
m_{X(m,n)}(t) &= E\left[ e^{tX(m,n)} \right] \\
&= E\left[ e^{t(X(m)+X(n))} \right] \\
&= E\left[ e^{tX(m)} \right] E\left[ e^{tX(n)} \right] \\
&= (pe^t +1 – p)^m \times (pe^t +1 – p)^n \\
&= (pe^t +1 – p)^{m+n}
\end{align}
$$

よって、$X(m)$が二項分布$\mathrm{Binom}(m,p)$、$X(n)$が二項分布$\mathrm{Binom}(n,p)$に従うとき、$X(m,n)=X(m)+X(n)$は二項分布$\mathrm{Binom}(m+n,p)$に従う。（確率分布とモーメント母関数は$1$対$1$対応で、かつ$X(m,n)$のモーメント母関数は$\mathrm{Binom}(m+n,p)$のモーメント母関数に一致したことによる）

畳み込みを用いた導出

https://www.hello-statisticians.com/explain-books-cat/toukeigakunyuumon-akahon/ch7_practice-html.html
上記の問題$7.9$の解答と一致する。

ポアソン分布の再生性の導出

モーメント母関数を用いた導出

ポアソン分布のモーメント母関数を$m(t)$とすると下記のように求めることができる。
$$
\large
\begin{align}
m(t) &= E\left[ e^{tX} \right] \\
&= \sum_{k=0}^{\infty} e^{tk} \times \frac{\lambda^k e^{-\lambda}}{k!} \\
&= e^{-\lambda}\sum_{k=0}^{\infty} e^{tk} \times \frac{\lambda^k}{k!} \\
&= e^{-\lambda}\sum_{k=0}^{\infty} \frac{(\lambda e^{t})^k}{k!}
\end{align}
$$

ここで$e^x$のマクローリン展開の$\displaystyle e^{x}=1+\frac{x}{1!}+\frac{x^2}{2!}+…$と対応づけて考えると、下記のように変形することができる。
$$
\large
\begin{align}
m(t) &= e^{-\lambda}\sum_{k=0}^{\infty} \frac{(\lambda e^{t})^k}{k!} \\
&= e^{-\lambda} e^{\lambda e^{t}} \\
&= e^{(\lambda e^{t}-\lambda)} \\
&= e^{\lambda(e^{t}-1)}
\end{align}
$$

上記がポアソン分布のモーメント母関数となる。ここで確率変数$X_1$はパラメータ$\lambda_1$のポアソン分布に従い、確率変数$X_2$はパラメータ$\lambda_2$のポアソン分布に従うとする。また、このときそれぞれのモーメント母関数を$m_{X_1}(t)$、$m_{X_2}(t)$でおくとする。このときの確率変数$X=X_1+X_2$に関するモーメント母関数を$m_{X}(t)$とすると、$m_{X}(t)$は下記のように求めることができる。
$$
\large
\begin{align}
m_{X}(t) &= E\left[ e^{tX} \right] \\
&= E\left[ e^{t(X_1+X_2)} \right] \\
&= E\left[ e^{t(X_1+X_2)} \right] \\
&= E\left[ e^{tX_1} \right] E\left[ e^{tX_2} \right] \\
&= e^{\lambda_1(e^{t}-1)}e^{\lambda_2(e^{t}-1)} \\
&= e^{(\lambda_1+\lambda_2)(e^{t}-1)}
\end{align}
$$

よって、$X_1$がポアソン分布$\mathrm{Poisson}(\lambda_1)$、$X_2$がポアソン分布$\mathrm{Poisson}(\lambda_2)$に従うとき、$X=X_1+X_2$はポアソン分布$\mathrm{Poisson}(\lambda_1+\lambda_2)$に従う。（確率分布とモーメント母関数は$1$対$1$対応で、かつ$X$のモーメント母関数が$\mathrm{Poisson}(\lambda_1+\lambda_2)$のモーメント母関数に一致したことによる）

畳み込みを用いた導出

https://www.hello-statisticians.com/explain-books-cat/toukeigakunyuumon-akahon/ch7_practice-html.html
上記の問題$7.9$の解答と一致する。

正規分布の再生性の導出

モーメント母関数を用いた導出

平均$\mu$、分散$\sigma^2$の正規分布$\mathcal{N}(\mu,\sigma^2)$のモーメント母関数を$m(t)$とし、簡易的に導出を行う。
$$
\large
\begin{align}
m(t) &= E[e^{tX}] \\
&= \int_{-\infty}^{\infty} e^{tx} \times \frac{1}{\sqrt{2 \pi \sigma^2}}e^{-\frac{(x-\mu)^2}{2 \sigma^2}} dx \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left[ -\frac{(x-\mu)^2}{2 \sigma^2}+tx \right] dx \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left[ -\frac{x^2 – 2\mu x + \mu^2 – 2 \sigma^2 tx}{2 \sigma^2} \right] dx \\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left[ -\frac{x^2 – 2(\mu + \sigma^2 t)x + (\mu + \sigma^2 t)^2 – (\mu + \sigma^2 t)^2 + \mu^2}{2 \sigma^2} \right] dx \\
&= \exp \left[ \frac{(\mu + \sigma^2 t)^2 – \mu^2}{2 \sigma^2} \right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi \sigma^2}}e^{-\frac{(x – (\mu + \sigma^2 t))^2}{2 \sigma^2}} dx \\
&= \exp \left[ \frac{\cancel{\mu^2} + 2 \mu \sigma^2 t + \sigma^4 t^2 – \cancel{\mu^2}}{2 \sigma^2} \right] \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi \sigma^2}}e^{-\frac{(x – (\mu + \sigma^2 t))^2}{2 \sigma^2}} dx \\
&= e^{\mu t + \frac{\sigma^2 t^2}{2}} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi \sigma^2}}e^{-\frac{(x – (\mu + \sigma^2 t))^2}{2 \sigma^2}} dx \\
&= e^{\mu t + \frac{\sigma^2 t^2}{2}}
\end{align}
$$

上記のように、$e^{f(x)}$を$x$に関して平方完成し、$x$に関係しない定数項を積分の外に出し、確率分布の定義から積分の中を$1$とすることでモーメント母関数を求めることができる。

ここで確率変数$X_1$はパラメータ$\mu_1$、$\sigma_1^2$の正規分布$\mathcal{N}(\mu_1,\sigma_1^2)$に従い、確率変数$X_2$はパラメータ$\mu_2$、$\sigma_2^2$の正規分布$\mathcal{N}(\mu_2,\sigma_2^2)$に従うとする。また、このときそれぞれのモーメント母関数を$m_{X_1}(t)$、$m_{X_2}(t)$でおくとする。このときの確率変数$X=X_1+X_2$に関するモーメント母関数を$m_{X}(t)$とすると、$m_{X}(t)$は下記のように求めることができる。
$$
\large
\begin{align}
m_{X}(t) &= E[e^{tX}] \\
&= E[e^{t(X_1+X_2)}] \\
&= E[e^{t(X_1+X_2)}] \\
&= E[e^{tX_1}]E[e^{tX_2}] \\
&= e^{\mu_1 t + \frac{\sigma_1^2 t^2}{2}}e^{\mu_2 t + \frac{\sigma_2^2 t^2}{2}} \\
&= e^{(\mu_1+\mu_2)t + \frac{(\sigma_1^2+\sigma_2^2)t^2}{2}}
\end{align}
$$

よって、$X_1$が正規分布$\mathcal{N}(\mu_1,\sigma_1^2)$、$X_2$が正規分布$N(\mu_2,\sigma_2^2)$に従うとき、$X=X_1+X_2$は正規分布$\mathcal{N}(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$に従う。（確率分布とモーメント母関数は$1$対$1$対応で、かつ$X$のモーメント母関数が$\mathcal{N}(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$のモーメント母関数に一致したことによる）

畳み込みを用いた導出

https://www.hello-statisticians.com/explain-books-cat/toukeigakunyuumon-akahon/ch7_practice-html.html
上記の問題$7.9$の解答と一致する。

参考
・基礎統計学Ⅰ 統計学入門(東京大学出版会)

-> 7.4章にモーメント母関数を用いた簡単な導出と、畳み込みを用いたポアソン分布の導出が記載されている。