離散型確率分布の数式まとめ(ベルヌーイ分布、二項分布、ポアソン分布、幾何分布 etc)

http://www.hello-statisticians.com/explain-terms-cat/prob_generating.html
上記では確率分布の様々な表記(確率密度関数、確率母関数など)について確認したが、当記事ではその表記に基づいて離散型確率分布のそれぞれの確率密度関数やモーメント母関数、期待値、分散などについて確認する。

離散型確率分布

ベルヌーイ分布

ベルヌーイ分布はベルヌーイ試行を元に定義する分布である。確率$p$で成功する試行を考えた際に、確率変数$X$を成功のとき$1$、失敗のとき$0$とするベルヌーイ試行に対し、確率変数Xの従う分布を成功確率$p$のベルヌーイ分布とし、$Bin(1,p)$のように表す。ここで、$Bin(1,p)$は二項分布の$Bin(n,p)$において$n=1$とした場合であるとも考えることができる。

ベルヌーイ分布の確率関数は下記のように考えることができる。
$$
\begin{align}
P(X=x) = p^x(1-p)^{1-x}
\end{align}
$$

次にベルヌーイ分布の期待値$E[X]$と分散$V[X]$について考える。
・期待値
$$
\begin{align}
E[X] = 1 \times p + 0 \times (1-p) = p
\end{align}
$$

・分散
$$
\begin{align}
V[X] &= E\left[X^2\right]-\left(E[X]\right)^2 \\
&= \left(1^2 \times p + 0^2 \times (1-p)\right) – p^2 \\
&= p-p^2 \\
&= p(1-p)
\end{align}
$$

また、確率母関数、モーメント母関数は下記のようになる。
・確率母関数
$$
\begin{align}
G(t) &= E\left[t^X\right] = t^1 \times p + t^0 \times (1-p) \\
&= tp+(1-p) \\
&= tp + 1 – p
\end{align}
$$

・モーメント母関数
$$
\begin{align}
m(t) &= E\left[e^{tX}\right] = e^{t \times 1} \times p + e^{t \times 0} \times (1-p) \\
&= e^t p + (1-p) \\
&= e^t p + 1 – p
\end{align}
$$

二項分布

二項分布はベルヌーイ分布と同様にベルヌーイ試行を元に定義する分布である。確率$p$で成功する試行を$n$回繰り返すと考えた際に、確率変数$X$を成功の回数すると、確率変数$X$の従う分布は試行回数$n$、成功確率$p$の二項分布となり、$Bin(n,p)$のように表す。

二項分布の確率関数は下記のように考えることができる。
$$
\begin{align}
P(X=k|n,p) = {}_n C_k p^{k}(1-p)^{n-k}
\end{align}
$$

次に二項分布の期待値$E[X]$と分散$V[X]$について考える。期待値や分散は独立なベルヌーイ分布の複数回試行であることを考慮することで求めやすい。$i$番目のベルヌーイ試行の確率変数を$X_i$とおくと、$X=X_1+X_2+…+X_n$とできるので期待値と分散は下記のように導出できる。
・期待値
$$
\begin{align}
E[X] &= E[X_1+X_2+…X_n] \\
&= E[X_1]+E[X_2]+…+E[X_n] \\
&= np
\end{align}
$$

・分散
$$
\begin{align}
V[X] &= V[X_1+X_2+…X_n] \\
&= V[X_1]+V[X_2]+…+V[X_n] \\
&= np(1-p)
\end{align}
$$

また、確率母関数、モーメント母関数は下記のようになる。
・確率母関数
$$
\begin{align}
G(t) &= E\left[t^X\right] \\
&= \sum_{k=0}^{n} t^k \cdot {}_n C_k p^k (1-p)^{n-k} \\
&= \sum_{k=0}^{n} {}_n C_k (pt)^k (1-p)^{n-k} \\
&= (pt + 1 – p)^n
\end{align}
$$
計算にあたっては二項定理を利用した。

・モーメント母関数
$$
\begin{align}
m(t) &= E\left[e^{tX}\right] \\
&= \sum_{k=0}^{n} e^{tk} \cdot {}_n C_k p^k (1-p)^{n-k} \\
&= \sum_{k=0}^{n} {}_n C_k (p e^t)^k (1-p)^{n-k} \\
&= (p e^t + 1 – p)^n
\end{align}
$$
確率母関数の計算と同様に導出にあたっては二項定理を利用した。また、モーメント母関数を活用することで二項分布の再生性を示すことができることも合わせて抑えておくとよい。
https://www.hello-statisticians.com/explain-terms-cat/probdist3.html

ポアソン分布

二項分布において$n$が大きい一方で$p$が小さい場合、双方の傾向がつりあって、それほど大きくないほどほどの$x$が現実には観察される。が、この確率を二項分布で表すと計算が煩雑になる。
たとえば$n=1000$、$p=0.002$の際に$x=3$となる確率は下記のようになる。
$$
\begin{align}
{}_{1000} C_{3} (0.002)^{3}(0.998)^{997}
\end{align}
$$
上記のような計算を直接行うのはあまり望ましくない一方で、上記の期待値は$E[X]=np=2$であるから基本的には$x=0, 1, 2 ,3$くらいまでの確率は小さくないと考えることができる。

このような場合に$\lambda=np$を導入し、二項分布の極限を考えることで導出する分布がポアソン分布である。
$$
\begin{align}
\lim_{n \to \infty} {}_n C_x p^x (1-x)^{n-x} = \frac{e^{-\lambda} \lambda^x}{x!}
\end{align}
$$
上記のように「ポアソンの小数の法則」に基づいて極限を考えることで、二項分布の式からポアソン分布の式を導出することができる。よってポアソン分布の確率関数は$\lambda=np$で定義される$\lambda$を用いて下記のように考えることができる。
$$
\begin{align}
P(x|\lambda) = \frac{e^{-\lambda} \lambda^x}{x!}
\end{align}
$$

また、$\lambda=np=2$の時、$P(x=0|\lambda=2)$〜$P(x=3|\lambda=2)$はそれぞれ下記のような値となる。
$$
\begin{align}
P(x=0|\lambda=2) &= \frac{e^{-2} \cdot 2^0}{0!} \\
&= e^{-2} \\
&= 0.1353095 \\
P(x=1|\lambda=2) &= \frac{e^{-2} \cdot 2^1}{1!} \\
&= 2 \cdot e^{-2} \\
&= 0.2706709 \\
P(x=2|\lambda=2) &= \frac{e^{-2} \cdot 2^2}{2!} \\
&= 2 \cdot e^{-2} \\
&= 0.2706709 \\
P(x=3|\lambda=2) &= \frac{e^{-2} \cdot 2^3}{3!} \\
&= \frac{4 \cdot e^{-2}}{3} \\
&= 0.180447
\end{align}
$$
このとき、上記の4つの$x$の値に関する和は$0.857…$となり、$\lambda=np=2$の場合は$x=0〜3$にほとんどの確率が集中することが見て取れる。

期待値$E[X]$や分散$V[X]$は二項分布の値に対して$\lambda = np$とした上で、$n \to \infty$、$p \to 0$の極限を考えることで導出できる。
・期待値
$$
\begin{align}
E[X] &= np \\
&= \lambda
\end{align}
$$

・分散
$$
\begin{align}
V[X] &= np(1-p) \\
&= \lambda(1-p) \\
&= \lambda \quad (1-p \to 1)
\end{align}
$$

また、確率母関数、モーメント母関数は下記のようになる。
・確率母関数
$$
\begin{align}
G(t) &= E\left[t^X\right] \\
&= \sum_{k=0}^{\infty} t^k \times \frac{\lambda^k e^{-\lambda}}{k!} \\
&= \sum_{k=0}^{\infty} \frac{(t \lambda)^k e^{-\lambda}}{k!} \\
&= e^{-\lambda} \sum_{k=0}^{\infty} \frac{(t \lambda)^k}{k!}
\end{align}
$$
ここで、$\displaystyle e^x$の$x=0$周辺でのマクローリン展開を考えると下記のようになる。
$$
\begin{align}
e^x = \sum_{k=0}^{\infty} \frac{x^k}{k!}
\end{align}
$$
上記より、$\displaystyle \sum_{k=0}^{\infty} \frac{(t \lambda)^k}{k!}$は$\displaystyle e^{t \lambda}$のようになる。よって、確率母関数$G(t)$は下記のように計算できる。
$$
\begin{align}
G(t) &= e^{-\lambda} \sum_{k=0}^{\infty} \frac{(t \lambda)^k}{k!} \\
&= e^{-\lambda} \cdot e^{t \lambda} \\
&= e^{\lambda(t-1)}
\end{align}
$$

・モーメント母関数
$$
\begin{align}
m(t) &= E\left[e^{tX}\right] \\
&= \sum_{k=0}^{\infty} e^{tk} \times \frac{\lambda^k e^{-\lambda}}{k!} \\
&= \sum_{k=0}^{\infty} \frac{(e^t \lambda)^k e^{-\lambda}}{k!} \\
&= e^{-\lambda} \sum_{k=0}^{\infty} \frac{(e^t \lambda)^k}{k!} \\
&= e^{-\lambda} \cdot e^{e^t \lambda} \\
&= e^{\lambda(e^t-1)}
\end{align}
$$
途中計算では確率母関数と同様に$e^x$のマクローリン展開を用いて変形を行った。また、モーメント母関数を活用することでポアソン分布の再生性を示すことができることも合わせて抑えておくとよい。
https://www.hello-statisticians.com/explain-terms-cat/probdist3.html

幾何分布

幾何分布はベルヌーイ試行を複数回行ったときに、最初に成功するまでの試行回数をXとした際の確率分布である。Xの定義は「最初に成功するまでの失敗の回数」とするか「最初に成功するまでの試行の回数」とするかで1回異なるので注意しておきたい。(準1級のワークブックでは失敗の数をカウントしているが、試行の数をカウントする方が一般的な印象を受けるのでここでは「成功するまでの試行」を考えるものとする。)

まず、幾何関数の確率関数P(X=x)は下記のように考えることができる。
$$
\begin{align}
P(X=x) = p(1-p)^{x-1}
\end{align}
$$
上記の解釈としては、(x-1)回失敗したのちに成功する同時確率をそれぞれが独立な試行(ベルヌーイ試行)であることからそれぞれの起こる確率の積で表したと考えることができる。

次に幾何分布の期待値E[X]と分散V[X]について考える。
・期待値
$$
\begin{align}
E[X] &= \sum_{x=1}^{\infty} xP(X=x) \\
&= \sum_{x=1}^{\infty} xp(1-p)^{x-1} \\
&= p \sum_{x=1}^{\infty} x(1-p)^{x-1} \\
&= p \frac{1}{(1-(1-p))^2} \\
&= p \frac{1}{p^2} \\
&= \frac{1}{p}
\end{align}
$$
http://www.hello-statisticians.com/explain-terms-cat/maclaurin-seriese.html
の(5)を用いて途中計算を行った。

・分散
期待値の計算で用いたマクローリン展開の両辺をさらに微分することで下記を得ることができる。
$$
\begin{align}
\frac{1}{(1-x)^2} &= \sum_{n=1}^{\infty} nx^{n-1} \qquad 平均の計算で用いた(5) \\
\left( \frac{1}{(1-x)^2} \right)’ &= \left( \sum_{n=1}^{\infty} nx^{n-1} \right)’ \\
\frac{2}{(1-x)^3} &= \sum_{n=2}^{\infty} n(n-1)x^{n-2} \qquad (A)
\end{align}
$$
途中計算で上記を用いる。
$$
\begin{align}
V[X] &= E[X^2]-(E[X])^2 \\
&= E[X(X-1)]+E[X]-(E[X])^2
\end{align}
$$
分散$V[X]$に関して上記の数式が成立するが、$E[X]$については期待値で求めたので、$E[X(X-1)]$を求めることについて考える。
$$
\begin{align}
E[X(X-1)] &= \sum_{x=2}^{\infty} x(x-1)P(X=x) \\
&= \sum_{x=2}^{\infty} x(x-1)p(1-p)^{x-1} \\
&= p(1-p) \sum_{x=2}^{\infty} x(x-1)(1-p)^{x-2} \\
&= p(1-p) \frac{2}{(1-(1-p))^3} \\
&= \frac{2p(1-p)}{p^3} \\
&= \frac{2(1-p)}{p^2}
\end{align}
$$
上記の途中計算で$(A)$で表したマクローリン展開の式を用いた。これにより、分散$V[X]$は下記のようになる。
$$
\begin{align}
V[X] &= E[X^2]-(E[X])^2 \\
&= E[X(X-1)]+E[X]-(E[X])^2 \\
&= \frac{2(1-p)}{p^2} + \frac{1}{p} – \left( \frac{1}{p} \right)^2 \\
&= \frac{2(1-p)}{p^2} + \frac{p}{p^2} – \frac{1}{p} \\
&= \frac{2-2p+p-1}{p^2} \\
&= \frac{1-p}{p^2}
\end{align}
$$

超幾何分布

$N$個のうち、$M$個がAで$N-M$個がBの袋から$n$個取り出すとき、取り出したAの個数を確率変数$X$で考えるとする。このとき、一度引いたものを袋に戻さないで次のものを引くことを非復元抽出と呼ぶが、非復元抽出で$n$個引くとき、$X$は超幾何分布に従う。

超幾何関数の確率関数$P(X=x)$は下記のように考えることができる。
$$
\begin{align}
P(X=x|N,M,n) = \frac{{}_N C_x \cdot {}_{N-M} C_{n-x}}{{}_N C_n}
\end{align}
$$

負の二項分布

$$
\begin{align}
P(Y=y|r,p) = {}_r H_{y} p^{r} (1-p)^{y}, \quad y=0,1,2,…
\end{align}
$$

多項分布

まとめ

当記事では離散型の確率分布について具体的に確認しました。二項分布、幾何分布はベルヌーイ分布の複数試行によって導出されることや、ポアソン分布は二項定理の事象が起こる確率が小さいかつ試行回数が多い際の二項分布の近似であることなどは抑えておくと良いと思います。

・基礎統計学Ⅰ 統計学入門(東京大学出版会)

・日本統計学会公式認定 統計検定準1級対応 統計学実践ワークブック

https://www.gakujutsu.co.jp/product/978-4-7806-0852-6/

「離散型確率分布の数式まとめ(ベルヌーイ分布、二項分布、ポアソン分布、幾何分布 etc)」への2件のフィードバック

  1. […] https://www.hello-statisticians.com/explain-terms-cat/probdist1.html幾何分布について詳しくは上記で取り扱いました。確率変数を$X$、確率関数を$P(X=k|p)$、期待値を$E[X]$とすると、確率関数と期待値はそれぞれ下記のように表すことができます。$$begin{align}P(X=k|p) &= p(1-p)^{k-1} \E[X] &= frac{1}{p}end{align}$$今回の内容は事象が起こる確率$p$のベルヌーイ試行を繰り返した際に、最初に事象が観測される際の試行回数の期待値を求めることに関連するので、上記の$displaystyle E[X] = frac{1}{p}$が要所要所の導出で用いられます。 […]

コメントは受け付けていません。