離散型確率分布
二項分布とポアソン分布
・問題
i) 試行回数を$n$、事象が起こる確率を$p$、事象が起こる回数の確率変数を$X$、起こる回数を$k$としたとき、二項分布$P(X=k|n,p)$を求めよ。
ⅱ) $n=1000$、$p=0.002$の時、$P(X=0|n,p)$、$P(X=1|n,p)$、$P(X=2|n,p)$を求めよ。
ⅲ)
ネイピア数の$e$は下記のように定義される。
$$
\begin{align}
\lim_{\frac{1}{x} \to 0} \left( 1 + \frac{1}{x} \right)^x = e
\end{align}
$$
このとき、上記の数式を用いて下記を導出せよ。
$$
\begin{align}
\lim_{\frac{1}{x} \to 0} \left( 1 – \frac{1}{x} \right)^x &= e^{-1} \\
\lim_{\frac{1}{x} \to 0} \left( 1 – \frac{a}{x} \right)^x &= e^{-a}
\end{align}
$$
iv) $np=\lambda$のようにおくとき、二項分布$P(X=k|n,p)$の式は下記のように変形できることを示せ。
$$
\begin{align}
P(X=k|n,p) = \frac{\lambda^k}{n!} \times \left( 1-\frac{1}{n} \right)…\left( 1-\frac{k-1}{n} \right) \times \left( 1-\frac{\lambda}{n} \right)^{n-k}
\end{align}
$$
v) iv)の式の$\displaystyle n \to \infty, -\frac{\lambda}{n} \to 0$の極限を考えることで、$\displaystyle \lim_{n \to \infty} P(X=k|n,p)$がポアソン分布の式に一致することを確かめよ。
・解答
i)
二項定理の考え方に基づいて二項分布の式を考えると下記のようになる。
$$
\large
\begin{align}
P(X=k|n,p) = {}_n C_k p^k (1-p)^{n-k}
\end{align}
$$
ⅱ)
$P(X=0|n,p)$、$P(X=1|n,p)$、$P(X=2|n,p)$は下記のように求めることができる。
$$
\large
\begin{align}
P(X=0|n,p) &= {}_{1000} C_{0} (0.002)^{0} (0.998)^{1000} \\
P(X=1|n,p) &= {}_{1000} C_{1} (0.002)^{1} (0.998)^{999} \\
P(X=2|n,p) &= {}_{1000} C_{2} (0.002)^{2} (0.998)^{998}
\end{align}
$$
ⅲ)
それぞれ下記のように導出できる。
$$
\large
\begin{align}
\lim_{\frac{1}{x} \to 0} \left( 1 – \frac{1}{x} \right)^x &= \lim_{-\frac{1}{x} \to 0} \left( \left( 1 – \frac{1}{x} \right)^{-x} \right)^{-1} \\
&= e^{-1} \\
\lim_{\frac{1}{x} \to 0} \left( 1 – \frac{a}{x} \right)^x &= \lim_{-\frac{a}{x} \to 0} \left( \left( 1 – \frac{1}{x} \right)^{-x/a} \right)^{-a} \\
&= e^{-a}
\end{align}
$$
iv)
i)で求めた$P(X=k|n,p) = {}_n C_k p^k (1-p)^{n-k}$と$\displaystyle p = \frac{\lambda}{n}$を元に、下記のように導出することができる。
$$
\large
\begin{align}
P(X=k|n,p) &= {}_n C_k p^k (1-p)^{n-k} \\
&= \frac{n!}{k!(n-k)!} \left( \frac{\lambda}{n} \right)^k \left( 1-\frac{\lambda}{n} \right)^{n-k} \\
&= \frac{n(n-1)(n-2)…(n-k+1)}{k!} \left( \frac{\lambda}{n} \right)^k \left( 1-\frac{\lambda}{n} \right)^{n-k} \\
&= \frac{\lambda^k}{k!} \frac{n(n-1)(n-2)…(n-k+1)}{n^k} \left( 1-\frac{\lambda}{n} \right)^{n-k} \\
&= \frac{\lambda^k}{n!} \times \left( 1-\frac{1}{n} \right)…\left( 1-\frac{k-1}{n} \right) \times \left( 1-\frac{\lambda}{n} \right)^{n-k}
\end{align}
$$
v)
iv)の導出結果を元に、極限を考えると下記のようにポアソン分布の式が導出できる。
$$
\begin{align}
\lim_{n \to \infty} P(X=k|n,p) &= \lim_{n \to \infty, -\frac{\lambda}{n} \to 0} \frac{\lambda^k}{n!} \times \left( 1-\frac{1}{n} \right)…\left( 1-\frac{k-1}{n} \right) \times \left( 1-\frac{\lambda}{n} \right)^{n-k} \\
&= \lim_{n \to \infty, -\frac{\lambda}{n} \to 0} \frac{\lambda^k}{n!} \times \left( 1-\frac{1}{n} \right)…\left( 1-\frac{k-1}{n} \right) \times \left( \left( 1-\frac{\lambda}{n} \right)^{-(n-k)/\lambda} \right)^{-\lambda} \\
&= \frac{\lambda^k}{n!} \times 1 \times e^{-\lambda} \\
&= \frac{\lambda^k e^{-\lambda}}{n!}
\end{align}
$$
・解説
ⅱ)のように$n$が大きい場合は二項分布の計算が難しいです。この時、$p$の値が小さく$np=\lambda$のように考えることができる場合はポアソン分布を考えると計算が行いやすくなります。
幾何分布と負の二項分布
・問題
幾何分布と負の二項分布(Negative Binominal distribution)を理解するにあたっては、負の二項分布の式について掴んだ上で特殊な条件下で幾何分布になると抑える方が抑えておく事項が少なくなる。
負の二項分布の$NB(r,p)$は表が出る確率が$p$のコイン投げを考える際に、$r$回表が出るまでに$X=k$回裏が出る確率$P(X=k|r,p)$について考える分布である。$P(X=k|r,p)$は下記のように表される。
$$
\begin{align}
P(X=k|r,p) = {}_{r+k-1} C_k (1-p)^{k} p^{r} \quad (1)
\end{align}
$$
$(1)$式は難しく見えるかもしれないので、なるべく直感的にわかりやすいように以下では可能な限り具体的に確認する。
ここまでの内容を元に以下の問いに答えよ。
i) 表が出る確率が$\displaystyle p = \frac{1}{2}$のコインを$r=3$回表が出るまでに$X=2$回裏が出る確率を$(1)$式を用いて計算せよ。
ⅱ) i)と同様に$(r,k)=(1,4),(2,3),(4,1),(5,0)$を計算せよ。
ⅲ) i)とⅱ)の結果を用いて下記が成立することを確認せよ。また、結果について考察せよ。
$$
\begin{align}
\sum_{i=0}^{4} P \left( X=i \Big| r=5-i,p=\frac{1}{2} \right) = \frac{1}{2}
\end{align}
$$
iv) 確率$p$で表が出るコイン投げを行った際、$X-1$回目まで裏で$X$回目で表が出る確率関数$P(X=k|p)$を表せ。
v) iv)の$X$は幾何分布$Geo(p)$に従うが、ここで$Geo(p)=NB(1,p)$であることを示せ。
・解答
i)
下記のように$(1)$式における$\displaystyle P \left( X=2 \Big| r=3,p=\frac{1}{2} \right)$を計算する。
$$
\large
\begin{align}
P \left( X=2 \Big| r=3,p=\frac{1}{2} \right) &= {}_{3+2-1} C_2 \left( 1-\frac{1}{2} \right)^{2} \left( \frac{1}{2} \right)^{3} \\
&= {}_{4} C_2 \left( \frac{1}{2} \right)^{5} \\
&= \frac{4 \cdot 3}{2 \cdot 1} \times \frac{1}{32} \\
&= \frac{6}{32} \\
&= \frac{3}{16}
\end{align}
$$
ⅱ)
i)と同様に、$\displaystyle P \left( X=4 \Big| r=1,p=\frac{1}{2} \right), P \left( X=3 \Big| r=2,p=\frac{1}{2} \right), P \left( X=1 \Big| r=4,p=\frac{1}{2} \right), P \left( X=0 \Big| r=5,p=\frac{1}{2} \right)$を計算する。
・$\displaystyle P \left( X=4 \Big| r=1,p=\frac{1}{2} \right)$
$$
\large
\begin{align}
P \left( X=4 \Big| r=1,p=\frac{1}{2} \right) &= {}_{1+4-1} C_4 \left( 1-\frac{1}{2} \right)^{4} \left( \frac{1}{2} \right)^{1} \\
&= \frac{1}{32}
\end{align}
$$
・$\displaystyle P \left( X=3 \Big| r=2,p=\frac{1}{2} \right)$
$$
\large
\begin{align}
P \left( X=3 \Big| r=2,p=\frac{1}{2} \right) &= {}_{2+3-1} C_3 \left( 1-\frac{1}{2} \right)^{3} \left( \frac{1}{2} \right)^{2} \\
&= \frac{4}{32} \\
&= \frac{1}{8}
\end{align}
$$
・$\displaystyle P \left( X=1 \Big| r=4,p=\frac{1}{2} \right)$
$$
\large
\begin{align}
P \left( X=1 \Big| r=4,p=\frac{1}{2} \right) &= {}_{4+1-1} C_1 \left( 1-\frac{1}{2} \right)^{1} \left( \frac{1}{2} \right)^{4} \\
&= \frac{4}{32} \\
&= \frac{1}{8}
\end{align}
$$
・$\displaystyle P \left( X=0 \Big| r=5,p=\frac{1}{2} \right)$
$$
\large
\begin{align}
P \left( X=0 \Big| r=5,p=\frac{1}{2} \right) &= {}_{5+0-1} C_0 \left( 1-\frac{1}{2} \right)^{0} \left( \frac{1}{2} \right)^{5} \\
&= \frac{1}{32}
\end{align}
$$
ⅲ)
i)、ⅱ)の結果より、下記が成立することが確認できる。
$$
\large
\begin{align}
& \sum_{i=0}^{4} P \left( X=i \Big| r=5-i,p=\frac{1}{2} \right) \\
&= P \left( X=0 \Big| r=5,p=\frac{1}{2} \right) + P \left( X=1 \Big| r=4,p=\frac{1}{2} \right) + P \left( X=2 \Big| r=3,p=\frac{1}{2} \right) \\
&+ P \left( X=3 \Big| r=2,p=\frac{1}{2} \right) + P \left( X=4 \Big| r=1,p=\frac{1}{2} \right) \\
&= \frac{1}{32} + \frac{1}{8} + \frac{3}{16} + \frac{1}{8} + \frac{1}{32} \\
&= \frac{16}{32} \\
&= \frac{1}{2}
\end{align}
$$
結果の解釈にあたっては、二項定理に関する項の和に関して$(1-(1-p))^n=1^n=1$の式が成立することを対比で考えるとよい。二項分布の全確率は$1$だが、上記の計算では和が$\displaystyle \frac{1}{2}$であり、これは最後が必ず表であることから確率の和が$\displaystyle \frac{1}{2}$であると考えると自然である。
iv)
確率関数$P(X=k|p)$は下記のように表すことができる。
$$
\large
\begin{align}
P(X=k|p) &= (1-p)^{k} \times p \\
&= (1-p)^{k} p, \quad (k=0,1,2,…)
\end{align}
$$
v)
負の二項分布$NB(r,p)$確率関数$P(X=k|r,p)$は$(1)$式より下記のように表される。
$$
\large
\begin{align}
P(X=k|r,p) = {}_{r+k-1} C_k (1-p)^{k} p^{r}
\end{align}
$$
上記に対して、$r=1$を代入すると下記が得られる。
$$
\large
\begin{align}
P(X=k|r=1,p) &= {}_{1+k-1} C_k (1-p)^{k} p^{1} \\
&= (1-p)^{k} p, \quad (k=0,1,2,…)
\end{align}
$$
これがiv)で計算した結果と一致するので、$Geo(p)=NB(1,p)$が成立する。
・解説
iv)、v)で取り扱ったように、確率関数に着目することで、$Geo(p)=NB(1,p)$のような幾何分布と負の二項分布の関連を示すことができます。
また、ⅲ)で確認したように、負の二項分布は最後の試行が確定されることで、試行回数を固定した場合の確率の和が$p$に一致することも理解しておくと良いと思います。一方で、負の二項分布の全確率を考える場合は二項分布では総試行の$n$を固定するのに対して、負の二項分布ではコインの裏などの数を固定すると考えておくと良いと思います。
連続型確率分布
指数分布
・問題
i) $f(x) = \lambda e^{-\lambda x}$とするとき、$x \geq 0$の範囲において$f'(x)$、$f^{”}(x)$を計算し、増減表を描け。
ⅱ) $\displaystyle F(x) = \int_{0}^{x} f(x) dx = 1 – e^{-\lambda x}$であることを導出せよ。
ⅲ) $\lambda=\log_{e} 2=0.6931…$、$\lambda=\log_{e} 3=1.0986…$のとき、それぞれ$F(1)$、$F(2)$、$F(3)$、$F(7)$、$F(10)$を求めよ。
・解答
$f'(x)$、$f^{”}(x)$は下記のようになる。
$$
\large
\begin{align}
f'(x) &= \lambda e^{-\lambda x} \cdot (-\lambda) \\
&= – \lambda^2 e^{-\lambda x} < 0 \\
f^{”}(x) &= – \lambda^2 e^{-\lambda x} \cdot (-\lambda) \\
&= \lambda^3 e^{-\lambda x} > 0
\end{align}
$$
上記より、$x \geq 0$の範囲において、$f'(x)<0$、$f^{”}(x)>0$になる。よって、増減表は下記のように作成できる。
$$
\large
\begin{array}{|c|*3{c|}}\hline x & 0 & \cdots & \infty \\
\hline f'(x)& -\lambda^2 & – & 0 \\
\hline f^{”}(x)& \lambda^3 & + & 0 \\
\hline f(x)& \lambda & \searrow & 0\\
\hline
\end{array}
$$
ⅱ)
$$
\large
\begin{align}
F(x) &= \int_{0}^{x} f(x|\lambda) dx \\
&= \int_{0}^{x} \lambda e^{-\lambda x} dx \\
&= \left[ \lambda \cdot \frac{1}{-\lambda} \cdot e^{-\lambda x} \right]_{0}^{x} \\
&= \left[ -e^{-\lambda x} \right]_{0}^{x} \\
&= -(e^{-\lambda x} – e^{0}) \\
&= 1 – e^{-\lambda x} \quad (x \geq 0)
\end{align}
$$
ⅲ)
$\lambda=\log_{e} 2$のとき、$F(x) = 1 – 2^{-x}$となる。よって、$F(1)$、$F(2)$、$F(3)$、$F(7)$、$F(10)$は下記のように計算できる。
$$
\large
\begin{align}
F(1) &= 1-2^{-1} = \frac{1}{2} \\
F(2) &= 1-2^{-2} = \frac{3}{4} \\
F(3) &= 1-2^{-3} = \frac{7}{8} \\
F(7) &= 1-2^{-7} = \frac{127}{128} \\
F(10) &= 1-2^{-10} = \frac{1023}{1024}
\end{align}
$$
$\lambda=\log_{e} 3$のとき、$F(x) = 1 – 3^{-x}$となる。よって、$F(1)$、$F(2)$、$F(3)$、$F(7)$、$F(10)$は下記のように計算できる。
$$
\large
\begin{align}
F(1) &= 1-3^{-1} = \frac{2}{3} \\
F(2) &= 1-3^{-2} = \frac{8}{9} \\
F(3) &= 1-3^{-3} = \frac{26}{27} \\
F(7) &= 1-3^{-7} = \frac{2186}{2187} \\
F(10) &= 1-3^{-10} = \frac{59048}{59049}
\end{align}
$$
・解説
ⅲ)の問題は指数分布の累積分布関数の具体的な値がイメージできるような問題設定としました。$e^{-\lambda x}$を元に$e=2.7$だと2桁の掛け算となり計算が複雑になるため、$\lambda=\log_{e} 2$、$\lambda=\log_{e} 3$とすることで計算がシンプルになるように問題設定を行いました。
一見抽象的に見える概念も、なるべくシンプルな値を元に考えることでイメージがつきやすいので、このような考察を時折行うと一見難しく見える内容も理解がしやすくなると思います。
正規分布
・問題
i) $\displaystyle f(x) = e^{-x^2}$とする時、$f'(x), f^{”}(x)$を計算せよ。
ⅱ) $f'(x)=0, f^{”}(x)=0$をそれぞれ$x$について解け。
ⅲ) $f(x)$の増減表を作成せよ。また、変曲点の$x$の値を求めよ。
iv) $X \sim N(0,1)$のときi)のように確率密度関数は$\displaystyle f(x) = \frac{1}{\sqrt{2 \pi}} \exp \left( -\frac{x^2}{2} \right)$のように表せる。ここで$Y = \mu + \sigma X$のようにおくとき、$X$に関して解き、標準化の視点から考察を行え。
v) iv)の$Y = \mu + \sigma X$を用いて変数変換を行った時の確率密度関数を$g(y)$のように定義するとき、$g(y)$を求めよ。
vi) iv)、v)で用いた確率変数$Y$に関するモーメント母関数を$m(t)=E[e^{tY}]$とおくとき、$m(t)$を求めよ。
ただし、下記は用いて良いこととする。
$$
\large
\begin{align}
\int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \exp \left( -\frac{(x-\sigma t)^2}{2} \right) dx = 1
\end{align}
$$
vⅱ) $m'(t), m^{”}(t)$を計算せよ。また、$E[X]=m'(0), V[X]=m^{”}(0)-m'(0)^2$を用いて$E[X], V[X]$を求めよ。
・解答
i)
$f'(x), f^{”}(x)$は下記のように計算できる。
$$
\large
\begin{align}
f'(x) &= \left( e^{-x^2} \right)’ \\
&= e^{-x^2} \times (-x^2)’ \\
&= -2x e^{-x^2} \\
f^{”}(x) &= (f'(x))’ \\
&= \left( -2x e^{-x^2} \right)’ \\
&= -2 e^{-x^2} – 2x \times \left( -2x e^{-x^2} \right) \\
&= -2 e^{-x^2} + 4x^2 e^{-x^2} \\
&= \left( 4x^2 – 2 \right) e^{-x^2}
\end{align}
$$
ⅱ)
$e^{-x^2}>0$より、それぞれ下記のように解くことができる。
・$f'(x)=0$
$$
\large
\begin{align}
f'(x) &= 0 \\
-2x e^{-x^2} &= 0 \\
x &= 0
\end{align}
$$
・$f^{”}(x)=0$
$$
\large
\begin{align}
f^{”}(x) &= 0 \\
\left( 4x^2 – 2 \right) e^{-x^2} &= 0 \\
4x^2 – 2 &= 0 \\
x^2 &= \frac{1}{2} \\
x &= \pm \frac{1}{\sqrt{2}}
\end{align}
$$
ⅲ)
i)、ⅱ)の結果より、増減表は下記のように作成できる。
$$
\large
\begin{array}{|c|*9{c|}}\hline x & -\infty & \cdots & -\frac{1}{\sqrt{2}} & \cdots & 0 & \cdots & \frac{1}{\sqrt{2}} & \cdots & \infty \\
\hline f'(x)& 0 & + & + & + & 0 & – & – & – & 0 \\
\hline f^{”}(x)& + & + & 0 & – & – & – & 0 & + & + \\
\hline f(x)& 0 & \nearrow & \nearrow & \nearrow & 1 & \searrow & \searrow & \searrow & 0 \\
\hline
\end{array}
$$
また、変曲点の$x$の値は$\displaystyle x = \pm \frac{1}{\sqrt{2}}$である。
iv)
$Y = \mu + \sigma X$は下記のように$X$に関して解ける。
$$
\large
\begin{align}
Y &= \mu + \sigma X \\
\sigma X &= Y – \mu \\
X &= \frac{Y-\mu}{\sigma}
\end{align}
$$
上記の式より、確率変数$Y$を平均$\mu$、分散$\sigma^2$を用いて標準化を行った結果が$X$であると考えることができる。
v)
$g(y)$は下記のように導出することができる。
$$
\large
\begin{align}
g(y) &= f(x) \left| \frac{dx}{dy} \right| \\
&= f \left( \frac{y-\mu}{\sigma} \right) \left| \frac{d}{dy} \left( \frac{y-\mu}{\sigma} \right) \right| \\
&= \frac{1}{\sqrt{2 \pi}} \exp \left( -\frac{(y-\mu / \sigma)^2}{2} \right) \times \frac{1}{\sigma} \\
&= \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( -\frac{(y-\mu)^2}{2 \sigma^2} \right)
\end{align}
$$
vi)
モーメント母関数$m(t)$は下記のように導出できる。
$$
\large
\begin{align}
m(t) &= E[e^{tY}] \\
&= E[e^{\mu t + t \sigma X}] \\
&= e^{\mu t} E[e^{t \sigma X}] \\
&= e^{\mu t} \int_{-\infty}^{\infty} e^{t \sigma x} \times \frac{1}{\sqrt{2 \pi}} \exp \left( \frac{-x^2}{2} \right) dx \\
&= e^{\mu t} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \exp \left( \frac{-x^2}{2} + t \sigma x \right) dx \\
&= e^{\mu t} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \exp \left( \frac{-(x^2 – 2t \sigma x)}{2} \right) dx \\
&= e^{\mu t} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \exp \left( \frac{-(x – t \sigma)^2}{2} + \frac{t^2 \sigma^2}{2} \right) dx \\
&= \exp \left( \mu t + \frac{t^2 \sigma^2}{2} \right) \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \exp \left( -\frac{(x – t \sigma)^2}{2} \right) dx \\
&= \exp \left( \mu t + \frac{t^2 \sigma^2}{2} \right) \times 1 \\
&= \exp \left( \mu t + \frac{t^2 \sigma^2}{2} \right)
\end{align}
$$
vⅱ)
$m'(t), m^{”}(t)$は下記のように計算できる。
$$
\large
\begin{align}
m'(t) &= \left( \exp \left( \mu t + \frac{t^2 \sigma^2}{2} \right) \right)’ \\
&= \exp \left( \mu t + \frac{t^2 \sigma^2}{2} \right) \times \left( \mu t + \frac{t^2 \sigma^2}{2} \right)’ \\
&= (\mu + \sigma^2 t) \exp \left( \mu t + \frac{t^2 \sigma^2}{2} \right) \\
m^{”}(t) &= (m'(t))’ \\
&= \sigma^2 \exp \left( \mu t + \frac{t^2 \sigma^2}{2} \right) + (\mu + \sigma^2 t)^2 \exp \left( \mu t + \frac{t^2 \sigma^2}{2} \right) \\
&= (\sigma^2 + (\mu + \sigma^2 t)^2) \exp \left( \mu t + \frac{t^2 \sigma^2}{2} \right)
\end{align}
$$
$E[X]=m'(0), V[X]=m^{”}(0)-m'(0)^2$は下記のように計算できる。
$$
\large
\begin{align}
E[X] &= m'(0) \\
&= (\mu + \sigma^2 \cdot 0) \exp \left( \mu \cdot 0 + \frac{0^2 \cdot \sigma^2}{2} \right) \\
&= \mu \\
V[X] &= m^{”}(0) – m'(0)^2 \\
&= (\sigma^2 + (\mu + \sigma^2 \cdot 0)^2) \exp \left( \mu \cdot 0 + \frac{0^2 \cdot \sigma^2}{2} \right) – \mu^2 \\
&= (\sigma^2 + \mu^2) \times 1 – \mu^2 \\
&= \sigma^2 + \mu^2 – \mu^2 \\
&= \sigma^2
\end{align}
$$
・解説
i)〜ⅲ)では正規分布の確率密度関数を理解するにあたって、$f(x)$の導関数を計算し、増減表の作成を行いました。
一様分布
・問題
i) 連続型の一様分布$[a,b]$の期待値$E[X]$と分散$V[X]$をそれぞれ計算せよ。
ⅱ) $[0,1]$の区間の一様分布の分散を$V[X]$とし、$[0,x]$の分散が$V[X]$の2倍となる時、$x$の値を求めよ。
・解答
i)
https://www.hello-statisticians.com/explain-terms-cat/probdist2.html#i-4
上記のように計算すると、下記のようになる。
$$
\large
\begin{align}
E[X] &= \frac{a+b}{2} \\
V[X] &= \frac{(b-a)^2}{12}
\end{align}
$$
・解説
一様分布はよく出てくる分布なので、抑えておくと良いと思います。
ガンマ分布
・問題
形状母数を$\nu$、尺度母数を$\alpha$とするガンマ分布を$Ga(\nu, \alpha)$と考える。ここで確率変数$X$が、$X \sim Ga(\nu, \alpha)$のように$Ga(\nu, \alpha)$に従うとき、$f(x)$の確率密度関数は下記のように表される。
$$
\begin{align}
f(x) = \frac{1}{\alpha^{\nu} \Gamma(\nu)} x^{\nu – 1} e^{- \frac{x}{\alpha}}, \quad x \geq 0
\end{align}
$$
また、上記における$\Gamma(\nu)$は下記のように定義される。
$$
\begin{align}
\Gamma(\nu) = \int_{0}^{\infty} x^{\nu-1}e^{-x} dx
\end{align}
$$
ここまでの内容を元に、下記の問いに答えよ。
i) $\Gamma(1), \Gamma(2)$の値を求めよ。
ⅱ) $\Gamma(a+1) = a\Gamma(a)$であることを示せ。
ⅲ) ⅱ)の式を用いて$\Gamma(a+1) = a!$が成立することを示せ。また、$f(x) = x^{a-1}e^{-x}, x \geq 0$の増減表を作成し、$\Gamma(a+1) = a!$の結果が妥当と思われることを確認せよ。
iv) 下記で定義する定積分$I$の値を求めよ。
$$
\begin{align}
I = \int_{0}^{\infty} \frac{1}{\Gamma(\nu)} x^{\nu – 1} e^{-x} dx
\end{align}
$$
v) $\displaystyle f(x) = \frac{1}{\Gamma(\nu)} x^{\nu – 1} e^{-x}$に対して、$y = \alpha x$のように定義した$y$に関する確率密度関数$g(y)$を変数変換を行うことで導出せよ。
vi) v)で導出した確率密度関数に関して、モーメント母関数$m(t)$が下記のように導出できることを示せ。
$$
\begin{align}
m(t) = (1 – t \alpha)^{-\nu}
\end{align}
$$
vⅱ) v)で導出した式において$\nu=1$が成立するとき、この確率分布は何を表すか答えよ。
・解答
i)
$\Gamma(1), \Gamma(2)$は下記のように計算することができる。
・$\Gamma(1)$の計算
$$
\large
\begin{align}
\Gamma(1) &= \int_{0}^{\infty} x^{1-1}e^{-x} dx \\
&= \int_{0}^{\infty} e^{-x} dx \\
&= \left[ e^{-x} \right]_{0}^{\infty} \\
&= -(0-e^{0}) \\
&= 1
\end{align}
$$
・$\Gamma(2)$の計算
$$
\large
\begin{align}
\Gamma(2) &= \int_{0}^{\infty} x^{2-1}e^{-x} dx \\
&= \int_{0}^{\infty} xe^{-x} dx \\
&= \left[ -xe^{-x} \right]_{0}^{\infty} + \int_{0}^{\infty} e^{-x} dx \\
&= \Gamma(1) \\
&= 1
\end{align}
$$
ⅱ)
$\Gamma(a+1) = a\Gamma(a)$は下記のように示すことができる。
$$
\large
\begin{align}
\Gamma(a+1) &= \int_{0}^{\infty} x^{a+1-1}e^{-x} dx \\
&= \int_{0}^{\infty} x^a e^{-x} dx \\
&= \left[ -x^a e^{-x} \right]_{0}^{\infty} + \int_{0}^{\infty} ax^{a-1} e^{-x} dx \\
&= a \int_{0}^{\infty} x^{a-1} e^{-x} dx \\
&= a\Gamma(a)
\end{align}
$$
ⅲ)
下記のように$\Gamma(a+1) = a\Gamma(a)$を漸化式のように用いて$\Gamma(1)=1$を適用することで、$\Gamma(a+1) = a!$を導出することができる。
$$
\large
\begin{align}
\Gamma(a+1) &= a\Gamma(a) \\
&= a(a-1)\Gamma(a-1) \\
&= a(a-1)(a-2)\Gamma(a-2) \\
&= … \\
&= a!\Gamma(1) \\
&= a!
\end{align}
$$
また、$f(x) = x^{a-1}e^{-x}$を考えるとき、$f'(x)$は下記のように計算できる。
$$
\large
\begin{align}
f'(x) &= (x^{a-1}e^{-x})’ \\
&= (a-1)x^{a-2}e^{-x} – x^{a-1}e^{-x} \\
&= (a-1-x) x^{a-2} e^{-x}
\end{align}
$$
以下、$a=1$と$a>1$の場合分けを行い、$f(x)$の増減表を作成する。
・$a=1$のとき
$a-1-x=-x$より、$f(x)$の増減表は下記のようになる。
$$
\large
\begin{array}{|c|*3{c|}}\hline x & 0 & \cdots & \infty \\
\hline f'(x)& 0 & – & 0 \\
\hline f(x)& 1 & \searrow & 0 \\
\hline
\end{array}
$$
・$a>1$のとき
$f(x)$の増減表は下記のようになる。
$$
\large
\begin{array}{|c|*5{c|}}\hline x & 0 & \cdots & a-1 & \cdots & \infty \\
\hline f'(x)& 0 & + & 0 & – & 0 \\
\hline f(x)& 0 & \nearrow & (a-1)^{a-1}e^{-(a-1)} & \searrow & 0 \\
\hline
\end{array}
$$
この増減表を元に考察を行うと、$a>1$の時は$a$が大きくなるにつれて最大値の$(a-1)^{a-1}e^{-(a-1)}$の値が大きくなり、その分$0 \leq x \leq \infty$の区間での定積分の値が大きくなることがわかる。このことは$\Gamma(a+1) = a!$の結果に関しての必要条件であり、$\Gamma(a+1) = a!$がある程度妥当であることが直感的に把握できる。
iv)
$$
\large
\begin{align}
I &= \int_{0}^{\infty} \frac{1}{\Gamma(\nu)} x^{\nu – 1} e^{-x} dx \\
&= \frac{1}{\Gamma(\nu)} \int_{0}^{\infty} x^{\nu – 1} e^{-x} dx \\
&= \frac{1}{\Gamma(\nu)} \times \Gamma(\nu) \\
&= 1
\end{align}
$$
上記のように導出できる。
v)
$\displaystyle y = \alpha x, x = \frac{y}{\alpha}$を元に変数変換を行うことで、$g(y)$は下記のように導出できる。
$$
\large
\begin{align}
g(y) &= f(x) \left| \frac{dx}{dy} \right| \\
&= f \left( \frac{y}{\alpha} \right) \left| \frac{dx}{dy} \right| \\
&= \frac{1}{\Gamma(\nu)} \left( \frac{y}{\alpha} \right)^{\nu – 1} e^{-\frac{y}{\alpha}} \times \frac{1}{\alpha} \\
&= \frac{1}{\alpha^{\nu} \Gamma(\nu)} y^{\nu – 1} e^{-\frac{y}{\alpha}}
\end{align}
$$
vi)
確率変数を$Y$と考えるとき、モーメント母関数は$m(t)=E[e^{tY}]$のように表される。このことに基づいて$m(t)$は下記のように計算できる。
$$
\large
\begin{align}
m(t) &= E[e^{tY}] \\
&= \int_{0}^{\infty} e^{ty} \times \frac{1}{\alpha^{\nu} \Gamma(\nu)} y^{\nu – 1} e^{-\frac{y}{\alpha}} dy \\
&= \frac{1}{\alpha^{\nu}} \int_{0}^{\infty} \frac{1}{\Gamma(\nu)} y^{\nu – 1} e^{-y \left( -t+\frac{1}{\alpha} \right) } dy \\
&= \frac{1}{\alpha^{\nu}} \int_{0}^{\infty} \frac{1}{\Gamma(\nu)} y^{\nu – 1} e^{-y \left( \frac{1 – t \alpha}{\alpha} \right) } dy \\
&= \frac{1}{\alpha^{\nu}} \int_{0}^{\infty} \frac{1}{\Gamma(\nu)} y^{\nu – 1} e^{-\frac{y}{\alpha/(1 – t \alpha)}} dy \\
&= \frac{1}{\alpha^{\nu}} \int_{0}^{\infty} \frac{(\alpha/(1 – t \alpha))^{\nu}}{(\alpha/(1 – t \alpha))^{\nu} \Gamma(\nu)} y^{\nu – 1} e^{-\frac{y}{\alpha/(1 – t \alpha)}} dy \\
&= \frac{1}{\alpha^{\nu}} \times \frac{\alpha^{\nu}}{(1 – t \alpha)^{\nu}} \int_{0}^{\infty} \frac{1}{(\alpha/(1 – t \alpha))^{\nu} \Gamma(\nu)} y^{\nu – 1} e^{-\frac{y}{\alpha/(1 – t \alpha)}} dy \\
&= \frac{1}{\cancel{\alpha^{\nu}}} \times \frac{\cancel{\alpha^{\nu}}}{(1 – t \alpha)^{\nu}} \times 1 \\
&= (1 – t \alpha)^{- \nu}
\end{align}
$$
vⅱ)
$\displaystyle g(y) = \frac{1}{\alpha^{\nu} \Gamma(\nu)} y^{\nu – 1} e^{-\frac{y}{\alpha}}$に対して、$\nu=1$を代入すると下記が得られる。
$$
\large
\begin{align}
g(y) &= \frac{1}{\alpha^{1} \Gamma(1)} y^{1 – 1} e^{-\frac{y}{\alpha}} \\
&= \frac{1}{\alpha} e^{-\frac{y}{\alpha}}
\end{align}
$$
上記に対して、$\displaystyle \lambda = \frac{1}{\alpha}$のように置き換えることで、$g(y) = \lambda e^{-\lambda x}$が導出でき、これは指数分布の確率密度関数を表す。
・解説
iv)に関してはガンマ分布に関しての全確率の公式を用いても良いですが、ガンマ関数$\Gamma(\nu)$の定義から導出する方が$\Gamma(\nu)$が規格化定数であることも同時に理解できるので良いと思われました。また、vⅱ)のように指数分布を導出できることも抑えておくと良いと思います。
ベータ分布
・問題
$a>0, b>0$のパラメータを持つベータ分布を$Be(a,b)$と考える。ここで確率変数$X$が、$X \sim Be(a,b)$のように$Be(a,b)$に従うとき、$f(x)$の確率密度関数は下記のように表される。
$$
\begin{align}
f(x) = \frac{1}{B(a,b)} x^{a-1} (1-x)^{b-1}, \quad 0 \leq x \leq 1
\end{align}
$$
また、上記における$B(a,b)$は下記のように定義される。
$$
\begin{align}
B(a,b) = \int_{0}^{1} x^{a-1}(1-x)^{b-1} dx
\end{align}
$$
ここまでの内容を元に、下記の問いに答えよ。
i) $B(1,1), B(2,1), B(2,2)$に関してそれぞれ計算せよ。
ⅱ) $f_1(x) = x^{a-1} (1-x)^{b-1}$のように定義するとき、$f’_1(x)$を求めよ。
ⅲ) $a>2, b>2$の前提をおいた上で、$0 < x < 1$の範囲で$f’_1(x)=0$を$x$について解け。また、定義域$0 \leq x \leq 1$に対応する$f_1(x)$の増減表を求めよ。
iv) $X \sim Ga(a,1), Y \sim Ga(b,1)$かつ$X, Y$が互いに独立であるとき、$X, Y$に関する同時確率密度関数を$f(x,y)$と定義する。このとき$f(x,y)$を表せ。ただし、ガンマ分布$Ga(a,1)$の確率密度関数$f_{ga(a)}(x)$は下記のように表せることを用いて良い。
$$
\begin{align}
f_{ga(a)}(x) = \frac{1}{\Gamma(a)} x^{a-1} e^{-x}
\end{align}
$$
v) iv)で導出した$f(x,y)$に対して、$\displaystyle U = \frac{X}{X+Y}, V = X+Y$のような変換を考える。このとき、$X, Y$を$U, V$の式で表せ。また、ヤコビ行列$\mathbf{J}$とヤコビアン$|\det \mathbf{J}|$を計算せよ。
vi) v)の結果を元に、iv)で導出した$f(x,y)$に対して、$\displaystyle U = \frac{X}{X+Y}, V = X+Y$のような変換を行い、$U, V$に関する確率密度関数の$g(u,v)$を求めよ。
vⅱ) vi)の結果に対し、$\displaystyle B(a,b) = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$とおくことで、$U \sim Be(a,b)$であることを示せ。
・解答
i)
$B(1,1), B(2,1), B(2,2)$はそれぞれ下記のように計算できる。
・$B(1,1)$
$$
\large
\begin{align}
B(1,1) &= \int_{0}^{1} x^{1-1}(1-x)^{1-1} dx \\
&= \int_{0}^{1} x^{0}(1-x)^{0} dx \\
&= \int_{0}^{1} 1 dx \\
&= \left[ x \right]_{0}^{1} \\
&= 1
\end{align}
$$
・$B(2,1)$
$$
\large
\begin{align}
B(2,1) &= \int{0}^{1} x^{2-1}(1-x)^{1-1} dx \\
&= \int_{0}^{1} x^{1}(1-x)^{0} dx \\
&= \int_{0}^{1} x dx \\
&= \left[ \frac{1}{2} x^2 \right]_{0}^{1} \\
&= \frac{1}{2}
\end{align}
$$
・$B(2,2)$
$$
\large
\begin{align}
B(2,2) &= \int{0}^{1} x^{2-1}(1-x)^{2-1} dx \\
&= \int_{0}^{1} x^{1}(1-x)^{1} dx \\
&= \int_{0}^{1} (x-x^2) dx \\
&= \left[ \frac{1}{2} x^2 – \frac{1}{3} x^3 \right]_{0}^{1} \\
&= \frac{1}{2} – \frac{1}{3} \\
&= \frac{1}{6}
\end{align}
$$
ⅱ)
$f’_1(x)$は下記のように計算できる。
$$
\large
\begin{align}
f’_1(x) &= \left( x^{a-1} (1-x)^{b-1} \right)’ \\
&= (a-1)x^{a-2}(1-x)^{b-1} – (b-1)x^{a-1} (1-x)^{b-2} \\
&= x^{a-2}(1-x)^{b-2} \left\{ (a-1)(1-x) – (b-1)x \right\} \\
&= x^{a-2}(1-x)^{b-2} \left\{ -(a-1+b-1)x + (a-1) \right\} \\
&= x^{a-2}(1-x)^{b-2} \left\{ -(a+b-2)x + (a-1) \right\}
\end{align}
$$
ⅲ)
$0 < x < 1$では$x^{a-2}(1-x)^{b-2} > 0$であるので、$f’_1(x)=0 \iff -(a+b-2)x + (a-1)=0$となる。以下、$x$に関して解く。
$$
\large
\begin{align}
-(a+b-2)x + (a-1) &= 0 \\
(a+b-2)x &= a-1 \\
x &= \frac{a-1}{a+b-2}
\end{align}
$$
途中式で両辺を$a+b-2$で割ったが、$a>2, b>2$より$a+b-2>0$が成立するので、そのまま割ることができる。
また、定義域$0 \leq x \leq 1$に対応する$f’_1(x)$の増減表は$\displaystyle 0 < \frac{a-1}{a+b-2} < 1$より下記のように作成することができる。
$$
\large
\begin{array}{|c|*5{c|}}\hline x & 0 & \cdots & \frac{a-1}{a+b-2} & \cdots & 1 \\
\hline f'(x)& 0 & + & 0 & – & 0 \\
\hline f(x)& 0 & \nearrow & \left( \frac{a-1}{a+b-2} \right)^{a-1} \left( \frac{b-1}{a+b-2} \right)^{b-1} & \searrow & 0 \\
\hline
\end{array}
$$
iv)
$f(x,y) = f_{ga(a)}(x) f_{ga(b)}(y)$が成立することを利用することで、下記のように$f(x,y)$は導出できる。
$$
\large
\begin{align}
f(x,y) &= f_{ga(a)}(x) f_{ga(b)}(y) \\
&= \frac{1}{\Gamma(a)} x^{a-1} e^{-x} \times \frac{1}{\Gamma(b)} x^{b-1} e^{-y} \\
&= \frac{1}{\Gamma(a) \Gamma(b)} x^{a-1}y^{b-1} e^{-(x+y)}
\end{align}
$$
v)
$V=X+Y$より、$Y=V-X$が得られるので、これを$\displaystyle U = \frac{X}{X+Y}$に代入し、$X$に関して解く。
$$
\large
\begin{align}
U &= \frac{X}{X+(V-X)} \\
U &= \frac{X}{V} \\
X &= UV
\end{align}
$$
これを$V=X+Y$に代入し、$Y$に関して解く。
$$
\large
\begin{align}
V &= UV+Y \\
Y &= V-UV \\
Y &= V(1-U)
\end{align}
$$
次にヤコビ行列$\mathbf{J}$、ヤコビアン$|\det \mathbf{J}|$は下記のように導出できる。
・$\mathbf{J}$
$$
\large
\begin{align}
\mathbf{J} &= \left( \begin{array}{cc} \frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\ \frac{\partial y}{\partial u} & \frac{\partial y}{\partial v} \end{array} \right) \\
&= \left( \begin{array}{cc} \frac{\partial}{\partial u} (uv) & \frac{\partial}{\partial v} (uv) \\ \frac{\partial}{\partial u} (v(1-u)) & \frac{\partial}{\partial v} (v(1-u)) \end{array} \right) \\
&= \left( \begin{array}{cc} v & u \\ -v & 1-u \end{array} \right)
\end{align}
$$
・$|\det \mathbf{J}|$
$$
\large
\begin{align}
|\det \mathbf{J}| &= \det \left( \begin{array}{cc} v & u \\ -v & 1-u \end{array} \right) \\
&= | v(1-u) – (-uv) | \\
&= v
\end{align}
$$
vi)
$g(u,v)$は下記のように導出することができる。
$$
\large
\begin{align}
g(u,v) &= f(x,y) |\det \mathbf{J}| \\
&= f(uv,v(1-u)) |\det \mathbf{J}| \\
&= \frac{1}{\Gamma(a) \Gamma(b)} (uv)^{a-1} (v(1-u))^{b-1} e^{-v} \times v \\
&= \frac{1}{\Gamma(a) \Gamma(b)} \times v^{a+b-1}e^{-v} \times u^{a-1}(1-u)^{b-1} \\
&= \frac{1}{\Gamma(a+b)} v^{a+b-1}e^{-v} \times \frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} u^{a-1}(1-u)^{b-1}
\end{align}
$$
vⅱ)
vi)の結果に対し、$\displaystyle B(a,b) = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$のように置き換えると、下記のように整理できる。
$$
\large
\begin{align}
g(u,v) &= \frac{1}{\Gamma(a+b)} v^{a+b-1}e^{-v} \times \frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} u^{a-1}(1-u)^{b-1} \\
&= \frac{1}{\Gamma(a+b)} v^{a+b-1}e^{-v} \times \frac{1}{B(a,b)} u^{a-1}(1-u)^{b-1} \\
&= \frac{1}{B(a,b)} u^{a-1}(1-u)^{b-1} \times \frac{1}{\Gamma(a+b)} v^{a+b-1}e^{-v}
\end{align}
$$
ここで$U, V$に関する関数形より、$U \sim Be(a,b), V \sim Ga(a+b,1)$であることがわかる。
・解説
ベータ分布とガンマ分布に関する関連は少々計算が複雑ですが、抑えておくと良いと思います。
