当記事は「統計検定$1$級対応 統計学(東京図書)」の読解サポートにあたって第$2$章の「種々の確率分布」に関して演習問題を中心に解説を行います。正規分布や指数分布、$\chi^2$分布のような基本的な分布からガンマ分布やベータ分布など様々な分布について取り扱われているので、抑えておくと良いと思います。
Contents
本章のまとめ
練習問題解説
問$2$.$1$
問$2$.$2$
ポアソン分布$\mathrm{Poisson}(\lambda)$を$\lambda$に関してガンマ分布$\mathrm{Ga}(\alpha,\beta)$で混合した分布を$f(x)$とおくと、$f(x)$は下記のように考えることができる。
$$
\large
\begin{align}
f(x) &= \int_{0}^{\infty} \exp(-\lambda) \frac{\lambda^{x}}{x!} \times \frac{\beta^{\alpha}}{\Gamma(\alpha)} \lambda^{\alpha-1} \exp(-\beta \lambda) d \lambda \\
&= \frac{\beta^{\alpha}}{x! \Gamma(\alpha)} \int_{0}^{\infty} \lambda^{x+\alpha-1} \exp(-(\beta+1)x) d \lambda \quad (1)
\end{align}
$$
$(1)$式の積分はガンマ分布に関する式を元に考えると良い。
$$
\large
\begin{align}
\int_{0}^{\infty} x^{\alpha} \exp(-\beta x) dx = \frac{\Gamma(\alpha)}{\beta^{\alpha}} \quad (2)
\end{align}
$$
$(1)$式に対して$(2)$式を適用すると、下記のように変形を行うことができる。
$$
\large
\begin{align}
f(x) &= \frac{\beta^{\alpha}}{x! \Gamma(\alpha)} \int_{0}^{\infty} \lambda^{x+\alpha-1} \exp(-(\beta+1)x) d \lambda \\
&= \frac{\beta^{\alpha}}{x! \Gamma(\alpha)} \times \frac{\Gamma(x + \alpha)}{(\beta+1)^{x+\alpha}} \\
&= \frac{\Gamma(x + \alpha)}{x! \Gamma(\alpha)}\frac{\beta^{\alpha}}{(\beta+1)^{x+\alpha}} \quad (3)
\end{align}
$$
ここで$(3)$式に対し、$\displaystyle \alpha = r, \beta = \frac{p}{1-p}$の代入を行う。
$$
\large
\begin{align}
f(x) &= \frac{\Gamma(x + \alpha)}{x! \Gamma(\alpha)}\frac{\beta^{\alpha}}{(\beta+1)^{x+\alpha}} \\
&= \frac{\Gamma(x + r)}{x! \Gamma(r)} \times \left( \frac{p}{1-p} \right)^{r} \times (1-p)^{x+r} \\
&= \frac{(x+r-1)!}{x! (r-1)!} p^{r}(1-p)^{x}
\end{align}
$$
上記が負の二項分布の確率関数に一致する。なお、途中計算では$\displaystyle \frac{1}{\beta+1}$に関して下記が成立することを用いた。
$$
\large
\begin{align}
\frac{1}{\beta+1} &= \frac{1}{\displaystyle \frac{p}{1-p}+1} \\
&= \frac{1}{\displaystyle \frac{p+(1-p)}{1-p}} \\
&= \frac{1}{\displaystyle \frac{1}{1-p}} = 1-p
\end{align}
$$
問$2$.$3$
$Y \sim U(0,1)$より、$Y$の累積分布関数に関して$P(Y \leq y) = y$が成立する。また、$X = F^{-1}(Y)$かつ$F$が狭義単調増加であることより下記が成立する。
$$
\large
\begin{align}
X &= F^{-1}(Y) \\
Y &= F(X)
\end{align}
$$
このとき$X$に関する累積分布関数$P(X \leq x)$を考えると、$P(X \leq x)$は下記のように変形できる。
$$
\large
\begin{align}
P(X \leq x) &= P(F^{-1}(Y) \leq x) \\
&= P(Y \leq F(x)) = F(x)
\end{align}
$$
上記より、$F$が$X$の累積分布関数を表すことが確認できる。
・考察
「$X = F^{-1}(Y)$」かつ$「F$が狭義単調増加」は、「$X$を$F$によって$0$〜$1$の値に対応させる」かつ「$X$が大きくなるにつれて$F(X)$も大きくなる」に対応すると考えることができるので、これは累積分布関数に意味すると直感的に解釈することができる。
問$2$.$4$
$$
\large
\begin{align}
X_1 &= \frac{Y_1}{Y_1 + Y_2 + Y_3} \\
X_2 &= \frac{Y_2}{Y_1 + Y_2 + Y_3} \\
X_3 &= Y_1 + Y_2 + Y_3
\end{align}
$$
$Y_1, Y_2, Y_3$に対応する同時確率密度関数$g(y_1,y_2,y_3)$に対し、上記に基づいて変数変換を行うことを考える。同時確率密度関数$g(y_1,y_2,y_3)$は下記のように表せる。
$$
\large
\begin{align}
g(y_1,y_2,y_3) &= g(y_1)g(y_2)g(y_3) \\
&= \prod_{i=1}^{3} \frac{\beta^{\alpha_i}}{\Gamma(\alpha_i)} y_i^{\alpha_i-1} \exp(-\beta y_i) \quad (1)
\end{align}
$$
このとき$x_3=y_1+y_2+y_3$に着目することで、$y_1, y_2, y_3$は$x_1, x_2, x_3$を用いて下記のように表すことができる。
$$
\large
\begin{align}
y_1 &= x_1 x_3 \quad (2) \\
y_2 &= x_2 x_3 \quad (3) \\
y_3 &= x_3(1-x_1-x_2) \quad (4)
\end{align}
$$
ここで下記のようにヤコビ行列$\displaystyle J = \left( \frac{\partial y_i}{\partial x_j} \right)$を考える。
$$
\large
\begin{align}
J &= \left( \frac{\partial y_i}{\partial x_j} \right) \\
&= \left(\begin{array}{ccc} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \frac{\partial y_1}{\partial x_3} \\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \frac{\partial y_2}{\partial x_3} \\ \frac{\partial y_3}{\partial x_1} & \frac{\partial y_3}{\partial x_2} & \frac{\partial y_3}{\partial x_3} \end{array} \right) \\
&= \left(\begin{array}{ccc} x_3 & 0 & x_1 \\ 0 & x_3 & x_2 \\ -x_3 & -x_3 & 1-x_1-x_2 \end{array} \right)
\end{align}
$$
上記よりヤコビアン$|\det J| = x_3^2(1-x_1-x_2) – (x_3^2x_1 + x_3^2x_2) = x_3^2$が計算できる。
$(1)$式に対し$(2)$〜$(4)$式に基づいて変数変換を行うことを考える。$X_1,X_2,X_3$に関する確率密度関数を$f(x_1,x_2,x_3)$とおくと、$f(x_1,x_2,x_3)$は下記のように考えることができる。
$$
\large
\begin{align}
f(x_1,x_2,x_3) = & g(y_1,y_2,y_3) |\det J| \\
= & \frac{\beta^{\alpha_1}}{\Gamma(\alpha_1)} (x_1 x_3)^{\alpha_1-1} \exp(-\beta x_1 x_3) \times \frac{\beta^{\alpha_2}}{\Gamma(\alpha_2)} (x_2 x_3)^{\alpha_2-1} \exp(-\beta x_2 x_3) \\
& \times \frac{\beta^{\alpha_3}}{\Gamma(\alpha_3)} (x_3(1-x_1-x_2))^{\alpha_3-1} \exp(-\beta x_3(1-x_1-x_2)) \times x_3^2 \\
= & \frac{\beta^{\alpha_1+\alpha_2+\alpha_3}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\Gamma(\alpha_3)} x_1^{\alpha_1-1} x_2^{\alpha_2-1} (1-x_1-x_2)^{\alpha_3-1} x_3^{\alpha_1+\alpha_2+\alpha_3-1} \exp(-\beta x_3)
\end{align}
$$
ここで$(5)$式を$x_3$に関して$0$から$\infty$まで積分することを考えると、$f(x_1,x_2)$に対応する。
$$
\large
\begin{align}
f(x_1,x_2) &= \int_{0}^{\infty} f(x_1,x_2,x_3) d x_3 \\
&= \int_{0}^{\infty} \frac{\beta^{\alpha_1+\alpha_2+\alpha_3}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\Gamma(\alpha_3)} x_1^{\alpha_1-1} x_2^{\alpha_2-1} (1-x_1-x_2)^{\alpha_3-1} x_3^{\alpha_1+\alpha_2+\alpha_3-1} \exp(-\beta x_3) d x_3 \\
&= \frac{\beta^{\alpha_1+\alpha_2+\alpha_3}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\Gamma(\alpha_3)} x_1^{\alpha_1-1} x_2^{\alpha_2-1} (1-x_1-x_2)^{\alpha_3-1} \int_{0}^{\infty} x_3^{\alpha_1+\alpha_2+\alpha_3-1} \exp(-\beta x_3) d x_3
\end{align}
$$
上記に対して$\displaystyle \int_{0}^{\infty} x^{\alpha} \exp(-\beta x) dx = \frac{\Gamma(\alpha)}{\beta^{\alpha}}$を適用することを考える。
$$
\large
\begin{align}
f(x_1,x_2) &= \frac{\beta^{\alpha_1+\alpha_2+\alpha_3}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\Gamma(\alpha_3)} x_1^{\alpha_1-1} x_2^{\alpha_2-1} (1-x_1-x_2)^{\alpha_3-1} \int_{0}^{\infty} x_3^{\alpha_1+\alpha_2+\alpha_3-1} \exp(-\beta x_3) d x_3 \\
&= \frac{\beta^{\alpha_1+\alpha_2+\alpha_3}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\Gamma(\alpha_3)} x_1^{\alpha_1-1} x_2^{\alpha_2-1} (1-x_1-x_2)^{\alpha_3-1} \times \frac{\Gamma(\alpha_1+\alpha_2+\alpha_3)}{\beta^{\alpha_1+\alpha_2+\alpha_3}} \\
&= \frac{\Gamma(\alpha_1+\alpha_2+\alpha_3)}{\Gamma(\alpha_1)\Gamma(\alpha_2)\Gamma(\alpha_3)} x_1^{\alpha_1-1} x_2^{\alpha_2-1} (1-x_1-x_2)^{\alpha_3-1}
\end{align}
$$
上記は、$\displaystyle f(x_1,x_2) = \frac{\Gamma(\alpha_1+\alpha_2+\alpha_3)}{\Gamma(\alpha_1)\Gamma(\alpha_2)\Gamma(\alpha_3)} x_1^{\alpha_1-1} x_2^{\alpha_2-1} (1-x_1-x_2)^{\alpha_3-1}$が成立することを示す。
・参考
$n \times n$正方行列の行列式
https://www.hello-statisticians.com/explain-books-cat/matrix_determinants1.html
問$2$.$5$
問$2$.$6$
確率変数$X$が正規分布$\displaystyle \mathcal{N} \left( 0,\frac{1}{\theta} \right)$に従うとき、この確率密度関数は下記のように表すことができる。
$$
\large
\begin{align}
\sqrt{\frac{\theta}{2 \pi}} \exp \left( – \frac{x^2 \theta}{2} \right)
\end{align}
$$
上記の分布をパラメータの$\theta$に関してガンマ分布$\mathrm{Ga}(\alpha,\alpha)$を元に混合した際の確率密度関数を$f(x)$とおくと、$f(x)$は下記のように考えることができる。
$$
\large
\begin{align}
f(x) &= \int_{0}^{\theta} \sqrt{\frac{\theta}{2 \pi}} \exp \left( – \frac{x^2 \theta}{2} \right) \times \frac{\alpha^{\alpha}}{\Gamma(\alpha)} \theta^{\alpha-1} \exp{(-\alpha \theta)} d \theta \\
&= \frac{\alpha^{\alpha}}{\sqrt{2 \pi} \Gamma(\alpha)} \int_{0}^{\infty} \theta^{\alpha + \frac{1}{2} – 1} \exp \left[ – \left( \alpha + \frac{x^2}{2} \right) \theta \right] d \theta \quad (1)
\end{align}
$$
$(1)$式に対して下記の式を適用することを考える。
$$
\large
\begin{align}
\int_{0}^{\infty} x^{\alpha} \exp(-\beta x) dx &= \frac{\Gamma(\alpha)}{\beta^{\alpha}} \quad (2) \\
B(a,b) &= \frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)} \quad (3) \\
\Gamma \left( \frac{1}{2} \right) &= \sqrt{\pi} \quad (4)
\end{align}
$$
$(1)$式に対して$(2), (3), (4)$式を適用すると、下記のように変形を行うことができる。
$$
\large
\begin{align}
f(x) &= \frac{\alpha^{\alpha}}{\sqrt{2 \pi} \Gamma(\alpha)} \int_{0}^{\infty} \theta^{\alpha + \frac{1}{2} – 1} \exp \left[ – \left( \alpha + \frac{x^2}{2} \right) \theta \right] d \theta \\
&= \frac{\alpha^{\alpha}}{\sqrt{2 \pi} \Gamma(\alpha)} \times \frac{\displaystyle \Gamma \left( \alpha + \frac{1}{2} \right)}{\displaystyle \left( \alpha + \frac{x^2}{2} \right)^{\alpha + \frac{1}{2}}} \\
&= \frac{\displaystyle \Gamma \left( \alpha + \frac{1}{2} \right)}{\sqrt{2 \pi} \Gamma(\alpha) \alpha^{\frac{1}{2}}} \times \frac{\alpha^{\alpha + \frac{1}{2}}}{\displaystyle \left( \alpha + \frac{x^2}{2} \right)^{\alpha + \frac{1}{2}}} \\
&= \frac{\displaystyle \Gamma \left( \frac{1}{2} \right)}{\sqrt{2 \pi} B \left( \alpha,\frac{1}{2} \right) \alpha^{\frac{1}{2}}} \times \frac{1}{\displaystyle \left( 1 + \frac{x^2}{2 \alpha} \right)^{\alpha + \frac{1}{2}}} \\
&= \frac{\sqrt{\pi}}{\sqrt{2 \pi} B \left( \alpha,\frac{1}{2} \right) \alpha^{\frac{1}{2}}} \times \frac{1}{\displaystyle \left( 1 + \frac{x^2}{2 \alpha} \right)^{\alpha + \frac{1}{2}}} \\
&= \frac{1}{\sqrt{2} B \left( \alpha,\frac{1}{2} \right) \alpha^{\frac{1}{2}}} \times \left( 1 + \frac{x^2}{2 \alpha} \right)^{-\left( \alpha + \frac{1}{2} \right)}
\end{align}
$$
ここで$(5)$式に$\displaystyle \alpha = \frac{p}{2}$を代入すると下記のように変形できる。
$$
\large
\begin{align}
f(x) &= \frac{1}{\sqrt{2} B \left( \alpha,\frac{1}{2} \right) \alpha^{\frac{1}{2}}} \times \left( 1 + \frac{x^2}{2 \alpha} \right)^{-\left( \alpha + \frac{1}{2} \right)} \\
&= \frac{1}{\sqrt{2} B \left( \frac{p}{2},\frac{1}{2} \right) \left( \frac{p}{2} \right)^{\frac{1}{2}}} \times \left( 1 + \frac{x^2}{p} \right)^{-\left( \frac{p}{2} + \frac{1}{2} \right)} \\
&= \frac{1}{\sqrt{p} B \left( \frac{p}{2},\frac{1}{2} \right)} \left( 1 + \frac{x^2}{p} \right)^{-\frac{p+1}{2}}
\end{align}
$$
上記は自由度$p$の$t$分布の確率密度関数の式に一致する。
参考
・統計検定1級 統計数理 関連まとめ
https://www.hello-statisticians.com/stat_certifi_1_math