連続型確率分布の数式まとめ（正規分布、指数分布、一様分布、ガンマ分布、カイ二乗分布 etc）

http://www.hello-statisticians.com/explain-terms-cat/prob_generating.html
上記では確率分布の様々な表記（確率密度関数、確率母関数など）について確認したが、当記事ではその表記に基づいて連続型確率分布のそれぞれの確率密度関数やモーメント母関数、期待値、分散などについて確認する。
当記事の作成にあたっては主に「基礎統計学Ⅰ 統計学入門(東京大学出版会)」の第6章や「統計学実践ワークブック」の第$6$章の「連続型分布と標本分布」を参考にした。

連続型確率分布

正規分布

正規分布(normal distribution)の確率密度関数は下記のように表すことができる。
$$
\large
\begin{align}
f(x|\mu, \sigma^2) = \frac{1}{\sqrt{2 \pi}\sigma} \exp \left( – \frac{(x-\mu)^2}{2 \sigma^2} \right) \qquad (-\infty < x < \infty)
\end{align}
$$
また、定数$\displaystyle \frac{1}{\sqrt{2 \pi}\sigma}$は下記に基づいて与えられる。
$$
\begin{align}
\int_{-\infty}^{\infty} \exp \left( – \frac{(x-\mu)^2}{2 \sigma^2} \right) dx &= \frac{1}{\sqrt{2 \pi}\sigma} \\
\int_{-\infty}^{\infty} f(x|\mu, \sigma^2) dx &= 1
\end{align}
$$
ここで定数$\displaystyle \frac{1}{\sqrt{2 \pi}\sigma}$は規格化定数である。

次に正規分布の期待値$E[X]$と分散$V[X]$について考える。
・期待値
$$
\large
\begin{align}
E[X] &= \int_{-\infty}^{\infty} x \frac{1}{\sqrt{2 \pi}\sigma} \exp \left( – \frac{(x-\mu)^2}{2 \sigma^2} \right) dx \\
&= \mu \\
V[X] &= \int_{-\infty}^{\infty} (x-E[X])^2 \frac{1}{\sqrt{2 \pi}\sigma} \exp \left( – \frac{(x-\mu)^2}{2 \sigma^2} \right) dx \\
&= \sigma^2
\end{align}
$$
上記では結果のみ示したが、モーメント母関数を用いた正規分布の期待値$E[X]$と分散$V[X]$の導出の詳細は下記で取り扱った。
https://www.hello-statisticians.com/explain-terms-cat/norm_gen_func1.html

指数分布

指数分布の確率密度関数は$0<x$の範囲で下記のように表すことができる。
$$
\large
\begin{align}
f(x|\lambda) = \lambda e^{-\lambda x}
\end{align}
$$
上記の積分を考えると、下記のように確率密度関数の定義にある$\displaystyle \int_{0}^{\infty} f(x) dx = 1$を導出できる。
$$
\large
\begin{align}
\int_{0}^{\infty} f(x) dx &= \int_{0}^{\infty} \lambda e^{-\lambda x} dx \\
&= \lambda \int_{0}^{\infty} e^{-\lambda x} dx \\
&= \lambda \left[ \frac{e^{-\lambda x}}{-\lambda} \right]_{0}^{\infty} \\
&= \left[ -e^{-\lambda x} \right]_{0}^{\infty} \\
&= -(0-1) \\
&= 1
\end{align}
$$

次に指数分布の期待値$E[X]$と分散$V[X]$について考える。
・期待値
$$
\large
\begin{align}
E[X] &= \int_{0}^{\infty} x\lambda e^{-\lambda x} dx \\
&= \lambda \int_{0}^{\infty} xe^{-\lambda x} dx \\
&= \lambda \left[ \frac{1}{-\lambda} x e^{-\lambda x} \right]_{0}^{\infty} + \int_{0}^{\infty} e^{-\lambda x} dx \\
&= 0 + \left[ \frac{1}{-\lambda} e^{-\lambda x} \right]_{0}^{\infty} \\
&= \frac{1}{-\lambda}(0-1) \\
&= \frac{1}{\lambda}
\end{align}
$$

・分散
$$
\large
\begin{align}
V[X] &= \int_{0}^{\infty} (x-E[X])^2 \lambda e^{-\lambda x} dx \\
&= \lambda \left[ (x-E[X])^2 \frac{1}{-\lambda} e^{-\lambda x} \right]_{0}^{\infty} + 2\int_{0}^{\infty} (x-E[X]) e^{-\lambda x} dx \\
&= \lambda \left[ (x-E[X])^2 \frac{1}{-\lambda} e^{-\lambda x} \right]_{0}^{\infty} + 2\left[ \frac{1}{-\lambda} (x-E[X]) e^{-\lambda x} \right]_{0}^{\infty} + \frac{2}{\lambda} \int_{0}^{\infty} e^{-\lambda x} dx \\
&= \left[ -(x-E[X])^2 e^{-\lambda x} \right]_{0}^{\infty} + \frac{2}{-\lambda} \left[ (x-E[X]) e^{-\lambda x} \right]_{0}^{\infty} + \frac{2}{\lambda} \left[ \frac{1}{-\lambda} e^{-\lambda x} \right]_{0}^{\infty} \\
&= \frac{1}{\lambda^2} – \frac{2}{\lambda^2} + \frac{2}{\lambda^2} \\
&= \frac{1}{\lambda^2}
\end{align}
$$

・モーメント母関数
指数分布のパラメータ$\lambda$は$\lambda>0$で定められる。このとき$t < \lambda$の範囲で下記が成立する。
$$
\large
\begin{align}
m(t) &= E[e^{tX}] = \int_{0}^{\infty} e^{tx} \times \lambda e^{-\lambda x} dx \\
&= \lambda \int_{0}^{\infty} e^{-(\lambda-t) x} dx \\
&= \lambda \left[ -\frac{1}{\lambda-t} e^{-(\lambda-t) x} \right]_{0}^{\infty} \\
&= -\frac{\lambda}{\lambda-t} (0 – 1) \\
&= \frac{\lambda}{\lambda-t}
\end{align}
$$

上記で定めたモーメント母関数の変数$t$の定義域は$t < \lambda$であるが、$\lambda>0$より$t=0$の周辺を含む。モーメント母関数に関しては基本的に$t=0$の周辺のみを考えるので、上記をモーメント母関数に用いて問題ないことが確認できる。

また、指数分布を拡張した分布であるワイブル分布に関しては下記で詳しく取り扱った。
https://www.hello-statisticians.com/explain-terms-cat/weibul_distribution1.html

一様分布

一様分布は離散型、連続型の二通りのパターンがあるが離散型については取り扱われていることが多いので、ここでは連続型の一様分布について考える。

連続型の一様分布は下記のような確率密度関数で表すことができる。
$$
\large
\begin{align}
f(x|a,b) = \frac{1}{b-a}
\end{align}
$$
上記の積分を考えると、下記のように確率密度関数の定義にある$\displaystyle \int_{-\infty}^{\infty} f(x) dx = 1$を導出できる。
$$
\large
\begin{align}
\int_{-\infty}^{\infty} f(x) dx &= \int_{a}^{b} \frac{1}{b-a} dx \\
&= \left[ \frac{x}{b-a} \right]_{a}^{b} \\
&= \left( \frac{b}{b-a} \right) – \left( \frac{a}{b-a} \right) \\
&= \frac{b-a}{b-a} \\
&= 1
\end{align}
$$

次に連続型の一様分布の期待値$E[X]$と分散$V[X]$について考える。
・期待値
$$
\large
\begin{align}
E[X] &= \int_{-\infty}^{\infty} xf(x) dx \\
&= \int_{a}^{b} \frac{x}{b-a} dx \\
&= \left[ \frac{x^2}{2(b-a)} \right]_{a}^{b} \\
&= \left( \frac{b^2}{2(b-a)} \right) – \left( \frac{a^2}{2(b-a)} \right) \\
&= \frac{b^2-a^2}{2(b-a)} \\
&= \frac{(b+a)(b-a)}{2(b-a)} \\
&= \frac{a+b}{2}
\end{align}
$$

・分散
$V[X] = E[X^2]-(E[X])^2$が成立することを利用する方がシンプルなため、$E[X^2]$を先に計算する。
$$
\large
\begin{align}
E[X^2] &= \int_{-\infty}^{\infty} x^2f(x) dx \\
&= \int_{a}^{b} \frac{x^2}{b-a} dx \\
&= \left[ \frac{x^3}{3(b-a)} \right]_{a}^{b} \\
&= \left( \frac{b^3}{3(b-a)} \right) – \left( \frac{a^3}{3(b-a)} \right) \\
&= \frac{b^3-a^3}{3(b-a)} \\
&= \frac{(b-a)(b^2+ab+a^2)}{3(b-a)} \\
&= \frac{b^2+ab+a^2}{3}
\end{align}
$$

よって、$V[X]$は下記のように計算できる。
$$
\large
\begin{align}
V[X] &= E[X^2]-(E[X])^2 \\
&= \frac{b^2+ab+a^2}{3} – \left( \frac{a+b}{2} \right)^2 \\
&= \frac{b^2+ab+a^2}{3} – \frac{a^2+2ab+b^2}{4} \\
&= \frac{4b^2+4ab+4a^2}{12} – \frac{3a^2+6ab+3b^2}{12} \\
&= \frac{b^2-2ab+a^2}{12} \\
&= \frac{(b-a)^2}{12}
\end{align}
$$

また、一様分布を拡張した分布であると考えることのできるベータ分布に関しては下記で詳しく取り扱った。
https://www.hello-statisticians.com/explain-terms-cat/beta_distribution1.html

ガンマ分布・$\chi^2$分布

ガンマ分布(Gamma distribution)は指数分布を一般化したもので、次の確率密度関数で表すことができる。
$$
\large
\begin{align}
f(x) = \frac{\lambda^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1}e^{-\lambda x} \qquad (x \geq 0)
\end{align}
$$
ここで$\alpha>0$である。また、ガンマ分布の重要な部分は$x^{\alpha-1}e^{-\lambda x}$であり、$\alpha=1$なら

ここで$\alpha>0$である。また、$\alpha$と$\lambda$で指定されるガンマ分布を$Ga(\alpha, \lambda)$で表す。ガンマ分布の重要な部分は$x^{\alpha-1}e^{-\lambda x}$であり、$\alpha=1$なら指数分布に一致する。

また、ガンマ分布$Ga(n/2, 1/2)$は自由度$n$の$\chi^2$分布と言われる。

・参考
ガンマ分布
https://www.hello-statisticians.com/explain-terms-cat/gamma_distribution1.html

コーシー分布

コーシー分布は下記の確率密度関数で表すことができる。
$$
\large
\begin{align}
f(x) = \frac{\alpha}{\pi} (\alpha^2 + (x-\lambda)^2) \qquad (\alpha > 0)
\end{align}
$$
コーシー分布は正規分布に近しい分布となるが、詳しく調べると全く違う分布である。

・参考
$t$分布とコーシー分布の対応
https://www.hello-statisticians.com/explain-terms-cat/t_dist1.html

標本分布

統計量の分布を標本分布といい、$\chi^2$分布、$t$分布、$F$分布などが主に用いられる。詳しくは下記で取りまとめを行なった。

統計量と標本分布(sampling distribution)の具体例　

標本分布の変数変換を用いた導出や平均・分散の計算｜問題演習で理解する統計学【5】

$2$変量正規分布

$p$次元ベクトル$\mathbf{x}$に関する多次元正規分布$\mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma})$の確率密度関数を$f(\mathbf{x})$とおくと$f(\mathbf{x})$は下記のように表せる。
$$
\large
\begin{align}
f(\mathbf{x}) = \frac{1}{(2 \pi)^{\frac{p}{2}} |\boldsymbol{\Sigma}|^{\frac{1}{2}}} \exp{\left[ -\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}) \right]}
\end{align}
$$

以下、上記を元に$2$変量正規分布の確率密度関数を具体的に表す。下記のように$\mathbf{x}, \boldsymbol{\mu}, \boldsymbol{\Sigma}$を表す。
$$
\large
\begin{align}
\mathbf{x} &= \left( \begin{array}{c} x_1 \\ x_2 \end{array} \right) \\
\boldsymbol{\mu} &= \left( \begin{array}{c} \mu_1 \\ \mu_2 \end{array} \right) \\
\boldsymbol{\Sigma} &= \left( \begin{array}{cc} \sigma_1^2 & \rho \sigma_1 \sigma_2 \\ \rho \sigma_1 \sigma_2 & \sigma_2^2 \end{array} \right)
\end{align}
$$

このとき$|\boldsymbol{\Sigma}|$や$\boldsymbol{\Sigma}^{-1}$は下記のように表せる。
$$
\large
\begin{align}
|\boldsymbol{\Sigma}| &= \left| \begin{array}{cc} \sigma_1^2 & \rho \sigma_1 \sigma_2 \\ \rho \sigma_1 \sigma_2 & \sigma_2^2 \end{array} \right| \\
&= \sigma_1^2 \sigma_2^2 – \rho^2 \sigma_1^2 \sigma_2^2 \\
&= \sigma_1^2 \sigma_2^2 (1 – \rho^2) \\
\boldsymbol{\Sigma}^{-1} &= \frac{1}{|\boldsymbol{\Sigma}|} \left( \begin{array}{cc} \sigma_2^2 & -\rho \sigma_1 \sigma_2 \\ -\rho \sigma_1 \sigma_2 & \sigma_1^2 \end{array} \right) \\
&= \frac{1}{\sigma_1^2 \sigma_2^2 (1 – \rho^2)} \left( \begin{array}{cc} \sigma_2^2 & -\rho \sigma_1 \sigma_2 \\ -\rho \sigma_1 \sigma_2 & \sigma_1^2 \end{array} \right)
\end{align}
$$

上記に基づいて$(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})$は下記のように表せる。
$$
\large
\begin{align}
& (\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}) = \frac{1}{\sigma_1^2 \sigma_2^2 (1 – \rho^2)} \left( \begin{array}{cc} x_1-\mu_1 & x_2-\mu_2 \end{array} \right) \left( \begin{array}{cc} \sigma_2^2 & -\rho \sigma_1 \sigma_2 \\ -\rho \sigma_1 \sigma_2 & \sigma_1^2 \end{array} \right) \left( \begin{array}{c} x_1-\mu_1 \\ x_2-\mu_2 \end{array} \right) \\
&= \frac{1}{\sigma_1^2 \sigma_2^2 (1 – \rho^2)} \left( \begin{array}{cc} (x_1-\mu_1) \sigma_2^2 – (x_2-\mu_2) \rho \sigma_1 \sigma_2 & -(x_1-\mu_1) \rho \sigma_1 \sigma_2 + (x_2-\mu_2) \sigma_1^2 \end{array} \right) \left( \begin{array}{c} x_1-\mu_1 \\ x_2-\mu_2 \end{array} \right) \\
&= \frac{1}{\sigma_1^2 \sigma_2^2 (1 – \rho^2)} \left[ (x_1-\mu_1)^2 \sigma_2^2 – 2(x_1-\mu_1)(x_2-\mu_2) \rho \sigma_1 \sigma_2 + (x_2-\mu_2)^2 \sigma_1^2 \right] \\
&= \frac{1}{(1 – \rho^2)} \frac{(x_1-\mu_1)^2 \sigma_2^2 – 2(x_1-\mu_1)(x_2-\mu_2) \rho \sigma_1 \sigma_2 + (x_2-\mu_2)^2 \sigma_1^2}{\sigma_1^2 \sigma_2^2} \\
&= \frac{1}{(1 – \rho^2)} \left[ \left( \frac{x_1-\mu_1}{\sigma_1} \right)^2 – 2 \rho \left( \frac{x_1-\mu_1}{\sigma_1} \right) \left( \frac{x_2-\mu_2}{\sigma_2} \right) + \left( \frac{x_2-\mu_2}{\sigma_2} \right)^2 \right]
\end{align}
$$

よって$2$次元正規分布の確率密度関数を$f(x_1,x_2)$とおくと、$f(x_1,x_2)$は下記のように表せる。
$$
\large
\begin{align}
f(x_1,x_2) &= \frac{1}{(2 \pi)^{\frac{2}{2}} |\boldsymbol{\Sigma}|^{\frac{1}{2}}} \exp{\left[ -\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}) \right]} \\
&= \frac{1}{2 \pi \sigma_1 \sigma_2 \sqrt{1 – \rho^2}} \exp{\left( -\frac{1}{2(1 – \rho^2)} \left[ \left( \frac{x_1-\mu_1}{\sigma_1} \right)^2 – 2 \rho \left( \frac{x_1-\mu_1}{\sigma_1} \right) \left( \frac{x_2-\mu_2}{\sigma_2} \right) + \left( \frac{x_2-\mu_2}{\sigma_2} \right)^2 \right] \right)} \quad (1)
\end{align}
$$

以下、$x_2$が得られた際の$x_1$の条件付き確率分布の期待値$E[X_1|X_2=x_2]$と分散$V[X_1|X_2=x_2]$の導出を行う。$(1)$式の$\exp$の項に対して下記のような$x_1$に関する平方完成を行う。
$$
\large
\begin{align}
& \exp{\left( -\frac{1}{2(1 – \rho^2)} \left[ \left( \frac{x_1-\mu_1}{\sigma_1} \right)^2 – 2 \rho \left( \frac{x_1-\mu_1}{\sigma_1} \right) \left( \frac{x_2-\mu_2}{\sigma_2} \right) + \left( \frac{x_2-\mu_2}{\sigma_2} \right)^2 \right] \right)} \\
&= \exp{\left( -\frac{1}{2(1 – \rho^2)} \left[ \frac{1}{\sigma_1^2}(x_1-\mu_1)^2 – 2 \frac{\rho}{\sigma_1 \sigma_2} (x_1-\mu_1) (x_2-\mu_2) + \left( \frac{x_2-\mu_2}{\sigma_2} \right)^2 \right] \right)} \\
&= \exp{\left[ -\frac{1}{2(1 – \rho^2)} \left( \frac{1}{\sigma_1^2}\left[ (x_1-\mu_1)^2 – 2 \rho \frac{\sigma_1}{\sigma_2} (x_1-\mu_1)(x_2-\mu_2) \right] + \left( \frac{x_2-\mu_2}{\sigma_2} \right)^2 \right) \right]} \\
&= \exp{\left[ -\frac{1}{2 \sigma_1^2 (1 – \rho^2)} \left( \left[ (x_1-\mu_1) – \rho \frac{\sigma_1}{\sigma_2} (x_2-\mu_2) \right]^2 + \mathrm{Const} \right) \right]} \\
&= \exp{\left[ -\frac{1}{2(1 – \rho^2)} \left( \left[ (x_1-(\mu_1 + \rho \frac{\sigma_1}{\sigma_2} (x_2-\mu_2) ) \right]^2 + \mathrm{Const} \right) \right]}
\end{align}
$$

よって$x_2$が得られた際の$x_1$の条件付き確率分布の期待値$E[X_1|X_2=x_2]$と分散$V[X_1|X_2=x_2]$は下記のように表せる。
$$
\large
\begin{align}
E[X_1|X_2=x_2] &= \mu_1 + \rho \frac{\sigma_1}{\sigma_2}(x_2-\mu_2) \\
V[X_1|X_2=x_2] &= \sigma_1^2 (1-\rho^2)
\end{align}
$$

多変量正規分布に関しては下記などで詳しく取り扱った。

多次元正規分布と二次形式(Mahalanobis distance)の直感的な理解

多次元正規分布における条件付き確率分布の数式の導出を理解する

2次元正規分布における条件付き確率分布・周辺分布の数式の導出を理解する

対数正規分布

下記で詳しく取り扱った。

確率変数の変換と対数正規分布(log-normal distribution)の導出

まとめ

当記事では連続型の確率分布について具体的に確認しました。特に正規分布、指数分布はよく出てくるため抑えておくと良いと思います。