確率分布の様々な表現（確率密度関数・累積分布関数・確率母関数・モーメント母関数・特性関数）

基礎的な統計学から一つ進んだ高度な統計学を考える上で重要なトピックである確率分布だが、基礎的な統計学で取り扱う確率密度関数(Probability Density Function)や累積分布関数(Cummulative Distribution Function)の他に、確率母関数(Probability Generating Function)を用いた表現も抑えておくと良い。この記事では確率密度関数、累積分布関数、確率母関数、モーメント母関数、特性関数の定義について確認する。

基本事項

前提確認

確率変数(Random Variable)を$X$、$X$が$x$を取る確率を$p(x)=P(X=x)$と表し、これを確率関数(Probability Function)と呼ぶ。

また、$X$が離散的な値を取る場合、期待値と分散を下記のように定義する。

• 期待値（$X$が離散）
  $$
  \begin{align}
  E[X] = \sum_{x} xp(x)
  \end{align}
  $$
• 分散（$X$が離散）
  $$
  \begin{align}
  V[X] = \sum_{x} (x-E[X])^2 p(x)
  \end{align}
  $$

確率密度関数(Probability Density Function)

離散的な確率変数を考える際は$p(x)=P(X=x)$にそれぞれ値が割り振られるため、$p(x)=P(X=x)$をそのまま考えるだけで良いが、連続的な確率変数を考える際は区間も考慮しないとそれぞれの確率は計算できない。
そこで確率変数が連続値を取るとき、確率密度関数を下記のように定義する。
$$
\begin{align}
f(x) = \lim_{\epsilon \to 0} \frac{P(x < X \leq x+\epsilon)}{\epsilon}
\end{align}
$$

また、Xが連続値を取る場合は期待値と分散は下記のように定義する。

• 期待値（$X$が連続）
  $$
  \begin{align}
  E[X] = \int_{-\infty}^{-\infty} xf(x) dx
  \end{align}
  $$
• 分散（$X$が連続）
  $$
  \begin{align}
  V[X] = \int_{-\infty}^{-\infty} (x-E[X])^2f(x) dx
  \end{align}
  $$

累積分布関数(Cummulative Distribution Function)

確率変数$X$の累積分布関数の$F(x)$は$F(x)=P(X \leq x)$のように定義する。確率変数が離散値を取る場合も連続値を取る場合のどちらでも$F(x)=P(X \leq x)$のように定義できるが、詳しい式の表し方が少々違うので以下確認する。

• 離散確率変数
  $$
  \begin{align}
  F(x) = \sum_{x’ \leq x} p(x’)
  \end{align}
  $$
• 連続確率変数
  $$
  \begin{align}
  F(x) = \int_{-\infty}^{x} f(x’) dx’
  \end{align}
  $$

ここで$p(x’)$は確率関数(probability function)、$f(x’)$は確率密度関数である。

確率母関数・モーメント母関数

確率母関数(Probability Generating Function)

確率母関数、モーメント母関数、特性関数は確率関数や確率密度関数の性質を調べるために有用な関数である。確率変数が整数値を取る場合、確率母関数(Probability Generating Function)を下記のように定義する。

$$
\begin{align}
G(t) = E[t^X] = \sum_{x} t^xp(x)
\end{align}
$$

また、確率変数が連続的な値を取る場合、確率母関数は下記のように定義する。
$$
\begin{align}
G(t) = E[X] = \int_{-\infty}^{-\infty} t^xf(x) dx
\end{align}
$$

確率母関数と以下で取り扱うモーメント母関数、特性関数は以下の性質を持つ。

(1) 確率分布との1対1対応
(2) 独立な変数の和が母関数の積に対応

この性質に基づいて中心極限定理などを示すことができる。

モーメント母関数(Moment Generating Function)

確率変数が整数値を取る場合、モーメント母関数(Moment Generating Function)を下記のように定義する。
$$
\begin{align}
m(t) = E[e^{tX}] = \sum_{x} e^{x}p(x) = G(e^t)
\end{align}
$$
また、モーメント母関数は下記のように指数関数のマクローリン展開から導出できることを知っておくと良い。
$$
\begin{align}
e^x &= 1 + \frac{x}{1!} + \frac{x^2}{2!} + \frac{x^3}{3!} + … \\
e^{tX} &= 1 + \frac{tX}{1!} + \frac{(tX)^2}{2!} + \frac{(tX)^3}{3!} + … \\
E[e^{tX}] &= 1 + \frac{tE[X]}{1!} + \frac{t^2E[X^2]}{2!} + \frac{t^3E[X^3]}{3!} + … \\
m(t) &= 1 + \frac{tE[X]}{1!} + \frac{t^2E[X^2]}{2!} + \frac{t^3E[X^3]}{3!} + …
\end{align}
$$
上記を用いることで$m'(0)=E[X]$、$m^{”}(0)=E[X^2]$、…のように、モーメント母関数と確率分布の期待値$E[X]$や分散$V[X]=E[X^2]-E[X]^2$などの導出を行うことができる。

特性関数(Characteristic Function)

特性関数は下記のように定義する。
$$
\begin{align}
\phi(t) = E[e^{itX}] = m(it)
\end{align}
$$

■ 参考

・日本統計学会公式認定　統計検定準1級対応　統計学実践ワークブック

https://www.gakujutsu.co.jp/product/978-4-7806-0852-6/