中心極限定理やデルタ法を用いた分布収束｜問題演習で理解する統計学【6】

統計学に関する書籍は数多く出版されていますが、問題演習については問題がシンプルで解説が丁寧なものが少ない印象のため、演習問題の作成を進めています。当記事では中心極限定理(Central Limit Theory)やデルタ法を用いた分布収束に関する演習問題について取り扱いました。

・標準演習$100$選
https://www.hello-statisticians.com/practice_100

下記などの内容を参考に演習の作成を行いました。

基本問題

標本・確率変数の和と平均に関する中心極限定理

・問題
中心極限定理は$E[X_i]=\mu, V[X_i]=\sigma^2$に基づく標本列$X_1, X_2, …, X_n, \, i.i.d.$に対して下記のように表される。
$$
\large
\begin{align}
S_n &= \sum_{i=1}^{n} X_n \sim \mathcal{N}(n \mu, n \sigma^2) \\
\overline{X} &= \frac{1}{n} \sum_{i=1}^{n} X_n \sim \mathcal{N} \left( \mu, \frac{\sigma^2}{n} \right)
\end{align}
$$

上記では確率変数の和$S_n$と平均$\overline{X}$に関して表したが、実際に中心極限定理を適用するにあたっては両者を混同しやすいので注意が必要である。そこでこの問題では確率変数の和$S_n$と平均$\overline{X}$に関する中心極限定理の表現に関して確認を行う。以下の問題にそれぞれ答えよ。
i) $E[X_i]=\mu, V[X_i]=\sigma^2$のとき$E[S_n], V[S_n]$をそれぞれ答えよ。
ⅱ) $E[X_i]=\mu, V[X_i]=\sigma^2$のとき$E[\overline{X}], V[\overline{X}]$をそれぞれ答えよ。
ⅲ) $\displaystyle \frac{S_n-E[S_n]}{\sqrt{V[S_n]}}, \frac{\overline{X}-E[\overline{X}]}{\sqrt{V[\overline{X}]}}$は中心極限定理を元にそれぞれどのような分布に従うか答えよ。
iv) ⅲ)で表した$\displaystyle \frac{S_n-E[S_n]}{\sqrt{V[S_n]}}, \frac{\overline{X}-E[\overline{X}]}{\sqrt{V[\overline{X}]}}$をそれぞれ$\mu, \sigma, n$を用いて表せ。
v) 確率変数の和$S_n$と平均$\overline{X}$をどのように使い分けるかに関して、考察せよ。

・解答
i)
$E[X_i]=\mu, V[X_i]=\sigma^2$のとき$E[S_n], V[S_n]$はそれぞれ下記のように考えることができる。
$$
\large
\begin{align}
E[S_n] &= E \left[ \sum_{i=1}^{n} X_i \right] \\
&= \sum_{i=1}^{n} E[X_i] \\
&= n \mu \\
V[S_n] &= V \left[ \sum_{i=1}^{n} X_i \right] \\
&= \sum_{i=1}^{n} V[X_i] \\
&= n \sigma^2
\end{align}
$$

ⅱ)
$E[X_i]=\mu, V[X_i]=\sigma^2$のとき$E[\overline{X}], V[\overline{X}]$はそれぞれ下記のように考えることができる。
$$
\large
\begin{align}
E[\overline{X}] &= E \left[ \frac{1}{n} \sum_{i=1}^{n} X_i \right] \\
&= \frac{1}{n} \sum_{i=1}^{n} E[X_i] \\
&= \frac{1}{\cancel{n}} \times \cancel{n} \mu = \mu \\
V[\overline{X}] &= V \left[ \frac{1}{n} \sum_{i=1}^{n} X_i \right] \\
&= \frac{1}{n^2} \sum_{i=1}^{n} V[X_i] \\
&= \frac{1}{n^{\cancel{2}}} \times \cancel{n} \sigma^2 = \frac{\sigma^2}{n}
\end{align}
$$

ⅲ)
$\displaystyle \frac{S_n-E[S_n]}{\sqrt{V[S_n]}} \sim \mathcal{N}(0,1), \frac{\overline{X}-E[\overline{X}]}{\sqrt{V[\overline{X}]}} \sim \mathcal{N}(0,1)$のようにそれぞれ標準正規分布$\mathcal{N}(0,1)$に従う。

iv)
$\displaystyle \frac{S_n-E[S_n]}{\sqrt{V[S_n]}}, \frac{\overline{X}-E[\overline{X}]}{\sqrt{V[\overline{X}]}}$は$\mu, \sigma, n$を用いてそれぞれ下記のように表せる。
$$
\large
\begin{align}
\frac{S_n-E[S_n]}{\sqrt{V[S_n]}} &= \frac{S_n – n \mu}{\sqrt{n} \sigma} \\
\frac{\overline{X}-E[\overline{X}]}{\sqrt{V[\overline{X}]}} &= \frac{\overline{X}-\mu}{\sigma/\sqrt{n}}
\end{align}
$$

v)
一般的な中心極限定理の活用に関しては確率変数の平均や標本平均の$\overline{X}$に関して$\displaystyle \overline{X} \sim \mathcal{N} \left( \mu, \frac{\sigma^2}{n} \right)$を考えることで区間推定や統計的仮説検定を行うことが多い。
一方で、二項分布の正規近似の場合、二項分布の確率変数$X$をベルヌーイ分布の確率変数の和で考えることが多い。このときベルヌーイ分布の確率変数を$X_i$とおくと、$E[X_i]=p, V[X_i]=p(1-p)$から$E[X]=np, V[X]=np(1-p)$のように計算できる$E[X],V[X]$を用いる。

・解説
中心極限定理の式を下記のような形式で抑えておく場合、和と平均の場合で式の形が異なるので注意が必要です。
$$
\large
\begin{align}
S_n &= \sum_{i=1}^{n} X_n \sim \mathcal{N}(n \mu, n \sigma^2) \\
\overline{X} &= \frac{1}{n} \sum_{i=1}^{n} X_n \sim \mathcal{N} \left( \mu, \frac{\sigma^2}{n} \right)
\end{align}
$$

上記のように取り扱うと特にサンプル$n$の取り扱いに関してミスが起こりやすいと思います。したがって、ⅲ)で取り扱った式を元に$\displaystyle \frac{X-E[X]}{\sqrt{V[X]}} \sim \mathcal{N}(0,1)$のように「確率変数を標準化したものを標準正規分布に対応させる」という形式で表すと良いのではないかと思います。v)や「二項分布の極限と中心極限定理」で取り扱ったように二項分布の正規近似の場合も$\displaystyle \frac{X-E[X]}{\sqrt{V[X]}} \sim \mathcal{N}(0,1)$の場合は同様な式表記を行うことができます。

また、この問題は下記の内容を主に用いて作成を行いましたので、合わせて確認しておくと良いのではないかと思います。

中心極限定理と推測統計

・問題
標本$X_1, X_2 \cdots X_n$が平均$\mu$、分散$\sigma^2$の独立同分布(i.i.d.)に従う場合を仮定する。このとき$X_1, X_2 \cdots X_n$の標本平均を$\overline{X}_{n}$とおくと、中心極限定理に基づいて$\sqrt{n}(\overline{X}_{n}-\mu)$が正規分布$\mathcal{N}(0,\sigma^{2})$に分布収束すると考えることができる。中心極限定理は統計的推測を行う際の基本である重要な定理であるので、数式的な取り扱いは抑えておく必要がある。

よってこの問題では「中心極限定理」の数式的な取り扱いを身につけるにあたって抑えておくと良い事柄について取り扱う。以下の問題にそれぞれ答えよ。
i) $\sqrt{n}(\overline{X}_{n}-\mu) \sim \mathcal{N}(0,\sigma^{2})$のとき、$\displaystyle \frac{\sqrt{n}(\overline{X}_{n}-\mu)}{\sigma}$はどのような分布に従うか答えよ。
ⅱ) $\displaystyle \frac{\sqrt{n}(\overline{X}_{n}-\mu)}{\sigma}$の上側$2.5$％点を答えよ。
ⅲ) $\displaystyle \frac{\sqrt{n}(\overline{X}_{n}-\mu)}{\sigma}$の上側$1$％点を答えよ。
iv) $\overline{X}_{n}=100, \sigma=3, n=600$のとき、$\mu$の両側$99$％区間を答えよ。
v) $\overline{X}_{n}=100, \sigma=5, n=50$のとき帰無仮説$H_{0}: \, \mu=98$が有意かどうか両側$5$％検定を行え。

・解答
i)
$\displaystyle \frac{\sqrt{n}(\overline{X}_{n}-\mu)}{\sigma} \sim \mathcal{N}(0,1)$である。

ⅱ)
$\mathcal{N}(0,1)$の上側$2.5$％点は$z=1.96$であるので、$\displaystyle \frac{\sqrt{n}(\overline{X}_{n}-\mu)}{\sigma}$の上側$2.5$％点は$1.96$である。

ⅲ)
$\mathcal{N}(0,1)$の上側$1$％点は$z=1.96$であるので、$\displaystyle \frac{\sqrt{n}(\overline{X}_{n}-\mu)}{\sigma}$の上側$1$％点は$2.33$である。

iv)
区間推定の考え方に基づいて$\mu$の両側$99$％区間は下記のように考えられる。
$$
\large
\begin{align}
z_{\alpha=0.995} \leq & \frac{\sqrt{n}(\overline{X}_{n}-\mu)}{\sigma} \leq z_{\alpha=0.005} \\
-2.575 \leq & \frac{\sqrt{n}(\overline{X}_{n}-\mu)}{\sigma} \frac{\sqrt{600}(100-\mu)}{3} \leq 2.575 \\
-2.575 \times \frac{3}{\sqrt{600}} \leq & 100-\mu \leq 2.575 \times \frac{3}{\sqrt{600}} \\
-2.575 \times \frac{3}{\sqrt{600}} \leq & \mu-100 \leq 2.575 \times \frac{3}{\sqrt{600}} \\
100 – 2.575 \times \frac{3}{\sqrt{500}} \leq & \mu \leq 100 + 2.575 \times \frac{3}{\sqrt{600}} \\
99.68… \leq \mu \leq 100.31…
\end{align}
$$

v)
検定統計量の式$\displaystyle Z = \frac{\sqrt{n}(\overline{X}_{n}-\mu)}{\sigma}$に対し、$\overline{X}_{n}=100, \mu=98, \sigma=5, n=50$を代入すると下記が得られる。
$$
\large
\begin{align}
Z &= \frac{\sqrt{n}(\overline{X}_{n}-\mu)}{\sigma} \\
&= \frac{\sqrt{50}(100-98)}{5} \\
&= 2.828…
\end{align}
$$

$Z = 2.828 > 1.96 = z_{\alpha=0.025}$より、帰無仮説$H_{0}: \, \mu=98$は棄却される。

・解説
中心極限定理の基本的な式と推測統計の基本的なトピックである「区間推定」と「統計的仮説検定」に関して取り扱いを行いました。

二項分布の極限と中心極限定理

・問題
二項分布$\mathrm{Bin}(n,p)$の$n \to \infty$の極限を考える際に$p \to 0$で$np$が一定であればポアソン分布、$np \to \infty$であれば中心極限定理に基づいて正規分布に収束することは抑えておくと良い。
$$
\begin{align}
p(x) = {}_{n} C_{x} p^{x} (1-p)^{n-x}
\end{align}
$$

この問題では以下、上記で表した二項分布$\mathrm{Bin}(n,p)$の$n \to \infty$の極限を考えることで、ポアソン分布や正規分布への収束について考察を行う。ここまでの内容を元に下記の問題に答えよ。
i) ベルヌーイ分布の期待値が$E[X]=p$と分散が$V[X]=p(1-p)$であることに基づいて二項分布の期待値$E[X]$と分散$V[X]$を表せ。
ⅱ) 二項分布$\mathrm{Bin}(1000,0.01)$の確率関数$p_{0.01}(x)$に関して$p_{0.01}(2), p_{0.01}(10), p_{0.01}(200)$と、二項分布$\mathrm{Bin}(1000,0.2)$の確率関数$p_{0.2}(x)$に関して$p_{0.2}(2), p_{0.2}(10), p_{0.2}(200)$を計算機などを用いて計算せよ。
ⅲ) ⅱ)の計算では計算機を用いたが、手計算をそのまま行うのは難しいので、近似を考える必要がある。近似を行う観点からⅱ)の結果を「$p(x) \simeq 0$である$x$の値」を元に考察を行え。
iv) 下記の演習で取り扱ったポアソン分布の導出の概要を確認し、流れを簡単にまとめよ。

v) 中心極限定理に基づき、$\displaystyle \frac{X-E[X]}{\sqrt{V[X]}} \sim \mathcal{N}(0,1)$が成立するが、このとき$X$が従う分布を$n,p$を用いて表せ。

・解答
i)
二項分布の期待値$E[X]$と分散$V[X]$は下記のように表せる。
$$
\large
\begin{align}
E[X] &= n \times p = np \\
V[X] &= n \times p(1-p) = np(1-p)
\end{align}
$$

ⅱ)
下記のPythonプログラムのような計算を行うことで値の計算ができる。

import numpy as np
import math

def calc_comb(n,x):
    return int(math.factorial(n)/(math.factorial(n-x)*math.factorial(x)))

n = 1000
p = np.array([0.01, 0.2])
x = np.array([2, 10, 200])

for i in range(p.shape[0]):
    print("・p={:.2f}".format(p[i]))
    for j in range(x.shape[0]):
        prob = calc_comb(n,x[j]) * p[i]**x[j] * (1-p[i])**(n-x[j])
        print("P(x={:.0f}|p={:.2f})={:.3f}".format(x[j], p[i], prob))

実行結果

・p=0.01
P(x=2|p=0.01)=0.002
P(x=10|p=0.01)=0.126
P(x=200|p=0.01)=0.000
・p=0.20
P(x=2|p=0.20)=0.000
P(x=10|p=0.20)=0.000
P(x=200|p=0.20)=0.032

計算結果は下記のように表せる。
$$
\large
\begin{align}
p_{0.01}(2) &= 0.002, \, p_{0.01}(10) = 0.126, \, p_{0.01}(200) = 0.000 \\
p_{0.2}(2) &= 0.000, \, p_{0.2}(10) = 0.000, \, p_{0.2}(200) = 0.032
\end{align}
$$

ⅲ)
$n=1000$なので$p=0.01$のとき$np=10$、$p=0.2$のとき$np=200$である。二項分布の期待値が$E[X]=np$であることに基づいて考えると、$p_{0.01}(10) = 0.126, p_{0.2}(200) = 0.032$はどちらも$x=np$における確率で、値が大きいことが確認できる。
一方で、$x=np$から離れた$x$の値には$p(x)=0$が対応する。よって、近似を行うにあたっては$np=\lambda$や$np=\mu$のように置き換えて$E[X]$の周辺の$x$に関して表すことを重視すると良いと考えられる。

iv)
$\lambda=np$とおくと、二項分布の確率関数は下記のように変形できる。
$$
\large
\begin{align}
p(x) &= {}_{n} C_{x} p^{x} (1-p)^{n-x} \\
&= \frac{n!}{(n-x)!x!} \left( \frac{\lambda}{n} \right)^{x} \left( 1 – \frac{\lambda}{n} \right)^{n-x} \\
&= \frac{\lambda^{x}}{x!} \times \frac{n(n-1) \cdots (n-x+1)}{n^{x}} \times \left( 1 – \frac{\lambda}{n} \right)^{n} \left( 1 – \frac{\lambda}{n} \right)^{-x} \\
&= \frac{\lambda^{x}}{x!} \times 1 \cdot \left( 1 – \frac{1}{n} \right) \cdots \left( 1 – \frac{x-1}{n} \right) \times \left[ \left( 1 – \frac{\lambda}{n} \right)^{\frac{n}{\lambda}} \right]^{\lambda} \left( 1 – \frac{\lambda}{n} \right)^{-x} \\
&= \frac{\lambda^{x}}{x!} \times 1 \cdot \left( 1 – \frac{1}{n} \right) \cdots \left( 1 – \frac{x-1}{n} \right) \times \left[ \left( 1 – \frac{\lambda}{n} \right)^{-\frac{n}{\lambda}} \right]^{-\lambda} \left( 1 – \frac{\lambda}{n} \right)^{-x}
\end{align}
$$

よって$\displaystyle \lim_{n \to \infty} p(x)$は下記のように考えることができる。
$$
\large
\begin{align}
\lim_{n \to \infty} p(x) &= \lim_{n \to \infty} \left[ \frac{\lambda^{x}}{x!} \times 1 \cdot \left( 1 – \frac{1}{n} \right) \cdots \left( 1 – \frac{x-1}{n} \right) \times \left[ \left( 1 – \frac{\lambda}{n} \right)^{-\frac{n}{\lambda}}\right]^{-\lambda} \left( 1 – \frac{\lambda}{n} \right)^{-x} \right] \\
&= \frac{\lambda^{x}}{x!} \cdot e^{-\lambda} \\
&= \frac{\lambda^{x} e^{-\lambda}}{x!}
\end{align}
$$

上記はポアソン分布の確率関数に一致する。

v)
中心極限定理より、$X$は下記の確率分布に従う。
$$
\large
\begin{align}
\mathcal{N} ( E[X], V[X] ) = \mathcal{N} ( np, np(1-p) )
\end{align}
$$

・解説
この問題では二項分布の極限に関して「$p \to 0$かつ$np$が一定」の場合と「$np \to \infty$」の場合に分けて、それぞれポアソン分布と正規分布に関して確認を行いました。

発展問題

・特性関数を用いた中心極限定理の導出
・問題

・解答

・解説

参考

・統計検定準$1$級対応 統計学実践ワークブック Ch.$7$ 『極限定理、漸近理論』

日本統計学会公式認定 統計検定準1級対応 統計学実践ワークブック

3,080円(04/26 03:34時点)

Amazon