「統計学実践ワークブック」 演習問題etc Ch.7 「極限定理、漸近理論」

当記事は「統計学実践ワークブック(学術図書出版社)」の読解サポートにあたってChapter.$7$の「極限定理、漸近理論」に関して演習問題を中心に解説を行います。統計学の基盤である極限定理や漸近理論はよく出てくる一方で抽象的で難しいので演習を通して抑えておくと良いと思います。

本章のまとめ

確率収束の定義

$$
\large
\begin{align}
\lim_{n \to \infty} P(|X_n-Y|>\epsilon)=0
\end{align}
$$
上記が任意の$\epsilon$に対して成立するとき、${X_n}$が$Y$に確率収束(convergence in probability)すると定義する。概収束する際や平均二乗収束する際は必ず確率収束するので、必要条件のように考えられることは抑えておくと良い。

確率収束は概収束などに比較して数学的に取り扱いがしやすいと言われている。

大数の法則、中心極限定理

確率変数列$X_1, X_2, …, X_n$が$X_1, X_2, …, X_n \sim N(\mu,\sigma^2), i.i.d.$であるとき、標本平均を$\bar{X}_n$のように定める。

このとき中心極限定理(CLT; Central Limit Theorem)より、$\sqrt{n}(\bar{X}_n-\mu)$は$N(0, \sigma^2)$に分布収束すると考えることができる。

デルタ法

確率変数列$X_1, X_2, …, X_n$が$X_1, X_2, …, X_n \sim N(\mu,\sigma^2), i.i.d.$であるとき、$X_1, X_2, …, X_n$の標本平均を$\bar{X}_n$のように定める。

この際にある関数$f$に関して$\sqrt{n}(f(\bar{X}_n)-f(\mu))$の分布の収束先を考えるとき、$f(x)$が連続微分可能であればテイラーの定理より、下記のような近似を行うことができる。
$$
\large
\begin{align}
f(\bar{X}_n)-f(\mu) \simeq f'(\mu)(\bar{X}_n-\mu)
\end{align}
$$

上記に対して中心極限定理を用いることで、$\sqrt{n}(f(\bar{X}_n)-f(\mu))$が$N(0, f'(\mu)^2 \sigma^2)$に分布収束すると考えることができる。この手法をデルタ法(delta method)と呼ぶ。

演習問題解説

例7.1

$X_1,X_2,…,X_n \sim U(0,1)$より、$X_1,…,X_n$に関する大数の法則に基づいて$\displaystyle \frac{1}{n}(X_1+X_2+…+X_n)$は$\displaystyle \frac{1}{2}$に確率収束する。

よって、その平方根である$\displaystyle Z_n = \sqrt{\frac{1}{n}(X_1+X_2+…+X_n)}$は$\displaystyle \frac{1}{\sqrt{2}}$に確率収束する。

例7.2

$$
\large
\begin{align}
G(x) &= 1 \quad (x \geq 0) \\
&= 0 \quad (x < 0)
\end{align}
$$
$X_n$は上記のような$0$に集中した1点分布に分布収束する。

例7.3

$$
\large
\begin{align}
P(M_n \leq x) = \prod_{i=1}^{n} P(X_i \leq x) = (1-e^{-x})^n
\end{align}
$$

上記の式の右辺に対して$x = y + \log{n}$とおくと、下記のように変形を行うことができる。
$$
\large
\begin{align}
(1-e^{-x})^n &= (1-e^{-(y + \log{n})})^n \\
&= (1-e^{-y} e^{\log{1/n}})^n \\
&= \left( 1 – \frac{e^{-y}}{n} \right)^n \\
&= \left( \left( 1 – \frac{e^{-y}}{n} \right)^{-n/e^{-y}} \right)^{-e^{-y}} \\
& \to e^{-e^{-y}}
\end{align}
$$

上記はガンベル分布(Gumbel distribution)の分布であるので、$M_n – \log{n}$の分布はガンベル分布に収束すると考えることができる。

例7.4

$f(x)=x^2$とおき、デルタ法を適用することを考える。$f'(x)=2x$より、$\sqrt{n}(\bar{X}_n^2-\mu^2) = \sqrt{n}(f(\bar{X}_n)-f(\mu)) \simeq \sqrt{n}f'(\mu)(\bar{X}_n-\mu)$は$N(0,(2\mu)^2 \sigma^2)$に分布収束すると考えられる。

例7.5

連続写像定理より$X_n^2+Y_n^2$は自由度$2$の$\chi^2$分布$\chi^2(2)$に分布収束する。

問7.1

数字の$3$が出る回数を確率変数$X$で表すことを考える。このとき、$3$が$10$回以上現れる確率は$P(X \leq 10)$で表すことができるが、連続修正より$P(X \leq 9.5)$のように置き換えて考える。

また、$1$回の試行に対応する確率変数を$X_k$とおくとき、$X_k$に対応する期待値$E[X_k]$と分散$V[X_k]$は下記のように計算できる。
$$
\large
\begin{align}
E[X_k] &= \frac{1}{6} \\
V[X_k] &= \frac{1}{6} \left( 1-\frac{1}{6} \right)^2 + \frac{5}{6} \left( 0-\frac{1}{6} \right)^2 \\
&= \frac{25+5}{36 \times 6} = \frac{5}{36}
\end{align}
$$

ここで$\Phi(z)$を標準正規分布の累積分布関数と定義し、$P(X \geq 9.5)$に関して中心極限定理を適用することを考える。
$$
\large
\begin{align}
P(X \geq 9.5) &= P \left( \frac{X-E[X]}{\sqrt{V[X]}} \geq \frac{9.5-E[X]}{\sqrt{V[X]}} \right) \\
&= P \left( \frac{X-nE[X_k]}{\sqrt{n V[X_k]}} \geq \frac{9.5-n E[X_k]}{\sqrt{n V[X_k]}} \right) \\
&= P \left( Z \geq \frac{9.5-5}{\sqrt{25/6}} \right) \\
&= P(Z \geq 2.2) \\
& \simeq 1 – \Phi(2.2) \\
& \simeq 0.014
\end{align}
$$

ここで連続修正を行わなかった場合は$P(X \geq 10) \simeq P(Z \geq 2.45) = 0.0071$となるなど、値が大きく変わることにも注意しておくと良い。

・参考
中心極限定理の概要、応用、導出
https://www.hello-statisticians.com/explain-terms-cat/clt1.html

問7.2

$[1]$
中心極限定理より、$\displaystyle \sqrt{n}(\bar{X}_n-\mu)/\sigma$は標準正規分布$N(0,1)$に分布収束する。

$[2]$
$f(x)=x^3$とおき、デルタ法を適用することを考える。$f'(x)=3x^2$より、$\sqrt{n}(\bar{X}_n^3-\mu^3) = \sqrt{n}(f(\bar{X}_n)-f(\mu)) \simeq \sqrt{n}f'(\mu)(\bar{X}_n-\mu)$は$N(0,(3\mu^2)^2 \sigma^2)=N(0,9\mu^4 \sigma^2)$に分布収束すると考えられる。

$[3]$
$[1]$より、$\displaystyle \sqrt{n}(\bar{X}_n-\mu)/\sigma$は標準正規分布$N(0,1)$に分布収束する。よってその二乗である$\displaystyle (\sqrt{n}(\bar{X}_n-\mu)/\sigma)^2$は自由度$1$の$\chi^2$分布に分布収束する。

参考

・準$1$級関連まとめ
https://www.hello-statisticians.com/toukeikentei-semi1