当記事は「統計検定$1$級対応 統計学(東京図書)」の読解サポートにあたって第$3$章の「統計的推定」に関して演習問題を中心に解説を行います。十分統計量、分解定理、尤度、不偏性・一致性・有効性、クラメル・ラオの不等式、AICなど重要トピックが多いので、抑えておくと良いと思います。
本章のまとめ
練習問題解説
問$3$.$1$
$[1]$
$y = \log{(1+x)}$は下記のように$x$に関して解くことができる。
$$
\large
\begin{align}
y &= \log{(1+x)} \\
e^y &= 1 + x \\
x &= e^y – 1
\end{align}
$$
また、$x$を$y$で微分を行うと下記が得られる。
$$
\large
\begin{align}
\frac{dx}{dy} &= \frac{d}{dy} (e^y – 1) \\
&= e^y
\end{align}
$$
上記を元に確率変数$Y$に関する確率密度関数$g(y)$は下記のように得られる。
$$
\large
\begin{align}
g(y) &= f(e^{y}-1) \frac{dx}{dy} \\
&= \theta (1+e^{y}-1)^{-(1+\theta)} \times e^y \\
&= \theta e^{-\theta y}
\end{align}
$$
上記の期待値を$E[Y]$、分散を$V[Y]$とおき、以下それぞれの計算を行う。
・$E[Y]$
$$
\large
\begin{align}
E[Y] &= \int_{0}^{\infty} y g(y) dy \\
&= \int_{0}^{\infty} y \theta e^{-\theta y} dy \\
&= -\frac{1}{\theta} \left[ y \theta e^{-\theta y} \right]_{0}^{\infty} + \int_{0}^{\infty} e^{-\theta y} dy \\
&= 0 – \frac{1}{\theta} \left[ e^{-\theta y} \right]_{0}^{\infty} \\
&= \frac{1}{\theta}
\end{align}
$$
・$V[Y]$
$V[Y]=E[Y^2]-E[Y]^2$を用いるにあたって$E[Y^2]$を先に計算する。
$$
\large
\begin{align}
E[Y^2] &= \int_{0}^{\infty} y^2 g(y) dy \\
&= \int_{0}^{\infty} y^2 \theta e^{-\theta y} dy \\
&= -\frac{1}{\theta} \left[ y^2 \theta e^{-\theta y} \right]_{0}^{\infty} + \frac{2}{\theta} \int_{0}^{\infty} y \theta e^{-\theta y} dy \\
&= 0 + \frac{2}{\theta}E[Y] \\
&= \frac{2}{\theta^2}
\end{align}
$$
よって$V[Y]$は下記のように計算できる。
$$
\large
\begin{align}
V[Y] &= E[Y^2] – E[Y]^2 \\
&= \frac{2}{\theta^2} – \left( \frac{1}{\theta} \right)^{2} \\
&= \frac{2}{\theta^2} – \frac{1}{\theta^2} = \frac{1}{\theta^2}
\end{align}
$$
$[2]$
$[3]$
下記のように$T$の期待値$E[T]$を計算することができる。
$$
\large
\begin{align}
E[T] &= E \left[ \frac{1}{n} \sum_{i=1}^{n} \log{(X_i+1)} \right] \\
&= E \left[ \frac{1}{n} \sum_{i=1}^{n} Y_i \right] \\
&= \frac{1}{n} E \left[ \sum_{i=1}^{n} Y_i \right] \\
&= \frac{1}{n} \times \frac{n}{\theta} \\
&= \frac{1}{\theta}
\end{align}
$$
上記より$T$は$\displaystyle \frac{1}{\theta}$の不偏推定量であることがわかる。
また、$T$の分散$V[T]$は下記のように得られる。
$$
\large
\begin{align}
V[T] &= V \left[ \frac{1}{n} \sum_{i=1}^{n} Y_i \right] \\
&= \frac{1}{n^2} V \left[ \sum_{i=1}^{n} Y_i \right] \\
&= \frac{1}{n^2} \times n V[Y_i] \\
&= \frac{1}{n} \times \frac{1}{\theta^2} \\
&= \frac{1}{n \theta^2}
\end{align}
$$
ここで$T$が$\displaystyle \frac{1}{\theta} = \alpha$の推定量であると考えるとき、$y_1,…,y_n$に基づくパラメータ$\alpha$に関する尤度関数$L(\alpha)$は下記のように得られる。
$$
\large
\begin{align}
L(\alpha) &= g(y_1,y_2,…,y_n) \\
&= \prod_{i=1}^{n} g(y_i) \\
&= \prod_{i=1}^{n} \frac{1}{\alpha} e^{-(y/\alpha)}
\end{align}
$$
上記より対数尤度$\log{L(\alpha)}$は下記のように考えることができる。
$$
\large
\begin{align}
\log{L(\alpha)} &= \log \left[ \prod_{i=1}^{n} \frac{1}{\alpha} e^{-(y_i/\alpha)} \right] \\
&= – n \log{\alpha} – \frac{\displaystyle \sum_{i=1}^{n} y_i}{\alpha} \\
&= – n \log{\alpha} – \frac{n t}{\alpha}
\end{align}
$$
上記に対し、対数尤度$\log{L(\alpha)}$の二階微分を考える。
$$
\large
\begin{align}
\frac{\partial \log{L(\alpha)}}{\partial \alpha} &= -\frac{n}{\alpha} + \frac{n t}{\alpha^2} \\
\frac{\partial^2 \log{L(\alpha)}}{\partial \alpha^2} &= \frac{n}{\alpha^2} – \frac{2nt}{\alpha^3}
\end{align}
$$
よってパラメータ$\alpha$に関するフィッシャー情報量$\mathit{I}_{n}(\alpha)$は下記のように考えることができる。
$$
\large
\begin{align}
\mathit{I}_{n}(\alpha) &= – E \left[ \frac{\partial^2 \log{L(\alpha)}}{\partial \alpha^2} \right] \\
&= – E \left[ \frac{n}{\alpha^2} – \frac{2nT}{\alpha^3} \right] \\
&= – \frac{n}{\alpha^2} + \frac{2n}{\alpha^3} E[T] \\
&= – \frac{n}{\alpha^2} + \frac{2n}{\alpha^3} \times \alpha \\
&= \frac{n}{\alpha^2}
\end{align}
$$
ここで$\displaystyle V[T]=\frac{1}{n \theta^2}=\frac{\alpha^2}{n}=\mathit{I}_{n}(\alpha)^{-1}$より$V[T]$は$\displaystyle \alpha = \frac{1}{\theta}$に関するクラメル・ラオの不等式の下限と一致することが確認できる。また、$T$は有効推定量であると考えることができる。
問$3$.$2$
$[1]$
標本平均の期待値$E[\bar{X}]$に関して下記が成立する。
$$
\large
\begin{align}
E[\bar{X}] &= E \left[ \frac{T}{n} \right] \\
&= E \left[ \frac{X_1+X_2+…+X_n}{n} \right] \\
&= E[X] \\
&= \int_{0}^{\infty} x \times \lambda e^{-\lambda x} dx \\
&= \left[ x \frac{\lambda}{-\lambda} e^{-\lambda x} \right]_{0}^{\infty} + \int_{0}^{\infty} e^{-\lambda x} dx \\
&= 0 – \frac{1}{\lambda} \left[ e^{-\lambda x} \right]_{0}^{\infty} \\
&= \frac{1}{\lambda}
\end{align}
$$
また、標本平均の分散$V[\bar{X}]$に関して下記が成立する。
$$
\large
\begin{align}
V[\bar{X}] &= V \left[ \frac{X_1+X_2+…+X_n}{n} \right] \\
&= \frac{1}{n^2} \times n V[X_1] = \frac{1}{n} V[X] \\
&= \frac{1}{n} (E[X^2] – E[X]^2) \quad (1)
\end{align}
$$
$E[X]$はすでに計算を行ったので、$E[X^2]$に関して計算することを考える。
$$
\large
\begin{align}
E[X^2] &= \int_{0}^{\infty} x^2 \times \lambda e^{-\lambda x} dx \\
&= \frac{1}{\lambda} \left[ x^2 \lambda e^{-\lambda x} \right]_{0}^{\infty} + \frac{2}{\lambda} \int_{0}^{\infty} x \times \lambda e^{-\lambda x} dx \\
&= 0 + \frac{2}{\lambda} E[X] = \frac{2}{\lambda^2} \quad (2)
\end{align}
$$
$(2)$式を$(1)$式を代入することで$V[\bar{X}]$は下記のように得られる。
$$
\large
\begin{align}
V[\bar{X}] &= \frac{1}{n} (E[X^2] – E[X]^2) \\
&= \frac{1}{n} \left( \frac{2}{\lambda^2} – \left( \frac{1}{\lambda} \right)^2 \right) \\
&= \frac{1}{n \lambda^2}
\end{align}
$$
$[2]$
観測値$x_1,…,x_n$に基づいてパラメータ$\lambda$の尤度関数$L(\lambda)$は下記のように得られる。
$$
\large
\begin{align}
L(\lambda) &= P(x_1,x_2,…,x_n|\lambda) \\
&= \prod_{i=1}^{n} P(x_i|\lambda) = \prod_{i=1}^{n} \lambda e^{-\lambda x_i} \\
&= \prod_{i=1}^{n} \exp(\log{\lambda}) \exp(-\lambda x_i) \\
&= \prod_{i=1}^{n} \exp(\log{\lambda} – \lambda x_i) \\
&= \exp \left[ \sum_{i=1}^{n} (\log{\lambda} – \lambda x_i) \right] \\
&= \exp \left( n \log{\lambda} – \lambda \sum_{i=1}^{n} x_i \right) \\
&= \exp \left( n \log{\lambda} – \lambda t \right)
\end{align}
$$
上記より対数尤度$\log{L(\lambda)}$は下記のように得られる。
$$
\large
\begin{align}
\log{L(\lambda)} &= \log \left[ \exp \left( n \log{\lambda} – \lambda t \right) \right] \\
&= n \log{\lambda} – \lambda t
\end{align}
$$
ここで$\log{L(\lambda)}$を$\lambda$で偏微分すると下記が得られる。
$$
\large
\begin{align}
\frac{\partial \log{L(\lambda)}}{\partial \lambda} &= \frac{\partial}{\partial \lambda} \left( n \log{\lambda} – \lambda t \right) \\
&= \frac{n}{\lambda} – t
\end{align}
$$
上記は$\lambda$に関して単調減少であるので、$\lambda$の最尤推定量$\hat{\lambda}$に関して$\displaystyle \frac{n}{\hat{\lambda}} – t = 0$が成立する。
$$
\large
\begin{align}
\frac{n}{\hat{\lambda}} – t &= 0 \\
\frac{n}{\hat{\lambda}} &= t \\
\hat{\lambda} &= \frac{n}{t}
\end{align}
$$
$[3]$
フィッシャー情報量$\mathit{I}_{n}(\lambda)$は下記のように得られる。
$$
\large
\begin{align}
\mathit{I}_{n}(\lambda) &= – E \left[ \frac{\partial^2 \log{L(\lambda)}}{\partial \lambda^2} \right] \\
&= – E \left[ \frac{\partial}{\partial \lambda} \left( \frac{n}{\lambda} – t \right) \right] \\
&= E \left[ \frac{n}{\lambda^2} \right] = \frac{n}{\lambda^2}
\end{align}
$$
$[4]$
参考
・統計検定1級 統計数理 関連まとめ
https://www.hello-statisticians.com/stat_certifi_1_math