当記事は「数理統計学(共立出版)」の読解サポートにあたってChapter.$8$の「推定量とその性質」の章末問題の解答の作成を行いました。
基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。
・解答まとめ
https://www.hello-statisticians.com/answer_textbook_math_stat#green
章末の演習問題について
問題8.1の解答例
有効推定量を直接計算することはできないので、以下、$\beta$の最尤推定量を計算し、最尤推定量が有効推定量であることを示す。確率変数$X_i \sim \mathrm{Ex}(1/\beta) = \mathrm{Ga}(1,\beta)$より、確率密度関数を$f(x)$とおくと下記のように表せる。
$$
\large
\begin{align}
f(x) = \frac{1}{\beta} e^{-\frac{x}{\beta}}
\end{align}
$$
上記から得られる標本の実現値を$x_1, …, x_n$とするとき、尤度関数$L(\beta)$は下記のように表せる。
$$
\large
\begin{align}
L(\beta) &= \prod_{i=1}^{n} f(x_i) \\
&= \prod_{i=1}^{n} \frac{1}{\beta} e^{-\frac{x_i}{\beta}} \\
&= \frac{1}{\beta^{n}} \exp \left[ -\frac{1}{\beta} \sum_{i=1}^{n} x_i \right]
\end{align}
$$
上記に対し、対数尤度$l(\beta)=\log{L(\beta)}$は下記のように考えることができる。
$$
\large
\begin{align}
l(\beta) &= \log{L(\beta)} = \log{ \left( \frac{1}{\beta^{n}} \exp \left[ -\frac{1}{\beta} \sum_{i=1}^{n} x_i \right] \right) } \\
&= -n \log{\beta} – \frac{1}{\beta} \sum_{i=1}^{n} x_i \\
&= -n \log{\beta} – \frac{n \bar{x}}{\beta}
\end{align}
$$
上記を$\beta$で微分すると下記が得られる。
$$
\large
\begin{align}
\frac{\partial l(\beta)}{\partial \beta} &= -\frac{n}{\beta} + \frac{n \bar{x}}{\beta^2} \\
&= \frac{n(\bar{x}-\beta)}{\beta^2}
\end{align}
$$
上記より$\beta=\bar{x}$のとき$l(\beta)$は最大値を取るので、$\hat{\beta}=\overline{X}$のように最尤推定量を考えることができる。以下、$\bar{X}$が有効推定量であることを示す。$E[X_i], E[X_i^2]$はそれぞれ下記のように計算できる。
$$
\large
\begin{align}
E[X_i] &= \int_{0}^{\infty} x \times \frac{1}{\beta} e^{-\frac{x}{\beta}} dx \\
&= \left[ -x \cdot \frac{\cancel{\beta}}{\cancel{\beta}} e^{-\frac{x}{\beta}} \right]_{0}^{\infty} + \int_{0}^{\infty} e^{-\frac{x}{\beta}} dx \\
&= 0 – \left[ \beta e^{-\frac{x}{\beta}} \right]_{0}^{\infty} \\
&= -\beta(0-1) \\
&= \beta \\
E[X_i^2] &= \int_{0}^{\infty} x^2 \times \frac{1}{\beta} e^{-\frac{x}{\beta}} dx \\
&= \left[ -x^2 \cdot \frac{\cancel{\beta}}{\cancel{\beta}} e^{-\frac{x}{\beta}} \right]_{0}^{\infty} + 2 \beta \int_{0}^{\infty} x \times \frac{1}{\beta} e^{-\frac{x}{\beta}} dx \\
&= 0 + 2 \beta E[X_i] = 2 \beta^2
\end{align}
$$
上記より、$E[\overline{X}], V[\overline{X}]$は下記のように計算できる。
$$
\large
\begin{align}
E[\overline{X}] &= E \left[ \frac{1}{n} \sum_{i=1}^{n} X_i \right] \\
&= \frac{1}{n} \sum_{i=1}^{n} E[X_i] \\
&= \frac{1}{n} \times n \beta = \beta \\
V[\overline{X}] &= V \left[ \frac{1}{n} \sum_{i=1}^{n} X_i \right] \\
&= \frac{1}{n^2} \sum_{i=1}^{n} V[X_i] \\
&= \frac{1}{n^2} \times n V[X_i] \\
&= \frac{1}{n} (E[X_i^2] – E[X_i]^2) \\
&= \frac{1}{n}(2 \beta^2 – \beta^2) = \frac{\beta^2}{n}
\end{align}
$$
フィッシャー情報量を$I(\beta)$とおくと$I(\beta)$は下記のように表せる。
$$
\large
\begin{align}
I(\beta) &= -E \left[ \frac{\partial^2 l(\beta)}{\partial \beta^2} \right] \\
&= -E \left[ \frac{n}{\beta^2} – \frac{2n \bar{X}}{\beta^3} \right] \\
&= \frac{2n E[\bar{X}]}{\beta^3} – \frac{n}{\beta^2} \\
&= \frac{2n \beta}{\beta^3} – \frac{n}{\beta^2} \\
&= \frac{n}{\beta^2}
\end{align}
$$
よって下記が成立する。
$$
\large
\begin{align}
V[\overline{X}] = \frac{\beta^2}{n} = \left( \frac{n}{\beta^2} \right)^{-1} = I(\beta)^{-1}
\end{align}
$$
上記はクラメル・ラオの不等式の等号に対応するので、$\beta$の有効推定量は$\overline{X}$であると考えることができる。