Chapter.11 「推定」の章末問題の解答例 〜基礎統計学Ⅰ 統計学入門(東京大学出版会)〜

当記事は基礎統計学Ⅰ 統計学入門(東京大学出版会)」の読解サポートにあたってChapter.11の「推定」の章末問題の解説について行います。
※ 基本的には書籍の購入者向けの解説なので、まだ入手されていない方は下記より入手をご検討いただけたらと思います。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。(そのため著者の意図とは異なる解説となる可能性はあります)
https://www.amazon.co.jp/dp/4130420658

章末の演習問題について

問題11.1の解答例

指数分布$P(x|\lambda)$は下記の数式で表現することができる。
$$
\begin{align}
P(x|\lambda) = \lambda e^{-\lambda x}
\end{align}
$$
観測される標本を${x_1, x_2, … , x_n}$とした際に、この同時確率$P(x_1,x_2,…,x_n|\lambda)$は下記のように計算できる。
$$
\begin{align}
P(x_1,x_2,…,x_n|\lambda) &= \prod_{i=1}^{n} \lambda e^{-\lambda x_i} \\
&= \lambda^n \prod_{i=1}^{n} e^{-\lambda x_i} \\
&= \lambda^n e^{-\sum_{i=1}^{n} \lambda x_i} \\
&= \lambda^n e^{-\lambda \sum_{i=1}^{n} x_i}
\end{align}
$$
上記の同時確率をパラメータ$\lambda$の式で見たのが尤度$L(\lambda)$なので、$\displaystyle L(\lambda) = \lambda^n e^{-\lambda \sum_{i=1}^{n} x_i}$となる。この$L(\lambda)$の対数を取った対数尤度$\log{L(\lambda)}$は下記のように計算できる。
$$
\begin{align}
\log{L(\lambda)} &= \log{ \left( \lambda^n e^{-\lambda \sum_{i=1}^{n} x_i} \right) } \\
&= \log{\lambda^n} + \log{e^{-\lambda \sum_{i=1}^{n} x_i}} \\
&= n\log{\lambda} – \lambda \sum_{i=1}^{n} x_i
\end{align}
$$
ここで対数尤度$\log{L(\lambda)}$の$\lambda$に関する微分$\displaystyle \frac{\delta \log{L(\lambda)}}{\delta \lambda}=0$を考える。
$$
\begin{align}
\frac{\delta \log{L(\lambda)}}{\delta \lambda} &= \frac{n}{\lambda} – \sum_{i=1}^{n} x_i = 0 \\
& \frac{n}{\lambda} = \sum_{i=1}^{n} x_i \\
& \lambda = \frac{n}{\sum_{i=1}^{n} x_i} \\
& \lambda = \frac{1}{\sum_{i=1}^{n} x_i / n} \\
& \lambda = \frac{1}{\bar{x}}
\end{align}
$$
上記より、$\lambda$の最尤推定量を$\hat{\lambda}$とすると、$\displaystyle \hat{\lambda} = \frac{1}{\bar{x}}$とできることがわかる。

問題11.2の解答例

線形推定量を$aX_1+bX_2$とし、こちらについて不偏性を考えると$E[aX_1+bX_2]=\mu$が成立する。これより下記のように式変形ができる。
$$
\begin{align}
E[aX_1+bX_2] &= \mu \\
aE[X_1]+bE[X_2] &= \mu
\end{align}
$$
上記において$E[X_1]=E[X_2]=\mu$なので、$(a+b)\mu = \mu$が成立し、これより$a+b=1$が導出できる。また、このとき分散に関しては下記が成立する。
$$
\begin{align}
V[aX_1+bX_2] &= a^2V[X_1]+b^2V[X_2] \\
&= (a^2+b^2)\sigma^2
\end{align}
$$
上記において、$a+b=1$より$b=a-1$を代入し、$a$に関する最小値を求める。
$$
\begin{align}
V[aX_1+bX_2] &= (a^2+b^2)\sigma^2 \\
&= (a^2+(1-a)^2)\sigma^2 \\
&= 2(a^2-a+\frac{1}{2})\sigma^2 \\
&= 2\left( \left( a-\frac{1}{2} \right)^2 + \frac{1}{2} – \frac{1}{4} \right)\sigma^2 \\
&= 2\left( \left( a-\frac{1}{2} \right)^2 + \frac{1}{4} \right)\sigma^2
\end{align}
$$
上記より、$\displaystyle a=\frac{1}{2}$のとき、分散は最小値$\displaystyle \frac{\sigma^2}{2}$を取る。

問題11.3の解答例

$$
\begin{align}
z = \frac{\bar{x}-\mu}{\sqrt{\sigma^2/n}}
\end{align}
$$
上記のように標本平均$\bar{x}$に関する標準化を行うと、$z$は標準正規分布$N(0,1)$に従う。
標準正規分布において上側確率が$100\alpha$%となるパーセント点に対応する$z$の値を$z_{\alpha}$とする。このときに$z$が95%区間であるためには下記が成立する必要がある。
$$
\begin{align}
z_{\alpha=0.975} \leq &z \leq z_{\alpha=0.025} \\
z_{\alpha=0.975} \leq &\frac{\bar{x}-\mu}{\sqrt{\sigma^2/n}} \leq z_{\alpha=0.025}
\end{align}
$$
ここで$z_{\alpha=0.025}$は$z_{\alpha=0.025}=1.96$よりも大きくなる確率は$0.025$であると解釈する必要がある。上記を$\mu$に関して整理する。
$$
\begin{align}
z_{\alpha=0.975}\sqrt{\frac{\sigma^2}{n}} \leq &\bar{x}-\mu \leq z_{\alpha=0.025}\sqrt{\frac{\sigma^2}{n}} \\
-z_{\alpha=0.025}\sqrt{\frac{\sigma^2}{n}} \leq &\mu-\bar{x} \leq -z_{\alpha=0.975}\sqrt{\frac{\sigma^2}{n}} \\
\bar{x}-z_{\alpha=0.025}\sqrt{\frac{\sigma^2}{n}} \leq &\mu \leq \bar{x}-z_{\alpha=0.975}\sqrt{\frac{\sigma^2}{n}} \cdot \cdot \cdot (1)
\end{align}
$$
標準正規分布の分布表より、$z_{\alpha=0.025}=1.96$、$z_{\alpha=0.975}=-1.96$が成立することがわかり、また問題より$n=5$、$\sigma^2=4$、$\bar{x}=9.722$である。
これを$(1)$式に代入して下記を得る。
$$
\begin{align}
\bar{x}-z_{\alpha=0.025}\sqrt{\frac{\sigma^2}{n}} \leq &\mu \leq \bar{x}-z_{\alpha=0.975}\sqrt{\frac{\sigma^2}{n}} \\
9.722-1.96\sqrt{\frac{4}{5}} \leq &\mu \leq 9.722+1.96\sqrt{\frac{4}{5}} \\
7.9689… \leq &\mu \leq 11.475
\end{align}
$$
上記が母平均$\mu$の95%区間となる。 

問題11.4の解答例

$$
\begin{align}
\bar{x}-z_{\alpha=0.005}\sqrt{\frac{\sigma^2}{n}} \leq \mu \leq \bar{x}-z_{\alpha=0.995}\sqrt{\frac{\sigma^2}{n}}
\end{align}
$$
問題11.3と同様に考えると上記を導出することができる。ここで$z_{\alpha=0.005}$と$z_{\alpha=0.995}$は標準正規分布の分布表より下記のように求めることができる。($2.57$と$2.58$の中間にあるのでここでは加重平均を計算し用いるものとする)
$$
\begin{align}
z_{\alpha=0.005} &= \frac{2.57\times849 + 2.58\times600}{849+600} \\
z_{\alpha=0.995} &= -\frac{2.57\times849 + 2.58\times600}{849+600}
\end{align}
$$

上記を考慮すると$\mu$の99%区間の幅を$1$以下にするには下記が成立すれば良い。
$$
\begin{align}
& -z_{\alpha=0.995}\sqrt{\frac{\sigma^2}{n}}+z_{\alpha=0.005}\sqrt{\frac{\sigma^2}{n}} \leq 1 \\
& (z_{\alpha=0.005}-z_{\alpha=0.005})\sqrt{\frac{\sigma^2}{n}} \leq 1 \\
& 2z_{\alpha=0.005}\sigma \leq \sqrt{n} \\
& 6z_{\alpha=0.005} \leq \sqrt{n} \\
& (6z_{\alpha=0.005})^2 \leq n \\
& 36 \times \left( \frac{2.57\times849 + 2.58\times600}{849+600} \right)^2 \leq n \\
& 238.543… \leq n
\end{align}
$$
上記より、サンプル数は239以上にすれば良いことがわかる。

問題11.5の解答例

母分散は等しいと仮定できる。投薬群の平均を$\bar{X}$、対照群の平均を$\bar{Y}$、不偏分散を$s^2$とし、それぞれを計算する。
$$
\begin{align}
\bar{X} &= \frac{1}{10}(7.97+7.66+7.59+8.44+8.05+8.08+8.35+7.77+7.98+8.15) \\
&= 8.004 \\
\bar{Y} &= \frac{1}{10}(8.06+8.27+8.45+8.05+8.51+8.14+8.09+8.15+8.16+8.42) \\
&= 8.23 \\
s^2 &= \frac{1}{10+10-2} \left( \sum_{i=1}^{10}(x_i-\bar{X})^2 + \sum_{i=1}^{10}(y_i-\bar{Y})^2 \right) \\
&= 0.0527… \\
s &= 0.22973…
\end{align}
$$
このとき$t$値は下記のように計算できる。
$$
\begin{align}
t &= \frac{(\bar{X}-\bar{Y}) – (\mu_1-\mu_2)}{s \sqrt{1/10+1/10}} \\
&= \frac{(-0.226 – (\mu_1-\mu_2))\sqrt{5}}{0.2297}
\end{align}
$$
ここで$t_{\alpha=0.025}(18)=2.101$より、求める区間は$\displaystyle -0.226 \pm \frac{2.101 \cdot 0.2297}{\sqrt{5}}$で得ることができる。
よって求める区間は$[-0.4418, -0.01017]$となる。

問題11.6の解答例

下記を実行することで二つの群の不偏標本分散の$s_1^2, s_2^2$の計算を行う。

import numpy as np

x1 = np.array([25., 24., 25., 26.])
x2 = np.array([23., 18., 22., 28., 17., 25., 19., 16.])

s1 = np.sum((x1-np.mean(x1))**2)/(x1.shape[0]-1)
s2 = np.sum((x2-np.mean(x2))**2)/(x2.shape[0]-1)

print("s1^2: {:.1f}".format(s1))
print("s2^2: {:.1f}".format(s2))

・実行結果

> print("s1^2: {:.1f}".format(s1))
s1^2: 0.7
> print("s2^2: {:.1f}".format(s2))
s2^2: 17.7

上記の$2$つの群の不偏標本分散が大きく異なることから、母分散も大きく異なると考えることができる。よって、ウェルチの近似法を用いて自由度$\nu$を計算し、自由度$\nu$の$t$分布$t(\nu)$を用いて区間推定を行う。

from scipy import stats

s = s1/x1.shape[0]+s2/x2.shape[0]
nu = np.int(s**2/((s1/x1.shape[0])**2/(x1.shape[0]-1)+(s2/x2.shape[0])**2/(x2.shape[0]-1)))

c_lower = np.mean(x1) - np.mean(x2) + stats.t.ppf(0.025,nu)*np.sqrt(s)
c_upper = np.mean(x1) - np.mean(x2) + stats.t.ppf(0.975,nu)*np.sqrt(s)

print("Estimated Interval: [{:.1f}, {:.1f}]".format(c_lower,c_upper))

・実行結果

> print("Estimated Interval: [{:.1f}, {:.1f}]".format(c_lower,c_upper))
Estimated Interval: [0.4, 7.6]

問題11.7の解答例

i)
標本平均を$\bar{x}$、不偏標本分散を$s^2$とする。このときそれぞれ下記のように求められる。
$$
\begin{align}
\bar{x} &= \frac{1}{10}(21.8+22.4+22.7+24.5+25.9+24.9+24.8+25.3+25.2+24.6) \\
&= 24.21 \\
s^2 &= \frac{1}{9}((21.8-24.21)^2 + (22.4-24.21)^2 + (22.7-24.21)^2 + (24.5-24.21)^2 + (25.9-24.21)^2 \\
&+ (24.9-24.21)^2 + (24.8-24.21)^2 + (25.3-24.21)^2 + (25.2-24.21)^2 + (24.6-24.21)^2) \\
&= 1.9387777… \\
s &= 1.3924…
\end{align}
$$

ここで$t$分布において上側確率が$100\alpha$%となるパーセント点に対応する$t$の値を$t_{\alpha}$とする。このとき問題文の条件を整理すると下記のようになる。
$$
\begin{align}
& P\left( t_{\alpha=0.995}(10-1) \leq \frac{\bar{x}-\mu}{s/\sqrt{10}} \leq t_{\alpha=0.005}(10-1) \right) = 0.99 \\
& P\left( t_{\alpha=0.995}(9)\frac{s}{\sqrt{10}} \leq \bar{x}-\mu \leq t_{\alpha=0.005}(9)\frac{s}{\sqrt{10}} \right) = 0.99 \\
& P\left( -t_{\alpha=0.005}(9)\frac{s}{\sqrt{10}} \leq \mu-\bar{x} \leq -t_{\alpha=0.995}(9)\frac{s}{\sqrt{10}} \right) = 0.99 \\
& P\left( \bar{x}-t_{\alpha=0.005}(9)\frac{s}{\sqrt{10}} \leq \mu \leq \bar{x}-t_{\alpha=0.995}(9)\frac{s}{\sqrt{10}} \right) = 0.99
\end{align}
$$
上記において$t_{\alpha=0.005}(9)=3.25$、$t_{\alpha=0.995}(9)=-3.25$なので、下記のように計算できる。
$$
\begin{align}
\bar{x}-t_{\alpha=0.005}(9)\frac{s}{\sqrt{10}} &= 24.21 – \frac{3.25 \times 1.3924}{\sqrt{10}} \\
&= 22.77897… \\
\bar{x}-t_{\alpha=0.995}(9)\frac{s}{\sqrt{10}} &= 24.21 + \frac{3.25 \times 1.3924}{\sqrt{10}} \\
&= 25.64102…
\end{align}
$$
よって求める99%区間は$[22.78, 25.64]$となる。

ⅱ)
$\displaystyle \frac{(n-1)s^2}{\sigma^2}$は自由度$10-1=9$の$\chi^2$分布の$\chi^2(9)$に従う。ここで$\chi^2$分布において上側確率が$100\alpha$%となるパーセント点に対応する$\chi^2$の値を$\chi^2_{\alpha}$とする。このとき問題文の条件を整理すると下記のようになる。
$$
\begin{align}
& P\left( \chi_{\alpha=0.975}(9) \leq \frac{(n-1)s^2}{\sigma^2} \leq \chi_{\alpha=0.025}(9) \right) = 0.95 \\
& P\left( \frac{9s^2}{\chi_{\alpha=0.025}(9)} \leq \sigma^2 \leq \frac{9s^2}{\chi_{\alpha=0.975}(9)} \right) = 0.95
\end{align}
$$
ここで$\chi_{\alpha=0.975}(9)=2.70039$、$\chi_{\alpha=0.025}(9)=19.0228$、$9s^2=17.449$より、下記のように計算できる。
$$
\begin{align}
\frac{9s^2}{\chi_{\alpha=0.975}(9)} &= \frac{17.449}{2.70039} \\
&= 6.4616… \\
\frac{9s^2}{\chi_{\alpha=0.025}(9)} &= \frac{17.449}{19.023} \\
&= 0.9172…
\end{align}
$$
よって求める99%区間は$[0.92, 6.46]$となる。

問題11.8の解答例

1回のベルヌーイ試行の$Bi(1,p)$に基づいて確率変数$X_i$を定め、$S_{50} = X_1+X_2+…+X_{50}$のように定義する。このとき母集団の母数を$p$としたので、$n=50$の二項分布の期待値は$E[S_n]=50p$、分散が$V[S_n]=50p(1-p)$となる。ここで、標準正規分布において上側確率が$100\alpha$%となるパーセント点に対応する$z$の値を$z_{\alpha}$とする。このとき下記が成立する。
$$
\begin{align}
& P\left( z_{\alpha=0.975} \leq \frac{S_n-E[S_n]}{\sqrt{V[S_n]}} \leq z_{\alpha=0.025} \right) = 0.95 \\
& P\left( z_{\alpha=0.975} \leq \frac{27-50p}{\sqrt{50p(1-p)}} \leq z_{\alpha=0.025} \right) = 0.95 \\
& P\left( -1.96 \leq \frac{27/50-p}{\sqrt{p(1-p)/50}} \leq 1.96 \right) = 0.95 \\
& P\left( -1.96 \leq \frac{27/50-p}{\sqrt{0.54(1-0.46)/50}} \leq 1.96 \right) = 0.95 (ここで近似を行なったことに注意) \\
& -1.96 \leq \frac{0.54-p}{\sqrt{0.54(1-0.46)/50}} \leq 1.96
\end{align}
$$
上記の不等式を$p$について解くと、下記のようになる。
$$
\begin{align}
& -1.96\sqrt{\frac{0.54(1-0.46)}{50}} \leq 0.54-p \leq 1.96\sqrt{\frac{0.54(1-0.46)}{50}} \\
& 0.54-1.96\sqrt{\frac{0.54(1-0.46)}{50}} \leq p \leq 1.96\sqrt{\frac{0.54(1-0.46)}{50}} \\
& 0.40185… \leq p \leq 0.67814…
\end{align}
$$
上記が求める$p$の95%区間となる。

問題11.9の解答例

$i$番目の時間の確率変数を$X_i$とすると、$\displaystyle \frac{\sum_{i=1}^{10}X_i – n\lambda}{\sqrt{n\lambda}}$は$n$が大きい場合標準正規分布$N(0,1)$で近似できる。ここで、標準正規分布において上側確率が$100\alpha$%となるパーセント点に対応する$z$の値を$z_{\alpha}$とする。このとき下記のように99%区間を表すことができる。
$$
\begin{align}
P\left( z_{\alpha=0.995} \leq \frac{\sum_{i=1}^{10}X_i – 10\lambda}{\sqrt{10\lambda}} \leq z_{\alpha=0.005} \right) = 0.99 \\
P\left( -2.576 \leq \frac{\sum_{i=1}^{10}X_i – 10\lambda}{\sqrt{10\lambda}} \leq 2.576 \right) = 0.99 \\
-2.576 \leq \frac{48 – 10\lambda}{\sqrt{10\lambda}} \leq 2.576 \\
-2.576 \leq \frac{48 – 10\lambda}{\sqrt{10 \times 4.8}} \leq 2.576(ここで近似を行なったことに注意) \\
-2.576 \leq \frac{4.8 – \lambda}{\sqrt{0.48}} \leq 2.576 \\
4.8-2.576\sqrt{0.48} \leq \lambda \leq 4.8+\leq 2.576\sqrt{0.48} \\
3.01529… \leq \lambda \leq 6.58470…
\end{align}
$$
上記が求める$\lambda$の99%区間となる。

まとめ

区間推定の問題は基本的に同じパターンですが、多種多様なトピックを取り扱うのでなかなか大変です。可能な限り、$\displaystyle P\left( z_{\alpha=0.975} \leq \frac{\bar{X}-\mu}{\sigma} \leq z_{\alpha=0.025} \right)=0.95$のような表記を元に考えるようにすることで、毎回同じ解き方ができるようにしておくのが良いかと思います。

$\alpha$の定義にあたっては、$\displaystyle \int_{-\infty}^{z_{\alpha}} p(x) dx = \alpha$ではなく、$\displaystyle \int_{z_{\alpha}}^{\infty} p(x) dx = \alpha$のように考えることに注意が必要です。累積分布関数のような定義もわかりやすいのではと思われましたが、正規分布、$t$分布、$\chi^2$分布などの表を用いるにあたってこのような定義に基づいて表が作成されていることから、この定義をそのまま用いる方が良いという印象です。