Ch.7 「推定論」の章末問題の解答例　〜現代数理統計学(学術図書出版社)〜

当記事は「現代数理統計学(学術図書出版社)」の読解サポートにあたってChapter.7の「推定論」の章末問題の解説について行います。

基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。（そのため著者の意図とは異なる解説となる可能性はあります）

↓下記が公式の解答なので、正確にはこちらを参照ください。
https://www.gakujutsu.co.jp/text/isbn978-4-7806-0860-1/

章末の演習問題について

問題7.1の解答例

(2.77)式より、ガンマ分布$Ga(\nu, \alpha)$の期待値$E[X]$と分散$V[X]$は下記のように与えられる。
$$
\large
\begin{align}
E[X] &= \nu \alpha \\
V[X] &= \nu \alpha^2
\end{align}
$$
詳しくは下記で示した。
https://www.hello-statisticians.com/explain-terms-cat/gamma_distribution1.html#i-4

また、問4.1で示したように、自由度$k$の$\chi^2$分布$\chi^2(k)$はガンマ分布$Ga(k/2, 2)$に一致する。よって、$\chi^2(k)$の分散$V[X]$は下記のように計算できる。
$$
\large
\begin{align}
V[X] &= \nu \alpha^2 \\
&= \frac{k}{2} \cdot 2^2 \\
&= 2k
\end{align}
$$

ここで、$\displaystyle \frac{(n-1)s^2}{\sigma^2}$は自由度$n-1$の$\chi^2$分布$\chi^2(n-1)$に従うため、分散$V[s^2]$は下記のように示すことができる。
$$
\large
\begin{align}
V \left[ \frac{(n-1)s^2}{\sigma^2} \right] &= 2(n-1) \\
\left( \frac{n-1}{\sigma^2} \right)^2 V[s^2] &= 2(n-1) \\
V[s^2] &= 2(n-1) \left( \frac{\sigma^2}{n-1} \right)^2 \\
&= 2(n-1) \frac{\sigma^4}{(n-1)^2} \\
&= \frac{2 \sigma^4}{n-1}
\end{align}
$$

問題7.2の解答例

$$
\large
\begin{align}
f(x) &= \frac{\lambda^{x} e^{-\lambda}}{x!} \\
l(\lambda) &= \log{f(x)} \\
&= x \log{\lambda} – \lambda – \log{x!}
\end{align}
$$

ここでポアソン分布の確率関数$f(x)$、$n=1$の際の対数尤度関数$l(\lambda)$は上記のように記載できる。ポアソン分布の$n=1$の時のフィッシャー情報量を$\mathit{I}_{1}(\lambda)$とおくと、$\mathit{I}_{1}(\lambda)=E[-l^{”}(\lambda)]$であるので、$l^{”}(\lambda)$を求める。
$$
\large
\begin{align}
l'(\lambda) &= \frac{x}{\lambda} – 1 \\
l^{”}(\lambda) &= -\frac{x}{\lambda^2}
\end{align}
$$

上記より、フィッシャー情報量$\mathit{I}_{1}(\lambda)=E[-l^{”}(\lambda)]$は下記のように計算できる。
$$
\large
\begin{align}
\mathit{I}_{1}(\lambda) &= E[-l^{”}(\lambda)] \\
&= E \left[ -(-\frac{X}{\lambda^2}) \right] \\
&= E \left[ \frac{X}{\lambda^2} \right] \\
&= \frac{1}{\lambda^2} E[X] \\
&= \frac{\lambda}{\lambda^2} \\
&= \frac{1}{\lambda}
\end{align}
$$

一方で標本平均の$\bar{X}$の分散は$\displaystyle \frac{\lambda}{n}$であり、$\mathit{I}_{1}(\lambda)$を用いて下記のように表すことができる。
$$
\large
\begin{align}
\frac{\lambda}{n} = \frac{1}{\mathit{I}_{1}(\lambda)}
\end{align}
$$

上記はクラメル・ラオの不等式において等号が成立している場合なので、標本平均$\bar{X}$は$\lambda$の一様最小分散不偏推定量であることがわかる。

問題7.3の解答例

(7.27)式より、$\sigma^2$のフィッシャー情報量は$\displaystyle \mathit{I}_1(\sigma^2) = \frac{1}{2 \sigma^4}$である。よって、このときのクラメル・ラオの不等式による不偏推定量の分散の下限は下記のようになる。
$$
\large
\begin{align}
\frac{1}{n\mathit{I}_1(\sigma^2)} = \frac{2 \sigma^4}{n} \quad (1)
\end{align}
$$

一方で、$\mu$が既知の場合は、$\displaystyle S^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i – \mu)^2$は$\sigma^2$の不偏推定量で、問7.1より分散$V[S^2]$は下記のように得ることができる。
$$
\large
\begin{align}
V[S^2] = \frac{2 \sigma^4}{n} \quad (2)
\end{align}
$$

(1)と(2)が一致することにより、クラメル・ラオの不等式より$S^2$がUMVUであることを示すことができる。

問題7.4の解答例

$\displaystyle \frac{(n+1)T}{n}$が$\theta$の不偏推定量であることを示すには、$\theta$に関して下記の(1)式が成立することを確認すればよい。
$$
\large
\begin{align}
\theta &= E \left[ \frac{(n+1)T}{n} \right] \quad (1) \\
E \left[ \frac{(n+1)T}{n} \right] &= \int \frac{(n+1)t}{n} \times p(t, \theta) dt \quad (2)
\end{align}
$$

ここで一様分布の同時確率密度関数$p(t, \theta)$は下記のように与えられる。
$$
\large
\begin{align}
p(t, \theta) = \frac{n t^{n-1}}{\theta^n} \quad (0<t<\theta) \quad (3)
\end{align}
$$

(3)式を(2)式に代入し、計算すると下記が導出できる。
$$
\large
\begin{align}
E \left[ \frac{(n+1)T}{n} \right] &= \int_{0}^{\theta} \frac{(n+1)t}{n} \times \frac{n t^{n-1}}{\theta^n} dt \\
&= (n+1)\int_{0}^{\theta} t \times \frac{t^{n-1}}{\theta^n} dt \\
&= (n+1)\int_{0}^{\theta} \frac{t^{n}}{\theta^n} dt \\
&= (n+1) \left[ \frac{t^{n+1}}{(n+1)\theta^n} \right]_{0}^{\theta} \\
&= (n+1) \frac{\theta^{n+1}}{(n+1) \theta^n} \\
&= \theta
\end{align}
$$
上記は(1)式が成立することを意味するので、これにより$\displaystyle \frac{(n+1)T}{n}$が$\theta$の不偏推定量であることを示すことができる。

(4)式と同様に考えることで、$E[T], E[T^2]$を求めることができる。
$$
\large
\begin{align}
E[T] &= \frac{n}{n+1} \theta \quad (5) \\
E[T^2] &= \int_{0}^{\theta} t^2 \times \frac{n t^{n-1}}{\theta^n} dt \\
&= \int_{0}^{\theta} \frac{n t^{n+1}}{\theta^n} dt \\
&= \left[ \frac{n t^{n+2}}{(n+2)\theta^n} \right]_{0}^{\theta} \\
&= \frac{n \theta^{n+2}}{(n+2)\theta^n} \\
&= \frac{n \theta^{2}}{(n+2)} \quad (6)
\end{align}
$$

また、$V[T] = E[T^2] – E[T]$より、(5)式(6)式を用いて$T$の分散$V[T]$は下記のように求めることができる。
$$
\large
\begin{align}
V[T] &= E[T^2] – E[T]　\\
&= \frac{n \theta^{2}}{(n+2)} – \frac{n^2 \theta^2}{(n+1)^2} \\
&= \frac{n(n+1)^2 \theta^{2}}{(n+2)(n+1)^2} – \frac{n^2(n+2) \theta^2}{(n+2)(n+1)^2} \\
&= \frac{(n^3+2n^2+n) – (n^3+2n^2)}{(n+2)(n+1)^2} \theta^{2} \\
&= \frac{n}{(n+2)(n+1)^2} \theta^{2} \quad (7)
\end{align}
$$

(7)式を用いることで、$\displaystyle \frac{(n+1)T}{n}$の分散の$\displaystyle V \left[ \frac{(n+1)T}{n} \right]$は下記のように求めることができる。
$$
\large
\begin{align}
V \left[ \frac{(n+1)T}{n} \right] &= \frac{(n+1)^2}{n^2}V[T] \\
&= \frac{(n+1)^2}{n^2} \frac{n}{(n+2)(n+1)^2} \theta^{2} \\
&= \frac{\theta^{2}}{n(n+2)}
\end{align}
$$

問題7.5の解答例

$E[s]$は下記のように変形できる。
$$
\large
\begin{align}
E[s] = E[\sqrt{s^2}]
\end{align}
$$

ここで関数$f(x) = \sqrt{x}$を定義する。これは厳密に上に凸の関数となる。このときジェンセンの不等式より、下記が成立する。
$$
\large
\begin{align}
E[f(X)] < f(E[X])
\end{align}
$$

$E[s]$にジェンセンの不等式を適用すると下記のような導出が行える。
$$
\large
\begin{align}
E[s] &= E[\sqrt{s^2}] \\
&< \sqrt{E[s^2]} \\
&= \sqrt{\sigma^2} = \sigma
\end{align}
$$

ここまでの議論により、$E[s] < \sigma$を示すことができる。

問題7.6の解答例

$\displaystyle x = \frac{(n-1)s^2}{\sigma^2}$、$x$の確率密度関数を$f(x)$と考えると、$x$は$\displaystyle \chi^2(n-1) = Ga \left( \frac{n-1}{2},2 \right)$に従うことより$f(x)$は下記のように表すことができる。
$$
\large
\begin{align}
f(x) = \frac{1}{2^{\frac{n-1}{2}} \Gamma \left( \frac{n-1}{2} \right)} x^{\frac{n-1}{2}-1} e^{-\frac{x}{2}}
\end{align}
$$

ここで$\displaystyle s = \frac{\sigma}{\sqrt{n-1}} \sqrt{x}$より、$E[s]$は下記のように計算できる。
$$
\large
\begin{align}
E[s] &= E \left[ \frac{\sigma}{\sqrt{n-1}} \sqrt{x} \right] \\
&= \int_{0}^{\infty} \frac{\sigma}{\sqrt{n-1}} \sqrt{x} \times \frac{1}{2^{\frac{n-1}{2}} \Gamma \left( \frac{n-1}{2} \right)} x^{\frac{n-1}{2}-1} e^{-\frac{x}{2}} dx \\
&= \frac{\sigma}{\sqrt{n-1}} \int_{0}^{\infty} x^{\frac{1}{2}} \times \frac{1}{2^{\frac{n-1}{2}} \Gamma \left( \frac{n-1}{2} \right)} x^{\frac{n-1}{2}-1} e^{-\frac{x}{2}} dx \\
&= \frac{\sigma}{\sqrt{n-1}} \int_{0}^{\infty} \frac{1}{2^{\frac{n-1}{2}} \Gamma \left( \frac{n-1}{2} \right)} x^{\frac{n}{2}-1} e^{-\frac{x}{2}} dx \\
&= \frac{\sigma}{\sqrt{n-1}} \times \sqrt{2} \frac{\Gamma \left( \frac{n}{2} \right)}{\Gamma \left( \frac{n-1}{2} \right)} \int_{0}^{\infty} \frac{1}{2^{\frac{n}{2}} \Gamma \left( \frac{n}{2} \right)} x^{\frac{n}{2}-1} e^{-\frac{x}{2}} dx \\
&= \frac{\sigma}{\sqrt{n-1}} \times \sqrt{2} \frac{\Gamma \left( \frac{n}{2} \right)}{\Gamma \left( \frac{n-1}{2} \right)} \times 1 \\
&= \sigma \frac{\sqrt{2} \Gamma \left( \frac{n}{2} \right)}{\sqrt{n-1} \Gamma \left( \frac{n-1}{2} \right)}
\end{align}
$$
上記より、与式を示すことができた。

問題7.7の解答例

$V[\bar{X}] = E[\bar{X}^2] – E[\bar{X}]^2$より下記が成立する。
$$
\large
\begin{align}
E[\bar{X}^2] &= V[\bar{X}] + E[\bar{X}]^2 \\
&= \frac{\sigma^2}{n} + \mu^2 \\
\mu^2 &= E[\bar{X}^2] – \frac{\sigma^2}{n}
\end{align}
$$
上記を元に考えることで、$\mu^2$の不偏推定量$\hat{\mu}^2$は不偏分散$s^2$を用いて下記のように表すことができる。
$$
\large
\begin{align}
\hat{\mu}^2 &= \bar{X}^2 – \frac{s^2}{n} \\
&= \bar{X}^2 – \frac{\sum_{i=1}^{n}(X_i-\bar{X})^2}{n(n-1)} \quad (7.38)
\end{align}
$$

上記の導出において、$\displaystyle \hat{\mu}^2 = \bar{X}^2 – \frac{s^2}{n}$は(7.38)と同値であることがわかる。ここで$\bar{X}$と$s^2$がそれぞれ独立に動くことから$\hat{\mu}^2$が負となる確率は0ではないことが言える。

問題7.8の解答例

「$P(E[X|T]<0)>0 \implies P(X<0)>0$」を示すにあたって、対偶の「$P(X<0)=0 \implies P(E[X|T]<0)=0$」を示す。非負の確率変数に対しては条件付き期待値が$0$以下とならないことから、対偶を示すことができ、元の命題も成立することがわかる。

・直感的な考察
サイコロを考えた際に、サイコロの目が1〜6である場合は、どのような条件を考えてもサイコロの目が0より小さくなることは起こりえないことを考えると納得がいくと思われる。また、元々の命題に関しても、条件付き期待値が0より小さくなりうる場合は、0よりも小さい値を何かしら持つと解釈すると良い。

問題7.9の解答例

https://www.gakujutsu.co.jp/text/isbn978-4-7806-0860-1/
幾何分布の平均と分散を求めるにあたって上記の公式の解答では(2.62)式などで示された負の二項分布の結果を用いているが、大元の導出自体が大変なことからここでは確率母関数$G(s)$を用いた別解を記載する。$E[X], E[X(X-1)]$を求めて$E[X], V[X]$を求めることもできるが、$G'(1)=E[X], G^{”}(1)=E[X(X-1)]$が成立することを鑑みると、「確率母関数を用いる手法」と「$E[X], E[X(X-1)]$を定義に基づいて計算する手法」は同様であり、$E[X], E[X(X-1)]$を定義に基づいて計算するにはマクローリン展開を2度行う必要のあることからここでは確率母関数を用いる手法を選定した。

・確率母関数の導出
確率母関数$G(s)=E[s^X]$の定義に基づいて、確率母関数を計算する。
$$
\large
\begin{align}
G(s) &= E[s^X] \\
&= s^0 p(1-p)^0 + s^1 p(1-p)^1 + s^2 p(1-p)^2 + … \\
&= \sum_{n=0}^{\infty} s^n p(1-p)^n \\
&= p \sum_{n=0}^{\infty} (s(1-p))^n \\
&= p \frac{1}{1-s(1-p)} \\
&= \frac{p}{1-s(1-p)}
\end{align}
$$
上記において$\displaystyle \sum_{n=0}^{\infty} (s(1-p))^n = \frac{1}{1-s(1-p)}$は$\displaystyle \lim_{n \to \infty} (s(1-p))^n = 0$という前提に基づいて、等比級数の公式を用いて求めた。
等比級数の公比に関しては$G'(1), G^{”}(1)$を考えることから$s=1$の周辺だけ調べれば十分であり、$s=1$のとき$1-s(1-p)=p$であり、$0<p<1$を考慮すると収束するだろうと考えられる。

次に$G'(s), G^{”}(s)$を導出する。
$$
\large
\begin{align}
G'(s) &= \left( \frac{p}{1-s(1-p)} \right)’ \\
&= \frac{-p \times (-(1-p))}{(1-s(1-p))^2} \\
&= \frac{p(1-p)}{(1-s(1-p))^2} \\
G^{”}(s) &= \left( \frac{p(1-p)}{(1-s(1-p))^2} \right)’ \\
&= \frac{-2p(1-p) \times (-(1-p))}{(1-s(1-p))^3} \\
&= \frac{2p(1-p)^2}{(1-s(1-p))^3}
\end{align}
$$
このとき、$G'(1), G^{”}(1)$は$s$に$1$を代入することで下記のようになる。
$$
\large
\begin{align}
G'(1) &= \frac{p(1-p)}{(1 – 1 \cdot (1-p))^2} \\
&= \frac{p(1-p)}{(1 – 1 + p))^2} \\
&= \frac{p(1-p)}{p^2} \\
&= \frac{1-p}{p} \\
G^{”}(1) &= \frac{2p(1-p)^2}{(1 – 1 \cdot (1-p))^3} \\
&= \frac{2p(1-p)^2}{(1 – 1 + p))^3} \\
&= \frac{2p(1-p)^2}{p^3} \\
&= \frac{2(1-p)^2}{p^2}
\end{align}
$$

・平均$E[X]$、分散$V[X]$の導出
ここまでで求めた$G'(1), G^{”}(1)$に対し、$E[X]=G'(1), V[X]=G^{”}(1)+G'(1)-(G'(1))^2$を用いて$E[X], V[X]$の導出を行う。
$$
\large
\begin{align}
E[X] &= G'(1) \\
&= \frac{1-p}{p} \\
V[X] &= G^{”}(1)+G'(1)-(G'(1))^2 \\
&= \frac{2(1-p)^2}{p^2} + \frac{1-p}{p} – \frac{(1-p)^2}{p^2} \\
&= \frac{(1-p)^2}{p^2} + \frac{p(1-p)}{p^2} \\
&= \frac{(1-p)(1-p+p)}{p^2} \\
&= \frac{1-p}{p^2}
\end{align}
$$

・フィッシャー情報量の導出
幾何分布の対数尤度を$l(p)$とおくと、$l(p) = \log{p(x)}$より、$l(p)$は下記のように表すことができる。
$$
\large
\begin{align}
l(p) &= \log{p(x)} \\
&= \log{p(1-p)^x} \\
&= \log{p} + x \log{(1-p)}
\end{align}
$$
上記を下記のように$p$で2回微分を行う。
$$
\large
\begin{align}
l'(p) &= (x \log{(1-p)} + \log{p})’ \\
&= \frac{1}{p} – \frac{x}{1-p} \\
l^{”}(p) &= -\frac{1}{p^2} – \frac{x}{(1-p)^2}
\end{align}
$$
よって、フィッシャ情報量$\mathit{I}(p)=E[-l^{”}(p)]$は下記のように求めることができる。
$$
\large
\begin{align}
\mathit{I}(p) &= E[-l^{”}(p)] \\
&= E \left[ \frac{1}{p^2} + \frac{x}{(1-p)^2} \right] \\
&= \frac{1}{p^2} + \frac{E[X]}{(1-p)^2} \\
&= \frac{1}{p^2} + \frac{1}{(1-p)^2} \cdot \frac{1-p}{p} \\
&= \frac{1}{p^2} + \frac{1}{p(1-p)} \\
&= \frac{1}{p^2(1-p)}
\end{align}
$$

問題7.10の解答例

$y$個の球を$n-1$個の仕切りで分けることで、各非負の$x_i$に対応させることを考える。この組み合わせの数は${}_{y+n-1} C{y}={}_{n+y-1} C{y}$のように求めることができる。

問題7.11の解答例

下記のQ3.8の解答で取り扱ったように、負の二項分布に関して$NB(r_1,p)*NB(r_2,p) = NB(r_1+r_2,p)$が成立する。
https://www.hello-statisticians.com/explain-books-cat/math_stat_practice_ch3.html#38

幾何分布は負の二項分布$NB(r,p)$において$r=1$の場合であるので、上記と同様なたたみこみ演算を$n$回行うことで幾何分布から負の二項分布を導出することができる。

問題7.12の解答例

$X_1, X_2, …, X_n$の同時確率$P(X_1=x_1,…,X_n=x_n)$は下記のように表すことができる。
$$
\large
\begin{align}
P(X_1=x_1,…,X_n=x_n) &= \prod_{i=1}^{n} p(1-p) \\
&= p^{n} (1-p)^{\sum_{i=1}^{n}x_i}
\end{align}
$$

上記において分解定理を考えると、$p$の十分統計量が$\displaystyle Y = \sum_{i=1}^{n}X_i$で与えられることがわかる。また、問題6.7より完備性は示される。

ここで$Y=y$を与えた際の$X_1, X_2, …, X_n$の条件付き分布$P(X_1=x_1,…,X_n=x_n|Y=y)$は下記のように表すことができる。
$$
\large
\begin{align}
P(X_1=x_1,…,X_n=x_n|Y=y) &= \frac{P(X_1=x_1,…,X_n=x_n,Y=y)}{P(Y=y)} \\
&= \frac{P(X_1=x_1,…,X_n=x_n)}{P(Y=y)} \\
&= \frac{p^{n} (1-p)^{\sum_{i=1}^{n}x_i}}{{}_{n+y-1} C_{y} p^{n} (1-p)^{y}} \\
&= \frac{p^{n} (1-p)^{y}}{{}_{n+y-1} C_{y} p^{n} (1-p)^{y}} \\
&= \frac{1}{{}_{n+y-1} C_{y}}
\end{align}
$$

・考察
条件付き分布を考える際に$P(X_1=x_1,…,X_n=x_n,Y=y)=P(X_1=x_1,…,X_n=x_n)$のように考えたが、これは$\displaystyle Y = \sum_{i=1}^{n}X_i$のようにおいたことに基づく。

より詳細には下記のように考えると良いと思われる。
$$
\large
\begin{align}
P(X_1=x_1,…,X_n=x_n,Y=y) &= p^{n} (1-p)^{y} \\
&= p^{n} (1-p)^{\sum_{i=1}^{n}X_i} \\
&= P(X_1=x_1,…,X_n=x_n)
\end{align}
$$

問題7.13の解答例

$$
\large
\begin{align}
P(Y=y) = {}_{n+y-1} C_{y} p^{n} (1-p)^{y}
\end{align}
$$
$p$の尤度を$L(p)$とおくと、$L(p)=P(Y=y)$なので、対数尤度の$\log{L(p)}$は下記のように表すことができる。
$$
\large
\begin{align}
\log{L(p)} &= \log{( {}_{n+y-1} C_{y} p^{n} (1-p)^{y} )} \\
&= n \log{p} + y \log{(1-p)} + Const. \quad (1)
\end{align}
$$

ここで(1)式を$p$に関して微分した際に$0$になる$p$値を下記のように計算する。
$$
\large
\begin{align}
\frac{d \log{L(p)}}{d p} &= 0 \\
\frac{n}{p} – \frac{y}{1-p} &= 0 \\
\frac{y}{1-p} &= \frac{n}{p} \\
yp &= n(1-p) \\
(n+y)p &= n \\
p &= \frac{n}{n+y}
\end{align}
$$
上記が最尤推定量$\hat{p}$を表すので、$\displaystyle \hat{p} = \frac{n}{n+y}$が成立する。

次に(7.62)式を示す。$\displaystyle E \left[ \frac{1}{(N-1)(N-2)…(N-k)} \right] = E \left[ \frac{1}{(n+y-1)(n+y-2)…(n+y-k)} \right]$は下記のように変形することができる。
$$
\large
\begin{align}
E & \left[ \frac{1}{(N-1)(N-2)…(N-k)} \right] = E \left[ \frac{1}{(n+y-1)(n+y-2)…(n+y-k)} \right] \\
&= \sum_{y=0}^{\infty} \frac{1}{(n+y-1)(n+y-2)…(n+y-k)} \times {}_{n+y-1} C_{y} p^{n} (1-p)^{y} \\
&= \sum_{y=0}^{\infty} \frac{1}{(n+y-1)(n+y-2)…(n+y-k)} \times \frac{(n+y-1)!}{y!(n-1)!} p^{n} (1-p)^{y} \\
&= \sum_{y=0}^{\infty} \frac{(n+y-1-k)!}{y!(n-1)!} p^{n} (1-p)^{y} \\
&= \frac{1}{(n-1)(n-2)…(n-k)} \sum_{y=0}^{\infty} \frac{(n+y-1-k)!}{y!(n-k)!} p^{n} (1-p)^{y} \\
&= \frac{p^k}{(n-1)(n-2)…(n-k)} \sum_{y=0}^{\infty} \frac{(n-k+y-1)!}{y!(n-k)!} p^{n-k} (1-p)^{y}
\end{align}
$$

ここで(2)式の$\displaystyle \sum_{y=0}^{\infty}$の中は負の二項分布$NB(n-k,y)$の$y=0,1,…,$を表している。
従って、確率分布のそれぞれの確率関数の和が1になることを考えることによって$\displaystyle \sum_{y=0}^{\infty} \frac{(n-k+y-1)!}{y!(n-k)!} p^{n-k} (1-p)^{y}=1$であることがわかる。これを(2)に代入することによって、下記を得ることができる。
$$
\large
\begin{align}
E & \left[ \frac{1}{(N-1)(N-2)…(N-k)} \right] = E \left[ \frac{1}{(n+y-1)(n+y-2)…(n+y-k)} \right] \\
&= \frac{p^k}{(n-1)(n-2)…(n-k)} \sum_{y=0}^{\infty} \frac{(n-k+y-1)!}{y!(n-k)!} p^{n-k} (1-p)^{y} \\
&= \frac{p^k}{(n-1)(n-2)…(n-k)} \quad (3)
\end{align}
$$
上記は(7.62)式が成立することを表す。

また、(3)式の両辺に$(n-1)(n-2)…(n-k)$をかけると下記のようになる。
$$
\large
\begin{align}
E \left[ \frac{1}{(N-1)…(N-k)} \right] (n-1)…(n-k) &= \frac{p^k}{(n-1)…(n-k)}(n-1)…(n-k) \\
E \left[ \frac{(n-1)(n-2)…(n-k)}{(N-1)(N-2)…(N-k)} \right] &= p^k \\
E \left[ \frac{(n-1)(n-2)…(n-k)}{(n+y-1)(n+y-2)…(n+y-k)} \right] &= p^k
\end{align}
$$

上記より$\displaystyle E \left[ \frac{n-1}{n+y-1} \right] = p$が成立し、$\displaystyle \frac{n-1}{n+y-1}$が$p$の不偏推定量であることがわかる。

問題7.14の解答例

問題7.15の解答例

(7.63)式と、(7.64)式はそれぞれ左辺を変形することで、右辺を導出できるので以下に示す。

・(7.63)式の導出
$$
\large
\begin{align}
\frac{n}{N} – \frac{n}{N-1} + \frac{n}{(N-1)(N-2)} &= \frac{n(N-1)(N-2) – nN(N-2) + nN}{N(N-1)(N-2)} \\
&= \frac{n(N^2-3N+2) – n(N^2-2N) + nN}{N(N-1)(N-2)} \\
&= \frac{nN^2 – 3nN + 2n – nN^2 + 2nN + nN}{N(N-1)(N-2)} \\
&= \frac{2n}{N(N-1)(N-2)}
\end{align}
$$

・(7.64)式の導出
$$
\large
\begin{align}
\frac{n^2}{N^2} – \frac{n^2}{(N-1)(N-2)} &+ \frac{3n^2}{(N-1)(N-2)(N-3)} \\
&= \frac{n^2(N-1)(N-2)(N-3) – n^2N^2(N-3) + 3n^2(N-3)}{N^2(N-1)(N-2)(N-3)}
\end{align}
$$
上記を計算するにあたっては、分子を整理して$(N-1)(N-2)(N-3) – N^2(N-3) + 3N^2$を計算すればよい。
$$
\large
\begin{align}
(N-1)(N-2)(N-3) – N^2(N-3) + 3N^2 &= (N^2-3N+2)(N-3) – (N^3-3N^2) + 3N^2 \\
&= (N^3 – 3N^2 + 2N – 3N^2 + 9N – 6) – N^3 + 3N^2 + 3N^2 \\
&= 11N – 6
\end{align}
$$

よって、(1)式は下記のように整理することができる。
$$
\large
\begin{align}
\frac{n^2}{N^2} – \frac{n^2}{(N-1)(N-2)} &+ \frac{3n^2}{(N-1)(N-2)(N-3)} \\
&= \frac{n^2(N-1)(N-2)(N-3) – n^2N^2(N-3) + 3n^2N^2}{N^2(N-1)(N-2)(N-3)} \\
&= \frac{11Nn^2 – 6n^2}{N^2(N-1)(N-2)(N-3)}
\end{align}
$$

問題7.16の解答例

ポアソン分布は下記で導出を行ったように再生性が成立し、(3.51)式のようにたたみこみが行える。
https://www.hello-statisticians.com/explain-terms-cat/probdist3.html#i-4
(3.51)式より、$\displaystyle \sum_{i=1}^{n} X_i$は$Po(n \lambda)$に従う。ここで、$e^{-2\lambda}$の推定量が$\delta(y)$であることより、下記が成立する。
$$
\large
\begin{align}
e^{-2\lambda} &= E[\delta(y)] \\
&= \sum_{y=0}^{\infty} \delta(y) \frac{(n \lambda)^y}{y!} e^{-n \lambda}
\end{align}
$$

ここで、両辺を$e^{-n \lambda}$で割ることで下記が導出できる。
$$
\large
\begin{align}
e^{(n-2)\lambda} = \sum_{y=0}^{\infty} \delta(y) \frac{(n \lambda)^y}{y!} \quad (1)
\end{align}
$$

また、$e^{(n-2) \lambda}$に関するマクローリン展開を考えることで、下記が成立することがわかる。
$$
\large
\begin{align}
e^{(n-2)\lambda} = \sum_{y=0}^{\infty} \frac{((n-2) \lambda)^y}{y!} \quad (2)
\end{align}
$$

ここで、(1)と(2)の級数が一致するには下記が成立しなければならない。
$$
\large
\begin{align}
\delta(y) (n \lambda)^y &= ((n-2) \lambda)^y \\
\delta(y) &= \frac{((n-2) \lambda)^y}{(n \lambda)^y} \\
&= \left( \frac{n-2}{n} \right)^y \quad (3)
\end{align}
$$

上記のように$e^{-2 \lambda}$の推定量を得ることができる。

・考察
以下、$\lambda=5$において、実際に$e^{-2 \lambda}=e^{-10}$を(3)式を用いて推定を行い、値を確認する。

• $e^{-2 \lambda}=e^{-10}$
  $$
  \large
  \begin{align}
  e^{-10} = 4.5399… \times 10^{-5}
  \end{align}
  $$
• $n = 3, y = n \lambda = 3 \times 5$
  $$
  \large
  \begin{align}
  \delta(y) &= \left( \frac{3-2}{3} \right)^{3 \times 5} \\
  &= \left( \frac{1}{3} \right)^{3 \times 5} \\
  &= 6.969… \times 10^{-8}
  \end{align}
  $$
• $n = 50, y = n \lambda = 50 \times 5$
  $$
  \large
  \begin{align}
  \delta(y) &= \left( \frac{50-2}{50} \right)^{3 \times 5} \\
  &= \left( \frac{48}{50} \right)^{50 \times 5} \\
  &= 3.69662… \times 10^{-5}
  \end{align}
  $$
• $n = 100, y = n \lambda = 100 \times 5$
  $$
  \large
  \begin{align}
  \delta(y) &= \left( \frac{100-2}{100} \right)^{100 \times 5} \\
  &= \left( \frac{98}{100} \right)^{100 \times 5} \\
  &= 4.1023… \times 10^{-5}
  \end{align}
  $$
• $n = 1000, y = n \lambda = 1000 \times 5$
  $$
  \large
  \begin{align}
  \delta(y) &= \left( \frac{1000-2}{1000} \right)^{1000 \times 5} \\
  &= \left( \frac{998}{1000} \right)^{1000 \times 5} \\
  &= 4.4947… \times 10^{-5}
  \end{align}
  $$
• $n = 1000000, y = n \lambda = 1000000 \times 5$
  $$
  \large
  \begin{align}
  \delta(y) &= \left( \frac{1000000-2}{1000000} \right)^{1000000 \times 5} \\
  &= \left( \frac{999998}{1000000} \right)^{1000000 \times 5} \\
  &= 4.53994… \times 10^{-5}
  \end{align}
  $$

サンプルが増えるに従って、$\delta(y)$が$e^{-2 \lambda}$に近づいており、これにより$e^{-2\lambda} = E[\delta(y)]$が成立することが妥当であることが確認できる。

問題7.17の解答例

問題7.18の解答例

問題7.19の解答例

問題7.20の解答例

問題7.21の解答例

問題7.22の解答例

問題7.23の解答例

問題7.24の解答例