当記事は「現代数理統計学(学術図書出版社)」の読解サポートにあたってChapter.13の「漸近理論」の章末問題の解説について行います。
基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。（そのため著者の意図とは異なる解説となる可能性はあります）
↓下記が公式の解答なので、正確にはこちらを参照ください。
https://www.gakujutsu.co.jp/text/isbn978-4-7806-0860-1/
Contents
章末の演習問題について
問題13.1の解答例
(13.10)式では確率密度関数$f(x,\theta)$を元に、$\eta(\theta_0,\theta)$を下記のように定義される。
$$
\large
\begin{align}
\eta(\theta_0,\theta) = \int_{-\infty}^{\infty} \log(f(x,\theta))f(x,\theta_0) dx \quad (13.10)
\end{align}
$$
ここでKLダイバージェンスの式が$0$以上であることに基づいて、下記の(13.11)式も成立する。
$$
\large
\begin{align}
\eta(\theta_0,\theta) \leq \eta(\theta_0,\theta) \quad (13.11)
\end{align}
$$
ここで$\mathit{I}(\theta_0,\theta)=\mathit{I}(f(x,\theta_0),f(x,\theta))=\eta(\theta_0,\theta_0)-\eta(\theta_0,\theta)$のようにおくとき、この問題では(13.12)式で表される下記の3つの式を示すことが目標となる。
$$
\large
\begin{align}
& \mathit{I}(\theta_0,\theta_0) = 0 \quad (1) \\
& \frac{\partial}{\partial \theta} \mathit{I}(\theta_0,\theta) \Bigg|_{\theta=\theta_0} = 0 \quad (2) \\
& \frac{\partial^2}{\partial \theta^2} \mathit{I}(\theta_0,\theta) \Bigg|_{\theta=\theta_0} = \mathit{I}(\theta_0) \quad (3)
\end{align}
$$
上記の$\mathit{I}(\theta_0,\theta)$がKLダイバージェンスで、$\mathit{I}(\theta_0)$がフィッシャー情報量を表すことに注意が必要である。
以下、(1)〜(3)式が成立することをそれぞれ示す。
・$(1)$式の導出
$\mathit{I}(\theta_0,\theta)=\mathit{I}(f(x,\theta_0),f(x,\theta))=\eta(\theta_0,\theta_0)-\eta(\theta_0,\theta)$のように定義したことから、下記のように示すことができる。
$$
\large
\begin{align}
\mathit{I}(\theta_0,\theta_0) &= \eta(\theta_0,\theta_0)-\eta(\theta_0,\theta_0) \\
&= 0
\end{align}
$$
・$(2)$式の導出
$(1)$式が成立するならば、$\mathit{I}(\theta_0,\theta) \geq 0$より、$\mathit{I}(\theta_0,\theta)$は$\theta_0$で極大値を取る。よって、$\theta=\theta_0$における$\mathit{I}(\theta_0,\theta)$の傾きは$0$であり、下記で表す$(2)$式が成立する。
$$
\large
\begin{align}
\frac{\partial}{\partial \theta} \mathit{I}(\theta_0,\theta) \Bigg|_{\theta=\theta_0} = 0
\end{align}
$$
・$(3)$式の導出
$\mathit{I}(\theta_0,\theta)$を$\theta$で2階微分する。
$$
\large
\begin{align}
\frac{\partial^2}{\partial \theta^2} \mathit{I}(\theta_0,\theta) &= \frac{\partial^2}{\partial \theta^2} (\eta(\theta_0,\theta_0)-\eta(\theta_0,\theta)) \\
&= – \frac{\partial^2}{\partial \theta^2} \eta(\theta_0,\theta) \\
&= – \frac{\partial^2}{\partial \theta^2} \int_{-\infty}^{\infty} \log(f(x,\theta))f(x,\theta_0) dx \\
&= – \int_{-\infty}^{\infty} \left( \frac{\partial^2}{\partial \theta^2} \log(f(x,\theta)) \right) f(x,\theta_0) dx
\end{align}
$$
よって、$\displaystyle \frac{\partial^2}{\partial \theta^2} \mathit{I}(\theta_0,\theta) \Bigg|_{\theta=\theta_0}$に関して下記が成立する。
$$
\large
\begin{align}
\frac{\partial^2}{\partial \theta^2} \mathit{I}(\theta_0,\theta) \Bigg|_{\theta=\theta_0} &= – \int_{-\infty}^{\infty} \left( \frac{\partial^2}{\partial \theta^2} \log(f(x,\theta)) \right) \Bigg|_{\theta=\theta_0} f(x,\theta_0) dx \\
&= \mathit{I}(\theta_0)
\end{align}
$$
上記より、$(3)$式を示すことができる。