フィッシャー情報行列(FIM; Fisher Information Matrix)の式定義

フィッシャー情報行列(FIM; Fisher Information Matrix)は多変数スカラー関数の二次近似(quadratic approximation)を行う際に計算を行う行列です。当記事ではフィッシャー情報行列の定義式について取りまとめました。
当記事は「Wikipedia：フィッシャー情報量」などを参考に作成を行いました。
https://ja.wikipedia.org/wiki/フィッシャー情報量

・用語/公式解説
https://www.hello-statisticians.com/explain-terms

フィッシャー情報量の定義

確率関数や確率密度関数を$f(x|\theta)=P(X=x|\theta)$のように定義するとき、パラメータ$\theta$の尤度$L(\theta|x)$は下記のように表せる。
$$
\large
\begin{align}
L(\theta|x) = f(x|\theta)
\end{align}
$$

このとき、対数尤度$\log{L(\theta|x)}$を元にスコア関数$V(x|\theta)$を下記のように定義する。
$$
\large
\begin{align}
V(x|\theta) = \frac{\partial}{\partial \theta} \log{L(\theta|x)}
\end{align}
$$

上記で定義した対数尤度やスコア関数を元に、フィッシャー情報量$I(\theta)$は下記のように定義される。
$$
\large
\begin{align}
I(\theta) &= E \left[ V(x|\theta)^{2} \right] \\
&= E \left[ \left( \frac{\partial}{\partial \theta} \log{L(\theta|x)} \right)^{2} \right]
\end{align}
$$

フィッシャー情報行列の定義

下記のように$p$次元パラメータベクトル$\boldsymbol{\theta} \in \mathbb{R}^{p}$と、方向微分の演算子$\nabla$を定義する。
$$
\large
\begin{align}
\boldsymbol{\theta} &= \left(\begin{array}{c} \theta_{1} \\ \vdots \\ \theta_{p} \end{array} \right) \\
\nabla &= \left(\begin{array}{c} \displaystyle \frac{\partial}{\partial \theta_{1}} \\ \vdots \\ \displaystyle \frac{\partial}{\partial \theta_{p}} \end{array} \right)
\end{align}
$$

このときフィッシャー情報行列を$I(\boldsymbol{\theta})$と定義すると、尤度関数$L(\boldsymbol{\theta}|x)$に基づいて$I(\boldsymbol{\theta})$は下記のように表される。
$$
\large
\begin{align}
I(\boldsymbol{\theta}) &= E \left[ \nabla \log{L(\boldsymbol{\theta}|x)} \nabla^{\mathrm{T}} \log{L(\boldsymbol{\theta}|x)} \right] \\
&= E \left[ \frac{\partial}{\partial \boldsymbol{\theta}} \log{L(\boldsymbol{\theta}|x)} \frac{\partial}{\partial \boldsymbol{\theta}^{\mathrm{T}}} \log{L(\boldsymbol{\theta}|x)} \right] \\
&= E \left[ \left(\begin{array}{c} \displaystyle \frac{\partial \log{L(\boldsymbol{\theta}|x)}}{\partial \theta_{1}} \\ \vdots \\ \displaystyle \frac{\partial \log{L(\boldsymbol{\theta}|x)}}{\partial \theta_{p}} \end{array} \right) \left(\begin{array}{ccc} \displaystyle \frac{\partial \log{L(\boldsymbol{\theta}|x)}}{\partial \theta_{1}} & \cdots & \displaystyle \frac{\partial \log{L(\boldsymbol{\theta}|x)}}{\partial \theta_{p}} \end{array} \right) \right]
\end{align}
$$