クラメル・ラオの不等式を用いた一様最小分散不偏推定量(UMVU estimator)の判定

https://www.hello-statisticians.com/explain-terms-cat/unbiased_estimator1.html
上記のバイアス・バリアンス分解で確認したように、不偏推定量ではバイアス項が0となる。このとき不偏推定量は分散に一致するため、不偏推定量を考える際は分散を最小にする推定量が望ましい。このことを表す概念に一様最小分散不偏推定量(UMVU; Uniformly Minimum Variance Unbiased estimator)があるが、UMVUを示すにあたっては「クラメル・ラオの不等式を用いる方法」と「完備十分統計量を用いる方法」の二つがある。
当記事では「クラメル・ラオの不等式」を用いたUMVUの判定について取り扱った。作成にあたっては「現代数理統計学(学術図書出版社)」の7.2節の「不偏推定量とフィッシャー情報量」を参考にした。

前提知識の確認

平均二乗誤差と不偏推定量

https://www.hello-statisticians.com/explain-terms-cat/unbiased_estimator1.html
詳しくは上記でまとめたので、重要事項のみ抜粋を行う。

$$
\large
\begin{align}
E \left[ (\hat{\theta} – \theta)^2 \right] = V \left[ \hat{\theta} \right] + b(\theta)^2
\end{align}
$$
パラメータの推定量$\hat{\theta}$とパラメータ$\theta$に関しては、平均二乗誤差に対して上記のようなバイアス・バリアンス分解の式が成立する。不偏推定量においては$b(\theta)^2=0$であるので、不偏推定量に限れば分散を最小にする推定量が望ましい推定量であると言える。

さて、これに関連して一様最小分散不偏推定量(UMVU; Uniformly Minimum Variance Unbiased estimator)が考えられるが、UMVUを$\hat{\theta}^{*}$であると考えると、下記のように定義される。
$$
\large
\begin{align}
V \left[ \hat{\theta}^{*} \right] \leq V \left[ \hat{\theta} \right], \quad {}^{\forall} \theta
\end{align}
$$
上記で定義したUMVUの$\hat{\theta}^{*}$は、$\hat{\theta}^{*}$の分散が任意の不偏推定量${}^{\forall} \theta$の分散以下であることを意味している。

また、不偏推定量がUMVUであることは、「クラメル・ラオの不等式を用いる方法」と「完備十分統計量を用いる方法」の二通りによって示すことができる。当記事では「クラメル・ラオの不等式」を用いた方法について以下で確認する。

フィッシャー情報量

クラメル・ラオの不等式を理解するにあたって、フィッシャー情報量(Fisher Information)は先に抑えておきたい。i.i.d.に従う$n$個の標本$\mathbf{x} = (x_1, x_2, …, x_n)$に関するフィッシャー情報量を$I_{n}(\theta)$とすると、$I_{n}(\theta)$は同時確率密度関数の$f(\mathbf{x},\theta)$を用いて下記のように定義される。
$$
\large
\begin{align}
I_{n}(\theta) &= E \left[ \left( \frac{\partial \log{f(\mathbf{x},\theta)}}{\partial \theta} \right)^2 \right] \\
&= E \left[ \left( \frac{\partial f(\mathbf{x},\theta) / \partial \theta}{f(\mathbf{x},\theta)} \right)^2 \right] \\
&= \int \left( \frac{\partial f(\mathbf{x},\theta) / \partial \theta}{f(\mathbf{x},\theta)} \right)^2 f(\mathbf{x},\theta) d \mathbf{x} \quad (1) \\
&= \int \frac{(\partial f(\mathbf{x},\theta) / \partial \theta)^2}{f(\mathbf{x},\theta)} d \mathbf{x}
\end{align}
$$

ここで「同時確率密度関数=尤度」と考えることができるため、$f(\mathbf{x},\theta)$は尤度である。よって対数尤度関数を$l(\mathbf{x},\theta)$とおくと、$l(\mathbf{x},\theta) = \log{f(\mathbf{x},\theta)}$のように表すことができる。また、$\displaystyle l'(\mathbf{x},\theta) = \frac{\partial l(\mathbf{x},\theta)}{\partial \theta}$とおくと、$l'(\mathbf{x},\theta)$は下記のように導出することができる。
$$
\large
\begin{align}
l'(\mathbf{x},\theta) &= \frac{\partial l(\mathbf{x},\theta)}{\partial \theta} \\
&= \frac{\partial \log{f(\mathbf{x},\theta)}}{\partial \theta} \\
&= \frac{\partial f(\mathbf{x},\theta) / \partial \theta}{f(\mathbf{x},\theta)} \quad (2)
\end{align}
$$

ここで(1)式と(2)式を見比べることで、下記が成立することがわかる。
$$
\large
\begin{align}
I_{n}(\theta) &= \int \left( \frac{\partial f(\mathbf{x},\theta) / \partial \theta}{f(\mathbf{x},\theta)} \right)^2 f(x,\theta) d \mathbf{x} \\
&= \int l'(\mathbf{x},\theta)^2 f(\mathbf{x},\theta) d \mathbf{x} \\
&= E[ l'(\mathbf{x},\theta)^2 ]
\end{align}
$$

微分と積分の交換と$E[l'(\mathbf{x},\theta)]=0$の導出

前項で取り扱った$f(\mathbf{x},\theta)$は確率密度関数であるので、下記が成立する。
$$
\large
\begin{align}
\int f(\mathbf{x},\theta) d \mathbf{x} = 1
\end{align}
$$

ここで上記の両辺を$\theta$で微分すると下記のようになる。
$$
\large
\begin{align}
\frac{\partial}{\partial \theta} \int f(\mathbf{x},\theta) d \mathbf{x} = 0
\end{align}
$$
この時上記において微分と積分の交換を行って良いと仮定すると、下記のように変形できる。
$$
\large
\begin{align}
\frac{\partial}{\partial \theta} \int f(\mathbf{x},\theta) d \mathbf{x} &= 0 \\
\int \frac{\partial f(\mathbf{x},\theta)}{\partial \theta} d \mathbf{x} &= 0
\end{align}
$$

前項の(2)式と上記を元に、下記のように$E[l'(\mathbf{x},\theta)]=0$を導出できる。
$$
\large
\begin{align}
E[l'(\mathbf{x},\theta)] &= E \left[ \frac{\partial l(\mathbf{x},\theta)}{\partial \theta} \right] \\
&= E \left[ \frac{\partial \log{f(\mathbf{x},\theta)}}{\partial \theta} \right] \\
&= E \left[ \frac{\partial f(\mathbf{x},\theta) / \partial \theta}{f(\mathbf{x},\theta)} \right] \\
&= \int \frac{\partial f(\mathbf{x},\theta) / \partial \theta}{f(\mathbf{x},\theta)} f(\mathbf{x},\theta) d \mathbf{x} \\
&= \int \frac{\partial f(\mathbf{x},\theta)}{\partial \theta} d \mathbf{x} \\
&= 0 \quad (3)
\end{align}
$$

クラメル・ラオの不等式とUMVU

クラメル・ラオの不等式

$\hat{\theta}$を$\theta$の不偏推定量とするとき、下記の不等式をクラメル・ラオの不等式(Cramer-Rao inequality)という。
$$
\large
\begin{align}
V[\hat{\theta}] \geq \frac{1}{I_n(\theta)}
\end{align}
$$
以下、クラメル・ラオの不等式が成立することを示す。

$\displaystyle \theta = E[\hat{\theta}(\mathbf{x})] = \int \hat{\theta}(\mathbf{x})f(\mathbf{x},\theta)d \mathbf{x}$の両辺を$\theta$で偏微分することを考える。
$$
\large
\begin{align}
\theta &= \int \hat{\theta}(\mathbf{x})f(\mathbf{x},\theta)d \mathbf{x} \\
1 &= \frac{\partial}{\partial \theta} \int \hat{\theta}(\mathbf{x})f(\mathbf{x},\theta)d \mathbf{x} \\
&= \int \hat{\theta}(\mathbf{x}) \frac{\partial f(\mathbf{x},\theta)}{\partial \theta} d \mathbf{x} \\
&= \int \hat{\theta}(\mathbf{x}) \frac{\partial \log{f(\mathbf{x},\theta)}}{\partial \theta} f(\mathbf{x},\theta) d \mathbf{x} \\
&= \int \hat{\theta}(\mathbf{x}) l'(\mathbf{x},\theta) f(\mathbf{x},\theta) d \mathbf{x} \\
&= E[ \hat{\theta}(\mathbf{x}) l'(\mathbf{x},\theta) ] \quad (4)
\end{align}
$$
上記の計算は微分と積分の順序の交換を行っても良い前提で行った。

ここで前節の(3)式の$E[l'(\mathbf{x},\theta)]=0$より(4)式の右辺は下記のように変形できる。
$$
\large
\begin{align}
E[ \hat{\theta}(\mathbf{x}) l'(\mathbf{x},\theta) ] &= E[ \hat{\theta}(\mathbf{x}) l'(\mathbf{x},\theta) ] – \theta E[l'(\mathbf{x},\theta)] \\
&= E[ \hat{\theta}(\mathbf{x}) l'(\mathbf{x},\theta) ] – E[\theta l'(\mathbf{x},\theta)] \\
&= E[ (\hat{\theta}(\mathbf{x}) – \theta) (l'(\mathbf{x},\theta)-0) ] \\
&= Cov(\hat{\theta}, l'(\mathbf{x},\theta)) \quad (5)
\end{align}
$$

(5)式に対し、相関係数の絶対値が1を超えないことを元に考えると下記が成立する。
$$
\large
\begin{align}
\frac{ Cov(\hat{\theta}, l'(\mathbf{x},\theta))^2 }{ V[\hat{\theta}] V[l'(\mathbf{x},\theta)] } &\leq 1 \\
Cov(\hat{\theta}, l'(\mathbf{x},\theta))^2 &\leq V[\hat{\theta}] V[l'(\mathbf{x},\theta)] \\
&= V[\hat{\theta}] E[l'(\mathbf{x},\theta)^2] \\
&= V[\hat{\theta}] I_{n}(\theta) \quad (6)
\end{align}
$$

(6)式において(4)式と(5)式より、$Cov(\hat{\theta}, l'(\mathbf{x},\theta))^2=1$が成立するので、下記が導出できる。
$$
\large
\begin{align}
1 \leq V[\hat{\theta}] I_{n}(\theta)
\end{align}
$$
上記の両辺を$I_{n}(\theta)$で割ることにより、下記のクラメル・ラオの不等式が導出できる。
$$
\large
\begin{align}
\frac{1}{I_{n}(\theta)} \leq V[\hat{\theta}]
\end{align}
$$

クラメル・ラオの不等式とUMVU

前項で導出したクラメル・ラオの式を元に考えることで、下記の「UMVU estimatorの十分条件」を考えることができる。

不偏推定量$\hat{\theta}^{*}$に対し、下記が成立すれば$\hat{\theta}^{*}$は一様最小分散不偏推定量(UMVU estimator)である。
$$
\large
\begin{align}
V[\hat{\theta}^{*}] = \frac{1}{I_n(\theta)}, \quad {}^{\forall} \theta
\end{align}
$$

「クラメル・ラオの不等式を用いた一様最小分散不偏推定量(UMVU estimator)の判定」への1件の返信

コメントは受け付けていません。