指数型分布族における一様最強力不偏検定(UMPU test)とその図形的解釈

当記事では指数型分布族の式に関して一様最強力不偏検定(Uniformly Most Powerful Unbiased test)に関する補題を適用し、凸関数と直線の比較により両側検定の導出の解釈を行った。「現代数理統計学」の8章の「検定論」を参考に作成を行った。

一様最強力不偏検定に関する補題

一様最強力検定と片側検定

下記で取り扱った。
https://www.hello-statisticians.com/explain-terms-cat/most_powerful_test1.html

一様最強力不偏検定に関する補題

以下、「現代数理統計学」の補題8.5の確認を行う。

・現代数理統計学の補題8.5より一部改変
$$
\large
\begin{align}
H_0 &: \quad \theta = \theta_0 \\
H_1 &: \quad \theta \neq \theta_0
\end{align}
$$
上記のような検定を考える際に、$\beta_{\delta^{*}}(\theta_0)=\alpha,\beta_{\delta^{*}}'(\theta_0)=0$が成立すると仮定する。
ここで$\theta_1 \neq \theta_0$となる$\theta_1$を任意に固定したとき、$\delta^{*}$がある$c_1, c_2$を用いて下記の形式で表されれば$\delta^{*}$は不偏検定である。
$$
\large
\begin{align}
\delta^{*}(x) &= 1, \quad if \quad f(x,\theta_1) – c_1f(x,\theta_0) – c_2 \frac{\partial}{\partial \theta}f(x,\theta_0) > 0 \\
&= r(x), \quad if \quad f(x,\theta_1) – c_1f(x,\theta_0) – c_2 \frac{\partial}{\partial \theta}f(x,\theta_0) = 0 \\
&= 0, \quad if \quad f(x,\theta_1) – c_1f(x,\theta_0) – c_2 \frac{\partial}{\partial \theta}f(x,\theta_0) < 0 \quad (1.1)
\end{align}
$$

ここで任意の$\theta_1 \neq \theta_0$に関して$c_1=c_1(\theta_1),c_2=c_2(\theta_1)$を適当に選んだ際に$\delta^{*}$が$(1.1)$式の形で表されるならば$\delta^{*}$は一様最強力不偏検定である。

$(1.1)$式に関して以降で考えるにあたって、式の共通部分を$g(x,\theta_0,\theta_1)$と定義する。$g(x,\theta_0,\theta_1)$は下記のように表すことができる。
$$
\large
\begin{align}
g(x,\theta_0,\theta_1) = f(x,\theta_1) – c_1f(x,\theta_0) – c_2 \frac{\partial}{\partial \theta}f(x,\theta_0) \quad (1.2)
\end{align}
$$

指数型分布族における一様最強力不偏検定

指数型分布族の式の確認

変数$x$、自然パラメータ$\psi$の指数型分布族の確率関数・確率密度関数を$f(x,\psi)$とおくと、$f(x,\psi)$は下記のように表すことができる。
$$
\large
\begin{align}
f(x,\psi) = h(x) \exp \left\{ \psi T(x) – c(\psi) \right\}
\end{align}
$$

このとき、尤度比$\displaystyle \frac{f(x,\psi)}{f(x,\psi_0)}$は下記のように計算することができる。
$$
\large
\begin{align}
\frac{f(x,\psi)}{f(x,\psi_0)} &= \frac{h(x) \exp \left\{ \psi T(x) – c(\psi) \right\}}{h(x) \exp \left\{ \psi_0 T(x) – c(\psi_0) \right\}} \\
&= \exp \left\{ (\psi – \psi_0) T(x) – (c(\psi) – c(\psi_0)) \right\} \quad (2.1)
\end{align}
$$

上記の$(2.1)$式の両辺に$f(x,\psi_0)$をかけることで、下記で表すような「現代数理統計学」の$(8.56)$式を導出することができる。
$$
\large
\begin{align}
f(x,\psi) = \exp \left\{ (\psi – \psi_0) T(x) – (c(\psi) – c(\psi_0)) \right\} f(x,\psi_0) \quad (2.2)
\end{align}
$$

指数型分布族の微分

前項で取り扱った指数型分布族の確率関数・確率密度関数の$f(x,\psi)$に対して自然パラメータの$\psi$に関して微分を行うと、下記のように計算を行うことができる。
$$
\large
\begin{align}
\frac{\partial}{\partial \psi} f(x,\psi) &= \frac{\partial}{\partial \psi} \left\{ h(x) \exp \left\{ \psi T(x) – c(\psi) \right\} \right\} \\
&= h(x) \exp \left\{ \psi T(x) – c(\psi) \right\} \times \frac{\partial}{\partial \psi} (\psi T(x) – c(\psi)) \\
&= (T(x) – c'(\psi)) f(x,\psi) \quad (2.3)
\end{align}
$$

補題への確率関数の適用

$(1.1),(1.2)$式に対して、$(2.2)$式や$(2.3)$式を元に指数型分布族に関する計算を反映させることを考える。$\theta$と$\psi$が違うとわかりにくいので、$(1.1),(1.2)$式を$\psi$を用いた表記に書き直す。
$$
\large
\begin{align}
\delta^{*}(x) &= 1, \quad if \quad f(x,\psi_1) – c_1f(x,\psi_0) – c_2 \frac{\partial}{\partial \theta}f(x,\psi_0) > 0 \\
&= r(x), \quad if \quad f(x,\psi_1) – c_1f(x,\psi_0) – c_2 \frac{\partial}{\partial \psi}f(x,\psi_0) = 0 \\
&= 0, \quad if \quad f(x,\psi_1) – c_1f(x,\psi_0) – c_2 \frac{\partial}{\partial \theta}f(x,\psi_0) < 0 \quad (1.1)’
\end{align}
$$
$$
\large
\begin{align}
g(x,\psi_0,\psi_1) = f(x,\psi_1) – c_1f(x,\psi_0) – c_2 \frac{\partial}{\partial \psi}f(x,\psi_0) \quad (1.2)’
\end{align}
$$

また、$(2.2)$式を元に$f(x,\psi_1)$を、$(2.3)$式を元に$\displaystyle \frac{\partial}{\partial \psi}f(x,\psi_0)$を考えると下記のように導出できる。
$$
\large
\begin{align}
f(x,\psi_1) = \exp \left\{ (\psi_1 – \psi_0) T(x) – (c(\psi_1) – c(\psi_0)) \right\} f(x,\psi_0) \quad (2.4)
\end{align}
$$
$$
\large
\begin{align}
\frac{\partial}{\partial \psi} f(x,\psi_0) &= \frac{\partial}{\partial \psi} f(x,\psi) \Bigr|_{\psi=\psi_0} \\
&= (T(x) – c'(\psi_0)) f(x,\psi_0) \quad (2.5)
\end{align}
$$

$(1.2)’$式に$(2.4),(2.5)$式の代入を行う。
$$
\large
\begin{align}
g(x,\psi_0,\psi_1) &= f(x,\psi_1) – c_1f(x,\psi_0) – c_2 \frac{\partial}{\partial \psi}f(x,\psi_0) \\
&= \exp \left\{ (\psi_1 – \psi_0) T(x) – (c(\psi_1) – c(\psi_0)) \right\} f(x,\psi_0) – c_1f(x,\psi_0) – c_2 (T(x) – c'(\psi_0)) f(x,\psi_0) \\
&= \left[ \exp \left\{ (\psi_1 – \psi_0) T(x) – (c(\psi_1) – c(\psi_0)) \right\} – c_1 – c_2 (T(x) – c'(\psi_0)) \right] f(x,\psi_0) \quad (2.6)
\end{align}
$$

$(2.6)$式を元に$(1.1)’$式の1番目の式の$g(x,\psi_0,\psi_1)>0$について考える。
$$
\large
\begin{align}
g(x,\psi_0,\psi_1) &> 0 \\
\left[ \exp \left\{ (\psi_1 – \psi_0) T(x) – (c(\psi_1) – c(\psi_0)) \right\} – c_1 – c_2 (T(x) – c'(\psi_0)) \right] f(x,\psi_0) &> 0 \\
\exp \left\{ (\psi_1 – \psi_0) T(x) – (c(\psi_1) – c(\psi_0)) \right\} – c_1 – c_2 (T(x) – c'(\psi_0)) &> 0 \\
\exp \left\{ (\psi_1 – \psi_0) T(x) – (c(\psi_1) – c(\psi_0)) \right\} &> c_1 + c_2 (T(x) – c'(\psi_0)) \\
\exp \left\{ (\psi_1 – \psi_0) T(x) \right\} &> (c_1 + c_2 (T(x) – c'(\psi_0))) \exp \left\{ c(\psi_1) – c(\psi_0) \right\} \\
\exp \left\{ (\psi_1 – \psi_0) T(x) \right\} &> ((c_1- c'(\psi_0)) + c_2 T(x)) \exp \left\{ c(\psi_1) – c(\psi_0) \right\} \quad (2.7)
\end{align}
$$

ここで上記に対し、$\tilde{c}_1=(c_1- c'(\psi_0))\exp \left\{ c(\psi_1) – c(\psi_0) \right\}, \tilde{c}_2=c_2 T(x) \exp \left\{ c(\psi_1) – c(\psi_0) \right\}$のように置き直すことを考える。このとき$(2.7)$式は下記のように変形できる。
$$
\large
\begin{align}
\exp \left\{ (\psi_1 – \psi_0) T(x) \right\} &> ((c_1- c'(\psi_0)) + c_2 T(x)) \exp \left\{ c(\psi_1) – c(\psi_0) \right\} \\
\exp \left\{ (\psi_1 – \psi_0) T(x) \right\} &> \tilde{c}_1 + \tilde{c}_2 T(x) \quad (2.8)
\end{align}
$$

図形的解釈

前項で導出を行なった$(2.8)$式に関して図形的解釈を行う。
$$
\large
\begin{align}
\exp \left\{ (\psi_1 – \psi_0) T(x) \right\} > \tilde{c}_1 + \tilde{c}_2 T(x) \quad (2.8)
\end{align}
$$

$T(x)$を変数、左辺と右辺をそれぞれ関数と見るとき、上記の左辺は$T(x)$に関する指数関数、右辺は$T(x)$に関する一次関数である。

このとき$(2.8)$式の図形的解釈は、「左辺の指数関数が右辺の一次関数を上回る$T(x)$の範囲を表す式」と考えることができる。ここまでで$\psi_0, \psi_1$の大小関係は考えていないが、$\psi_1 – \psi_0 > 0, \psi_1 – \psi_0 < 0$のどちらの場合も「指数関数と一次関数の形状の比較から、両端で指数関数の方が大きくなり、中心で一次関数の方が大きくなるような解しか持ち得ない」ことがわかる。

よって、$\exp \left\{ (\psi_1 – \psi_0) T(x) \right\} > \tilde{c}_1 + \tilde{c}_2 T(x) = 0$が解を持つように$\tilde{c}_1, \tilde{c}_2$を設定する場合、$(2.8)$式の$T(x)$の解は$T(x)<a, b<T(x)$という形式になる。この形式を元に両側検定を導出することができる。

両側検定

前項の導出を元に、下記のような両側検定を考えることができる。
$$
\large
\begin{align}
T(x) > a, b < T(x) \implies reject
\end{align}
$$
上記は下記のように表す一様最強力不偏検定$\delta$に対応する。
$$
\large
\begin{align}
\beta(\phi_0)=\alpha, \beta'(\phi_0)=0
\end{align}
$$
$$
\large
\begin{align}
\delta(x) &= 1, \quad if \quad T(x)<a,b<T(x) \\
&= 0, \quad if \quad a<T(x)<b \\
&= r_a \quad if \quad T(x)=a \\
&= r_b \quad if \quad T(x)=b
\end{align}
$$
具体例がある方がわかりやすければ、下記で解答をまとめた「現代数理統計学」の章末課題の$8.9$で二項分布について取り扱われているので、合わせて確認すると良いと思われる。
https://www.hello-statisticians.com/explain-books-cat/math_stat_practice_ch8.html#89