統計的決定理論(statistical decision theory)の用語と定義まとめ

統計的決定理論(statistical decision theory)」は推定・検定などの統計的推測を統一的に論じるにあたってワルドが導入した考え方である。統計的決定理論は抽象的な理論であるが、推定や検定に関する表記を行う際に役に立つので抑えておくとよい。
当記事では「統計的決定理論」に関する基本的な用語と定義をまとめた。作成にあたっては「現代数理統計学(学術図書出版社)」の第5章の「統計的決定理論の枠組み」を参考にした。

標本空間・決定空間

標本空間(sample space)」と「決定空間(decision space)」は「統計的決定」を取り扱う際の大枠の理解にあたって重要である。「空間」という用語を用いると難しそうに見えるが、「標本空間」が「入力」に、「決定空間」が「出力」にそれぞれ対応すると考えることで直感的に理解することができる。

標本$\mathbf{x} = (x_1, x_2, …, x_n)$について考える際に、標本空間$\mathscr{X}$は$n$次元のユークリッド空間となり、集合的な表記を用いて$\mathbf{x} \in \mathbb{R}^n$のように表す。$\mathbf{x} \in \mathbb{R}$は下記のようにも表すことができる。
$$
\large
\begin{align}
\mathbf{x} &= \left(\begin{array}{c} x_1 \\ … \\ x_n \end{array} \right) \\
x_1, x_2, &…, x_n \in \mathbb{R}
\end{align}
$$

次に、決定空間は決定$d$について取り扱う空間であり、ここでは「現代数理統計学(学術図書出版社)」の表記と同様に$D$を用いて定義する。ここで決定の$d$は問題ごとに異なることに注意が必要である。
たとえば「点推定」では、未知のパラメータ$\theta$の値をあてることを考える。このとき、パラメータ空間を$\Theta$と考えると、決定空間はパラメータ空間に一致するため$D = \Theta$が成立する。ここで定義上$d \in D$であるため、同時に$d \in \Theta$も成立する。
同様に「検定」を考えるにあたっては、仮説を「受容/棄却」のどちらかで考えるため、$D = \{$ 受容, 棄却 $\}$のように定義し、$d \in D$で決定空間を表すことができる。このように決定空間を定義できることは抑えておくと良い。

損失関数

損失関数(loss function)」は「統計的推測における問題」を「数学的な最適化」に帰着させるために重要な概念である。「点推定」を考える際は、損失関数は$L(\theta, d)$のようにパラメータ$\theta$、決定$d$の2つの変数の関数で表される。
また、損失関数は非負であると考え、$L(\theta, d) \geq 0$を前提にすることが多い。点推定では下記のような二乗誤差を損失関数に用いることが多い。
$$
\large
\begin{align}
L(\theta, d) = (\theta – d)^2
\end{align}
$$

二乗誤差以外にも$L(\theta, d) = |\theta – d|$のような絶対誤差を考えることも可能だが、数学的な取り扱いやすさなども考慮して二乗誤差が用いられることが多い。

決定関数・リスク関数

標本空間$\mathscr{X}$から決定空間$D$への関数を$\delta$とおくとき、$\delta$を「決定関数(decision function)」という。$\delta$を写像と見て表記をすると下記のようになり、この表記も抑えておくと良い。
$$
\large
\begin{align}
\delta : \quad \mathscr{X} \to D
\end{align}
$$

上記を決定$d$が観測値$\mathbf{x}$に基づく関数と考えるなら、下記のように表すことができる。
$$
\large
\begin{align}
d = \delta(\mathbf{x})
\end{align}
$$

ここまでは抽象的な表記を確認したが、たとえば正規分布の母平均$\mu$を標本平均$\bar{x}$で推定する場合には$\delta(\mathbf{x})$は下記のように表せる。
$$
\large
\begin{align}
\delta(\mathbf{x}) = \frac{1}{n} \sum_{i=1}^{n} x_i
\end{align}
$$

また、決定関数$\delta$に関連して、損失関数の期待値を「リスク関数(risk function)」と呼び、下記のように定義できることも抑えておくと良い。
$$
\large
\begin{align}
R(\theta,\delta) = E_{\theta}[L(\theta,d=\delta(\mathbf{x}))]
\end{align}
$$
上記において$E_{\theta}$はパラメータ$\theta$の確率分布$P_{\theta}$を表すと考えればよい。期待値には様々な表し方があるが、ここでは「現代数理統計学(学術図書出版社)」の第5章の「統計的決定理論の枠組み」の定義を用いた。

二乗誤差を用いた点推定の問題では、$R(\theta, \delta)$を下記のように定義する。
$$
\large
\begin{align}
R(\theta,\delta) = E_{\theta}[(\theta – \delta(\mathbf{x}))^2]
\end{align}
$$
上記の式を平均二乗誤差(MSE; Mean Square Error)ということも抑えておくと良い。

「統計的決定理論(statistical decision theory)の用語と定義まとめ」への2件のフィードバック

  1. […] 統計的決定理論の基本的な定義に関しては下記で取り扱った。https://www.hello-statisticians.com/explain-terms-cat/stat_decision1.html一方で、統計的決定理論は単体で取り扱うというよりも「推定論」や「検定論」と関連して抑える方が応用が見えてわかりやすい。https://www.hello-statisticians.com/explain-terms-cat/roc1.html上記では検定論の考え方に基づいてROC曲線やAUCの導出を行なったが、$0$-$1$損失関数のリスク関数の理解がやや難しいように思われた。 […]

コメントは受け付けていません。