t分布の確率密度関数の導出とt分布の自由度$\nu$と正規分布・コーシー分布の対応

$t$分布は分散未知の場合の母平均の区間推定や検定などで主に用いられる分布ですが、数理統計学では$t$確率密度関数の導出や$t$分布の自由度$\nu$と正規分布、コーシー分布の対応について学びます。当記事ではこれらの導出に関して複数の書籍の表記を元に取りまとめを行いました。

作成にあたっては主に「現代数理統計学」の$4$章と、「パターン認識と機械学習」の$2.3.7$節などを参照しました。

$t$分布の確率密度関数の導出

変数変換を用いた導出

「統計量と標本分布」の「$t$分布」で取り扱った結果に対し、$x=t,\nu=m$で置き換えることで下記のような確率密度関数$p(x|\nu)$が得られる。
$$
\large
\begin{align}
p(x|\nu) = \frac{\displaystyle \Gamma \left( \frac{\nu+1}{2} \right)}{\displaystyle \sqrt{\pi \nu} \Gamma \left( \frac{\nu}{2} \right)} \left( 1 + \frac{x^2}{\nu} \right)^{-\frac{\nu+1}{2}} \quad (1)
\end{align}
$$

精度$\tau=1/\sigma^{2}$の事前分布を用いた導出

平均を表すパラメータを$\mu$、精度を表すパラメータを$\tau=1/\sigma^{2}$とおいたとき、正規分布$\mathcal{N}(\mu,\tau^{-1})$の確率密度関数$\mathcal{N}(x|\mu,\tau^{-1})$は下記のように表すことができる。
$$
\large
\begin{align}
\mathcal{N}(x|\mu,\tau^{-1}) = \left( \frac{\tau}{2 \pi} \right)^{\frac{1}{2}} \exp \left[ -\frac{\tau}{2}(x-\mu)^2 \right]
\end{align}
$$

上記の数式を$\tau=1/\sigma^{2}$とおくと、一般的な正規分布の確率密度関数が導出できるが、ここでは$\tau$に関して事前分布をガンマ分布$\mathrm{Ga}(\tau|a,b)$を定義し、同時確率密度関数を考えるにあたって$\sigma^2$ではなく$\tau$を用いる。

$x$と$\tau$に関する同時確率密度関数は$p(x,\tau)=p(x|\tau)p(\tau)$で得られることから、$p(x,\tau|\mu,a,b)$は下記のように表せる。
$$
\large
\begin{align}
p(x,\tau|\mu,a,b) &= \mathcal{N}(x|\mu,\tau^{-1}) \mathrm{Ga}(\tau|a,b) \\
&= \left( \frac{\tau}{2 \pi} \right)^{\frac{1}{2}} \exp \left[ -\frac{\tau}{2}(x-\mu)^2 \right] \times \frac{b^{a}}{\Gamma(a)} \tau^{a-1} \exp(- b \tau) \\
&= \frac{b^{a}}{\sqrt{2 \pi} \Gamma(a)} \tau^{a+\frac{1}{2}-1} \exp \left[ -\tau \left( b + \frac{1}{2}(x-\mu)^2 \right) \right]
\end{align}
$$

以下、上記を$\tau$に関して$0 \leq \tau \leq \infty$で積分を行い、積分消去し$p(x|\mu,a,b)$を得ることを考える。
$$
\large
\begin{align}
p(x,\tau|\mu,a,b) &= \int_{0}^{\infty} \mathcal{N}(x|\mu,\tau^{-1}) \mathrm{Ga}(\tau|a,b) d \tau \\
&= \frac{b^{a}}{\sqrt{2 \pi}} \int_{0}^{\infty} \tau^{a+\frac{1}{2}-1} \exp \left[ -\tau \left( b + \frac{1}{2}(x-\mu)^2 \right) \right] d \tau \\
&= \frac{b^{a}}{\sqrt{2 \pi} \Gamma(a)} \Gamma \left( a+\frac{1}{2} \right) \left(b + \frac{(x-\mu)^2}{2} \right)^{-a-\frac{1}{2}} \quad (2)
\end{align}
$$

ここで上記に対し、$\displaystyle \nu=2a,\lambda=\frac{a}{b}$のようにパラメータを定義する。$\displaystyle a=\frac{\nu}{2},b=\frac{\nu}{2 \lambda}$のように解けるので、この$a,b$を$(2)$式に代入を行う。
$$
\large
\begin{align}
p(x|\mu,a,b) &= \frac{b^{a}}{\Gamma(a) \sqrt{2 \pi}} \times \Gamma \left( a+\frac{1}{2} \right) \left[ b + \frac{(x-\mu)^2}{2} \right]^{-a-\frac{1}{2}} \quad (2) \\
&= \frac{\displaystyle \left( \frac{\nu}{2 \lambda} \right)^{\frac{\nu}{2}}}{\displaystyle \Gamma \left( \frac{\nu}{2} \right) \sqrt{2 \pi}} \times \Gamma \left( \frac{\nu+1}{2} \right) \left[ \frac{\nu}{2 \lambda} + \frac{(x-\mu)^2}{2} \right]^{-\frac{\nu+1}{2}} \\
&= \frac{\displaystyle \Gamma \left( \frac{\nu+1}{2} \right)}{\displaystyle \Gamma \left( \frac{\nu}{2} \right) \sqrt{2 \pi}} \times \left( \frac{\nu}{2 \lambda} \right)^{-\frac{1}{2}} \left( \frac{\nu}{2 \lambda} \right)^{\frac{\nu+1}{2}} \times \left[ \frac{\nu}{2 \lambda} + \frac{(x-\mu)^2}{2} \right]^{-\frac{\nu+1}{2}} \\
&= \frac{\displaystyle \Gamma \left( \frac{\nu+1}{2} \right)}{\displaystyle \Gamma \left( \frac{\nu}{2} \right) \sqrt{2 \pi}} \times \sqrt{ \frac{2 \lambda}{\nu} } \times \left[ \frac{2 \lambda}{\nu} \left( \frac{\nu}{2 \lambda} + \frac{(x-\mu)^2}{2} \right) \right]^{-\frac{\nu+1}{2}} \\
&= \frac{\displaystyle \Gamma \left( \frac{\nu+1}{2} \right)}{\displaystyle \Gamma \left( \frac{\nu}{2} \right)} \sqrt{ \frac{\lambda}{\pi \nu} } \times \left[ 1 + \frac{\lambda(x-\mu)^2}{\nu} \right]^{-\frac{\nu+1}{2}} \\
&= \mathrm{St}(x|\mu,\lambda,\nu)
\end{align}
$$

上記に対し、$\mu=0,\lambda=1$を代入すると下記が得られる。
$$
\large
\begin{align}
\mathrm{St}(x|\mu=0,\lambda=1,\nu) &= \frac{\displaystyle \Gamma \left( \frac{\nu+1}{2} \right)}{\displaystyle \Gamma \left( \frac{\nu}{2} \right)} \sqrt{ \frac{1}{\pi \nu} } \times \left[ 1 + \frac{1 \cdot (x-0)^2}{\nu} \right]^{-\frac{\nu+1}{2}} \\
&= \frac{\displaystyle \Gamma \left( \frac{\nu+1}{2} \right)}{\displaystyle \sqrt{\pi \nu} \Gamma \left( \frac{\nu}{2} \right)} \left( 1 + \frac{x^2}{\nu} \right)^{-\frac{\nu+1}{2}} \quad (1)
\end{align}
$$

上記の結果は前項の「変数変換を用いた導出」の$(1)$式に一致する。

・参考
パターン認識と機械学習 演習$2.46$

$t$分布の自由度の解釈

$\nu \to \infty$では正規分布に対応

「現代数理統計学 演習$4.5$」で詳しく取り扱った。

$\nu=1$ではコーシー分布に対応

$$
\large
\begin{align}
p(x|\nu) = \frac{\displaystyle \Gamma \left( \frac{\nu+1}{2} \right)}{\displaystyle \sqrt{\pi \nu} \Gamma \left( \frac{\nu}{2} \right)} \left( 1 + \frac{x^2}{\nu} \right)^{-\frac{\nu+1}{2}} \quad (1)
\end{align}
$$

上記に$\nu=1$を代入すると、$\displaystyle \Gamma(1)=1, \Gamma \left( \frac{1}{2} \right)=\sqrt{\pi}$より、下記が得られる。
$$
\large
\begin{align}
p(x|\nu=1) &= \frac{\displaystyle \Gamma \left( \frac{1+1}{2} \right)}{\displaystyle \sqrt{\pi \cdot 1} \Gamma \left( \frac{1}{2} \right)} \left( 1 + \frac{x^2}{1} \right)^{-\frac{1+1}{2}} \\
&= \frac{1}{\pi} (1+x^2)^{-1} = \frac{1}{\pi} \cdot \frac{1}{1+x^2}
\end{align}
$$

上記はコーシー分布の確率密度関数に一致する。