推測統計においては標本の関数を統計量(statistic)と呼ぶが、この統計量の分布が標本分布(sampling distribution)である。標本分布の具体例は、$\chi^2$分布、$t$分布、$F$分布などが具体的に挙げられるが、どれも正規分布などに基づいて変数変換を行うことで導出できる。
当記事では統計量と標本分布について簡単に確認した後に、$\chi^2$分布、$t$分布、$F$分布などの具体的な導出を行う。作成にあたっては「現代数理統計学（学術図書出版社）」の$4.2$節の「統計量と標本分布」や$4.3$節の「正規分布のもとでの標本分布論」を参考に、作成を行った。

基本事項の確認

統計量

推測統計において母集団から抽出された標本を$X_1,X_2,X_3,…,X_n$に基づいて統計処理を行うと考えるとき、標本をそのまま用いるというよりも「標本平均」や「標本分散/不偏標本分散」を計算するなど、何らかの処理を行った指標を用いることが多い。

このとき標本の関数を統計量(statistic)といい、下記のように定義する。
$$
\large
\begin{align}
T(\mathbf{X})=T(X_1,X_2,X_3,…,X_n)
\end{align}
$$
標本平均$\bar{X}$や標本分散$S^2$などは、上記の統計量の定義に基づき下記のように定義できるので、統計量であるといえる。
$$
\large
\begin{align}
\bar{X} &= \frac{1}{n} (X_1+X_2+…+X_n) \\
&= T_1(X_1,X_2,X_3,…,X_n) \\
S^2 &= \frac{1}{n} \sum_{i=1}^{n} (X_i – \bar{X})^2 \\
&= T_2(X_1,X_2,X_3,…,X_n)
\end{align}
$$

また、k個の統計量を同時に考え$\mathbf{T}$とまとめるとき、$\mathbf{T} = (T_1,T_2,…,T_k)$をk次元統計量(k-dimensional statistic)という。
たとえば前述の$\bar{X}, S^2$を$\mathbf{T} = (T_1, T_2) = (\bar{X}, S^2)$のように2次元統計量の表記で表すことができる。統計量と聞くと抽象的な印象を受けるかもしれないが、とにかく「標本の関数である」とだけ注意して抑えておくと良いと思われる。

標本分布

統計量の分布を考える際に「標本分布(sampling distribution)」と表すことが多い。数学的には確率変数に対応する確率分布と、統計量に対応する標本分布は同じ概念であり区別する必要はないが、母集団と標本という統計的な概念を強調するにあたって、「標本分布」という表現は用いられる。
ここで標本や統計量が確率変数であることは、標本抽出(sampling)が無作為かつ確率的に行われることに基づくことも抑えておくと良い。

さて、統計量を具体的に考えるなら前項の$\mathbf{T} = (T_1, T_2) = (\bar{X}, S^2)$を例に考えるのがわかりやすい。
ここで$T_1=\bar{X}$は正規分布に従い、$\displaystyle s^2 = \frac{n}{n-1}T_2 = \frac{n}{n-1}S^2$は$\chi^2$分布に従うなど、「統計量の従う標本分布」を考える際は具体的には正規分布、t分布、$\chi^2$分布、$F$分布を例に考えると良い。

変数変換

https://www.hello-statisticians.com/explain-terms-cat/transformation1.html
https://www.hello-statisticians.com/explain-terms-cat/gaussian_integral1.html
https://www.hello-statisticians.com/explain-terms-cat/beta_distribution1.html
変数変換については詳しくは上記などで取り扱ったが、下記の式などを抑えておくと良い。

・1次元の変数変換
$$
\large
\begin{align}
g(y) &= f(\phi^{-1}(y)) \left| \frac{d \phi^{-1}(y)}{d y} \right|
\end{align}
$$

・2次元の変数変換
$$
\large
\begin{align}
g(y_1,y_2) &= f(\phi_1^{-1}(y_1,y_2), \phi_2^{-1}(y_1,y_2)) \left| \begin{array}{cc} \frac{\partial \phi_1^{-1}(y_1,y_2)}{\partial y_1} & \frac{\partial \phi_1^{-1}(y_1,y_2)}{\partial y_2} \\ \frac{\partial \phi_2^{-1}(y_1,y_2)}{\partial y_1} & \frac{\partial \phi_2^{-1}(y_1,y_2)}{\partial y_2} \end{array} \right|
\end{align}
$$

具体的な標本分布の導出

$\chi^2$分布

$X_1, X_2, …, X_n \sim N(0,1) \quad i.i.d.,$に関して、$Y=X_1^2+…+X_n^2$のようにおくと、$Y$は自由度$n$の$\chi^2$分布に従う。このことは$Y = X_1^2+…+X_n^2 \sim \chi^2(n)$のように表すことができる。

上記に関して、「確率密度関数の導出」と「標本分散の標本分布が$\chi^2$分布で表されることの導出」を以下で取り扱う。

モーメント母関数を用いた$\chi^2$分布の確率密度関数の導出

下記の議論より、$Y=X_1^2+…+X_n^2$のモーメント母関数は$\displaystyle Ga \left( \frac{n}{2}, 2 \right)$のモーメント母関数に一致するので、自由度$\nu$の$\chi^2$分布$\chi^2(\nu)$は$\displaystyle Ga \left( \frac{n}{2}, 2 \right)$に一致する
https://www.hello-statisticians.com/explain-books-cat/math_stat_practice_ch4.html#41

・参考
ガンマ分布$Ga(\nu,\alpha)$のモーメント母関数$m_{ga}(t)$は下記のように表すことができる。
$$
\large
\begin{align}
m_{ga}(t) &= (1 – t \alpha)^{-\nu}
\end{align}
$$

また、ここで表される$\displaystyle Ga \left( \frac{n}{2}, 2 \right)$のモーメント母関数は下記のように表される。
$$
\large
\begin{align}
m_{Ga \left( \frac{n}{2}, 2 \right)}(t) = E[e^{tY}] = (1-2t)^{-\frac{n}{2}}
\end{align}
$$

たたみこみを用いた$\chi^2$分布の確率密度関数の導出

$Y=X_1^2+…+X_n^2$を考えるにあたって$n=1, Y=X_1^2$のときを考える。確率変数$X_1$は標準正規分布に従うことから、確率密度関数を$f(x_1)$と定義すると、$f(x_1)$は下記のように表すことができる。
$$
\large
\begin{align}
f(x_1) = \frac{1}{\sqrt{2 \pi}} e^{-\frac{x_1^2}{2}}
\end{align}
$$

上記に対して$y = x_1^2$を元に変数変換を行うことを考える。「$Y \leq y \iff \sqrt{y} \leq X_1 \leq \sqrt{y}$」より、$P(Y \leq y)$に関して下記が成立する。
$$
\large
\begin{align}
P(Y \leq y) &= P(\sqrt{y} \leq X_1 \leq \sqrt{y}) \\
&= \int_{-\sqrt{y}}^{\sqrt{y}} f(x_1) dx_1 \\
&= \int_{0}^{\sqrt{y}} 2f(x_1) dx_1
\end{align}
$$
上記では標準正規分布$f(x_1)$が$x_1=0$を中心に線対称であることを用いた。

ここで、$y$に関する確率密度関数を$g(y)$とおくと、下記が成立する。
$$
\large
\begin{align}
g(y) &= 2f(x_1) \left| \frac{dx_1}{dy} \right| \\
&= 2f(\sqrt{y}) \left| \frac{dx_1}{dy} \right| \\
&= 2 \times \frac{1}{\sqrt{2 \pi}} e^{-\frac{\sqrt{y}^2}{2}} \times \frac{d}{dy} \sqrt{y} \\
&= 2 \times \frac{1}{\sqrt{2 \pi}} e^{-\frac{y}{2}} \times \frac{1}{2 \sqrt{y}} \\
&= \frac{1}{\sqrt{2 \pi}} e^{-\frac{y}{2}} \times \frac{1}{\sqrt{y}} \\
&= \frac{1}{\sqrt{2 \pi}} y^{\frac{1}{2}-1} e^{-\frac{y}{2}}
\end{align}
$$
上記の$y$に着目すると、上記がガンマ分布$\displaystyle Ga \left( \frac{1}{2}, 2 \right)$の確率密度関数であることがわかる。

さらにここでガンマ分布に関するたたみこみを活用することで、$Y=X_1^2+…+X_n^2$の確率密度関数がガンマ分布$\displaystyle Ga \left( \frac{n}{2}, 2 \right)$に一致することがわかる。

・考察
変数変換を行うにあたって定積分の式が出てきたが、これは下記で取り扱ったように「変数変換の式」が元々は定積分の保存にあたって導出されたと考えると分かりやすいと思われる。
https://www.hello-statisticians.com/practice/stat_practice15.html#i-2

標本分散と$\chi^2$分布

$n$個の標本$\displaystyle \mathbf{X} = \left( \begin{array}{c} X_1 \\ X_2 \\ \vdots \\ X_n \end{array} \right)$に関して、標本平均$\bar{X}$と標本分散$S^2$を一般的な定義に基づいて下記のように考える。
$$
\large
\begin{align}
\bar{X} &= \frac{1}{n} \sum_{i=1}^{n} X_i \\
S^2 &= \frac{1}{n} \sum_{i=1}^{n} (X_i-\bar{X})^2
\end{align}
$$
このとき、「①標本平均$\bar{X}$と標本分散$S^2$が互いに独立」と「②$\displaystyle \frac{ns^2}{\sigma^2}$が自由度$n-1$の$\chi^2$分布$\chi^2(n-1)$に従う」の2つが成立する。

以下、①と②の証明について確認する。$X_i$の代わりに$\displaystyle Z_i = \frac{X_i-\mu}{\sigma}$について示し、$X_i$も成立すると示すことができるため、ここでは${X_i}$に関して$\mu=0, \sigma^2=1$が成立するとおいて議論を行う。

ここで$n$次元の単位行列を$\mathbf{I}_n$とするとき、$n$個の標本$\displaystyle \mathbf{X} = \left( \begin{array}{c} X_1 \\ X_2 \\ … \\ X_n \end{array} \right)$が独立同分布に従うことにより、$\mathbf{X} \sim N(\mathbf{0},\mathbf{I}_n)$が成立すると考えられる。

次に$\mathbf{X}$にHelmert変換を表す行列$\mathbf{G}$をかけ、$\mathbf{Y}=\mathbf{G}\mathbf{X}$を計算することを考える。Helmert変換に関しては下記に詳しくまとめたので、詳細はここでは省略する。
https://www.hello-statisticians.com/explain-terms-cat/helmert1.html

Helmert変換を表す行列$\mathbf{G}$は直交行列であるため、逆変換に関して$\mathbf{X}=\mathbf{G}^{\mathrm{T}}\mathbf{Y}$や、ヤコビアンに関して$|\det \mathbf{G}| = |\det \mathbf{G}^{\mathrm{T}}| = 1$が成立する。

ここで$\mathbf{G}$が直交行列であることにより、下記が成立する。
$$
\large
\begin{align}
\sum_{i=1}^{n} X_i^2 &= \mathbf{X}^{\mathrm{T}} \mathbf{X} \\
&= \mathbf{X}^{\mathrm{T}} \mathbf{G}^{\mathrm{T}} \mathbf{G} \mathbf{X} \\
&= (\mathbf{G}\mathbf{X})^{\mathrm{T}} \mathbf{G} \mathbf{X} \\
&= \mathbf{Y}^{\mathrm{T}} \mathbf{Y} \\
&= \sum_{i=1}^{n} Y_i^2
\end{align}
$$

このとき、$\mathbf{G}$の第1行の選び方により、$Y_1 = \sqrt{n}\bar{X}$が成立する。よって$nS^2$に関して下記が成立する。
$$
\large
\begin{align}
nS^2 &= \sum_{i=1}^{n} (X_i-\bar{X})^2 \\
&= \sum_{i=1}^{n} X_i^2 – n\bar{X}^2 \\
&= \sum_{i=1}^{n} Y_i^2 – Y_1 \\
&= \sum_{i=2}^{n} Y_i^2
\end{align}
$$

上記の議論などにより、①と②を示すことができる。

$t$分布

確率変数の$U$と$V$を互いに独立に定義し、$U \sim N(0,1)$と$V \sim \chi^2(m)$が成立するという前提をおき、下記のように$T$を考える。
$$
\large
\begin{align}
T = \frac{U}{\frac{V}{m}}
\end{align}
$$
上記のように定めた$T$の分布を自由度$m$の$t$分布と定義する。これに関連して、「$t$分布の確率密度関数の導出」と「$t$統計量の標本分布が$t$分布に従うこと」を以下で取り扱う。

$t$分布の確率密度関数

$U \sim N(0,1)$と$V \sim \chi^2(n)$より、$u, v$に関する同時確率密度関数$f(u,v)$は下記のように表される。
$$
\large
\begin{align}
f(u,v) &= f(u)f(v) \\
&= \frac{1}{\sqrt{2 \pi}} e^{-\frac{u^2}{2}} \times \frac{v^{\frac{m}{2}-1} e^{-\frac{v}{2}}}{2^{\frac{m}{2}} \Gamma \left( \frac{m}{2} \right)}
\end{align}
$$

ここで下記のように変数変換を行うことを考える。
$$
\large
\begin{align}
T &= \frac{U}{\sqrt{\frac{V}{m}}} \\
V &= V
\end{align}
$$
上記の逆変換は下記のようになる。
$$
\large
\begin{align}
U &= T \sqrt{\frac{V}{m}} \\
V &= V
\end{align}
$$

ここでヤコビ行列$\mathbf{J}$は下記のように計算できる。
$$
\large
\begin{align}
\mathbf{J} &= \left(\begin{array}{cc} \frac{\partial u}{\partial t} & \frac{\partial u}{\partial v} \\ \frac{\partial v}{\partial t} & \frac{\partial v}{\partial v} \end{array} \right) \\
&= \left(\begin{array}{cc} \sqrt{\frac{v}{m}} & \frac{t}{2}\sqrt{\frac{1}{mv}} \\ 0 & 1 \end{array} \right)
\end{align}
$$
上記を元にヤコビアン$|\det \mathbf{J}|$の計算を行う。
$$
\large
\begin{align}
|\det \mathbf{J}| &= \left| \sqrt{\frac{v}{m}} \cdot 1 – \frac{t}{2}\sqrt{\frac{1}{mv}} \cdot 0 \right| \\
&= \sqrt{\frac{v}{m}}
\end{align}
$$

ここで$t,v$に関する同時確率密度関数を$g(t,v)$とおくと、下記のように導出することができる。
$$
\large
\begin{align}
g(t,v) &= f(u,v) |\det \mathbf{J}| \\
&= f \left( t \sqrt{\frac{v}{m}} , v \right) |\det \mathbf{J}| \\
&= \frac{1}{\sqrt{2 \pi}} e^{-\frac{\left( t \sqrt{\frac{v}{m}} \right)^2}{2}} \times \frac{v^{\frac{m}{2}-1} e^{-\frac{v}{2}}}{2^{\frac{m}{2}} \Gamma \left( \frac{m}{2} \right)} \times \sqrt{\frac{v}{m}} \\
&= \frac{1}{\sqrt{2 \pi}} e^{-v\frac{t^2}{2m}} \times \frac{v^{\frac{m}{2}-1} e^{-\frac{v}{2}}}{2^{\frac{m}{2}} \Gamma \left( \frac{m}{2} \right)} \times \sqrt{\frac{v}{m}} \\
&= \frac{v^{\frac{m+1}{2}-1} e^{-v \left( 1 + \frac{t^2}{2m} \right)}}{2^{\frac{m}{2}} \Gamma \left( \frac{m}{2} \right) \sqrt{2 \pi m}} \quad (1)
\end{align}
$$

ここで(1)式の積分に対して、下記で表す(2)式を適用することを考える。
$$
\large
\begin{align}
\int_{0}^{\infty} v^{\frac{m+1}{2}-1} e^{-\frac{v(1+t^2/m)}{2}} dv = 2^{\frac{m+1}{2}} \Gamma \left( \frac{m+1}{2} \right) \left( 1 + \frac{t^2}{m} \right)^{-\frac{m+1}{2}} \quad (2)
\end{align}
$$
(2)式は下記で詳しく導出を行った。
https://www.hello-statisticians.com/explain-books-cat/math_stat_practice_ch4.html#44

$\displaystyle \int_{0}^{\infty} g(t,v) dv$に関して(2)式を適用することで、下記のような計算を行うことができる。
$$
\large
\begin{align}
\int_{0}^{\infty} g(t,v) dv &= \int_{0}^{\infty} \frac{v^{\frac{m+1}{2}-1} e^{-v \left( 1 + \frac{t^2}{2m} \right)}}{2^{\frac{m}{2}} \Gamma \left( \frac{m}{2} \right) \sqrt{2 \pi m}} dv \\
&= \frac{1}{2^{\frac{m}{2}} \Gamma \left( \frac{m}{2} \right) \sqrt{2 \pi m}}\int_{0}^{\infty} v^{\frac{m+1}{2}-1} e^{-\frac{v(1+t^2/m)}{2}} dv \\
&= \frac{1}{2^{\frac{m}{2}} \Gamma \left( \frac{m}{2} \right) \sqrt{2 \pi m}} \times 2^{\frac{m+1}{2}} \Gamma \left( \frac{m+1}{2} \right) \left( 1 + \frac{t^2}{m} \right)^{-\frac{m+1}{2}} \\
&= \frac{\Gamma \left( \frac{m+1}{2} \right)}{\sqrt{\pi m} \Gamma \left( \frac{m}{2} \right)} \left( 1 + \frac{t^2}{m} \right)^{-\frac{m+1}{2}}
\end{align}
$$
上記が自由度$m$の$t$分布$t(m)$の確率密度関数を表す。

$t$統計量と$t$分布

$X_1,X_2,…,X_n \sim N(\mu,\sigma^2), \quad i.i.d.,$の標本平均を$\bar{X}$、不偏標本分散を$s^2$のように表すとき、$t$統計量は下記のように定義される。
$$
\large
\begin{align}
T = \frac{\sqrt{n}(\bar{X}-\mu)}{s}
\end{align}
$$

上記のように定義した$T$は下記のように変形を行うことができる。
$$
\large
\begin{align}
T &= \frac{\sqrt{n}(\bar{X}-\mu)}{s} \\
&= \frac{\frac{(\bar{X}-\mu)}{1/\sqrt{n}}}{\sqrt{s^2}} \\
&= \frac{\frac{(\bar{X}-\mu)}{\sigma/\sqrt{n}}}{\sqrt{s^2/\sigma^2}}
\end{align}
$$

ここで$\displaystyle U=\frac{(\bar{X}-\mu)}{\sigma/\sqrt{n}}, V=\frac{(n-1)s^2}{\sigma^2}$のように定義すると、$\displaystyle \frac{(\bar{X}-\mu)}{\sigma/\sqrt{n}}=U, \frac{s^2}{\sigma^2}=\frac{V}{n-1}$より、(3)式は下記のように変形できる。
$$
\large
\begin{align}
T &= \frac{\frac{(\bar{X}-\mu)}{\sigma/\sqrt{n}}}{\sqrt{s^2/\sigma^2}} \\
&= \frac{U}{\sqrt{\frac{V}{n-1}}} \quad (3)’
\end{align}
$$

ここで$t$分布の定義より、$(3)’$式は自由度$n-1$の$t$分布$t(n-1)$を表す。ここまでの議論で、$t$統計量が$t$分布に従うことが確認できた。

$F$分布

確率変数の$U$と$V$を互いに独立に定義し、$U \sim \chi^2(l)$と$V \sim \chi^2(m)$が成立するという前提をおき、下記のように$Y$を考える。
$$
\large
\begin{align}
Y = \frac{U/l}{V/m}
\end{align}
$$
上記のように定めた$F$の分布を自由度$(l,m)$の$F$分布$F(l,m)$と定義する。これに関連して、「$F$分布の確率密度関数の導出」を以下で取り扱う。

$F$分布の確率密度関数

$F$分布の確率密度関数の導出にあたって、下記のように$\tilde{Y}, Z$を定義する。
$$
\large
\begin{align}
\tilde{Y} &= \frac{U}{V} \\
Z &= \frac{\tilde{Y}}{1+\tilde{Y}} \\
&= \frac{U/V}{1+U/V} \\
&= \frac{U}{U+V}
\end{align}
$$

ここで$U \sim Ga(l/2,2), V \sim Ga(m/2,2)$であるので、$Z \sim Be(l/2,m/2)$が成立する。よって$Z$の確率密度関数を$f_1(z)$とおくと、$f_1(z)$は下記のように表すことができる。
$$
\large
\begin{align}
f_1(z) = \frac{1}{B(l/2,m/2)} z^{\frac{l}{2}-1} (1-z)^{\frac{m}{2}-1}
\end{align}
$$
上記に対して、$\displaystyle Z = \frac{\tilde{Y}}{1+\tilde{Y}}$に基づいて変数変換を行う。ヤコビアンの$J$は下記のように計算できる。
$$
\large
\begin{align}
J &= \frac{d z}{d \tilde{y}} \\
&= \frac{d}{d \tilde{y}} \frac{\tilde{y}}{1+\tilde{y}} \\
&= \frac{1}{(1+\tilde{y})^2}
\end{align}
$$

よって、$\tilde{Y}$の確率密度関数を$f_2(\tilde{y})$とおくと、$f_2(\tilde{y})$は下記のように表すことができる。
$$
\large
\begin{align}
f_2(\tilde{y}) &= f(z) \times J \\
&= f \left( \frac{\tilde{y}}{1+\tilde{y}} \right) \times J \\
&= \frac{1}{B(l/2,m/2)} \left( \frac{\tilde{y}}{1+\tilde{y}} \right)^{\frac{l}{2}-1} \left( 1-\frac{\tilde{y}}{1+\tilde{y}} \right)^{\frac{m}{2}-1} \times \frac{1}{(1+\tilde{y})^2} \\
&= \frac{1}{B(l/2,m/2)} \left( \frac{\tilde{y}}{1+\tilde{y}} \right)^{\frac{l}{2}-1} \left( \frac{1}{1+\tilde{y}} \right)^{\frac{m}{2}-1} \times \frac{1}{(1+\tilde{y})^2} \\
&= \frac{1}{B(l/2,m/2)} \frac{\tilde{y}^{\frac{l}{2}-1}}{(1+\tilde{y})^{\frac{l+m}{2}}}
\end{align}
$$

上記に対し$\displaystyle \tilde{Y} = \frac{lY}{m}$を用いて変数変換を行う。変数$y$の確率密度関数を$f_3(y)$とおくと、$f_3(y)$は下記のように導出することができる。
$$
\large
\begin{align}
f_3(y) &= f_2(\tilde{y}) \times \left| \frac{d \tilde{y}}{dy} \right| \\
&= f_2 \left( \frac{ly}{m} \right) \times \frac{l}{m} \\
&= \frac{1}{B(l/2,m/2)} \frac{\left( \frac{ly}{m} \right)^{\frac{l}{2}-1}}{\left( 1 + \frac{ly}{m} \right)^{\frac{l+m}{2}}} \times \frac{l}{m} \\
&= \frac{l^{\frac{l}{2}} m^{\frac{m}{2}}}{B(l/2,m/2)} \frac{y^{\frac{m}{2}-1}}{(1+ly)^{\frac{l+m}{2}}}
\end{align}
$$
上記が自由度$(l,m)$の$F$分布$F(l,m)$の確率密度関数である。