下記などで取り扱った、モーメント・モーメント母関数・モーメント法に関する問題演習を通した理解ができるように問題・解答・解説をそれぞれ作成しました。
・標準演習$100$選
https://www.hello-statisticians.com/practice_100
Contents
基本問題
モーメントの定義
・問題
統計学におけるモーメントは確率分布の形状を知る手がかりになるだけでなく、モーメント母関数やモーメント法について把握する上でも定義を抑えておくことは必須となる。一方で、モーメントの数式定義に関しては様々な量が定義されるため少々紛らわしい。
そのため以下では、モーメントの数式定義について一つ一つ確認を行うこととする。下記の問題にそれぞれ答えよ。
i) 確率変数$X$に関して、原点の周りの$n$次のモーメントを$\mu_{n}$と定義することとする。このとき$1$次のモーメント$\mu_{1}$が平均に一致するが、確率変数$X$を用いて$\mu_{1}$を表せ。
ⅱ) 原点の周りの$n$次のモーメントの$\mu_{n}$を確率変数$X$を用いて表せ。
ⅲ) $1$次のモーメントには平均のような原点を中心とするモーメントが用いられることが多いが、$2$次以降のモーメントは分散のように平均を中心とするモーメントが用いられることが多い。平均を中心とするモーメントを$\mu’_{n}$とする際、分散を表す$\mu’_{2}$を確率変数$X$と平均$\mu_{1}$を用いて表せ。
iv) 歪度、尖度のような$3$次以降のモーメントを考えるにあたって、$\mu’_{2}$を用いて標準化を行う場合が多い。$n$次の標準化モーメントを$\alpha_n$とおくとき、$\alpha_n$を確率変数$X$、平均$\mu_{1}$、分散$\mu’_{2}$を用いて表せ。
v) 歪度$\alpha_3$、尖度$\alpha_4$を確率変数$X$、平均$\mu_{1}$、分散$\mu’_{2}$を用いて表せ。
・解答
i)
平均を表す原点の周りの$1$次モーメント$\mu_{1}$は確率変数$X$を用いて下記のように表すことができる。
$$
\large
\begin{align}
\mu_{1} = E[X]
\end{align}
$$
ⅱ)
原点の周りの$n$次のモーメントの$\mu_{n}$は下記のように表すことができる。
$$
\large
\begin{align}
\mu_{n} = E[X^n]
\end{align}
$$
ⅲ)
分散を表す平均の周りの$2$次モーメント$\mu’_{2}$は確率変数$X$と平均$\mu_{1}$を用いて下記のように表すことができる。
$$
\large
\begin{align}
\mu’_{2} = E[(X-\mu_{1})^2]
\end{align}
$$
iv)
$n$次の標準化モーメント$\alpha_n$は確率変数$X$、平均$\mu_{1}$、分散$\mu’_{2}$を用いて下記のように表せる。
$$
\large
\begin{align}
\alpha_{n} = E \left[ \frac{(X-\mu_{1})^n}{\sqrt{\mu’_{2}}^n} \right]
\end{align}
$$
v)
iv)の式より、歪度$\alpha_3$、尖度$\alpha_4$は下記のように表せる。
$$
\large
\begin{align}
\alpha_{3} = E \left[ \frac{(X-\mu_{1})^3}{\sqrt{\mu’_{2}}^3} \right] \\
\alpha_{4} = E \left[ \frac{(X-\mu_{1})^4}{\sqrt{\mu’_{2}}^4} \right]
\end{align}
$$
・解説
どれもモーメントに関する数式定義の確認を取り扱いましたが、明示的に取り扱うことができると様々なトピックにおいて役に立つので抑えておくと良いと思います。
モーメント法
・問題
母集団分布が正規分布$N(\mu, \sigma^2)$に従う$n$個の標本$X_i$が得られたとする。このとき母集団の原点の周りの$1$次モーメント、$2$次モーメントを$\mu_1, \mu_2$と定義する。また、標本の平均は$\bar{X}$と表す。
このとき下記の問いに答えよ。
i) $\mu, \sigma^2$を$\mu_1, \mu_2$を用いて表せ。
ⅱ) $n$個の標本に基づく原点の周りの$1$次モーメント、$2$次モーメントをそれぞれ$\hat{\mu_1}, \hat{\mu_2}$とするとき、$\hat{\mu_1}, \hat{\mu_2}$を$X_i$と$\bar{X}$、$n$を用いて表せ。
ⅲ) $\mu_1=\hat{\mu_1}$、$\mu_2=\hat{\mu_2}$のように母集団のモーメントと標本のモーメントが等しいと考えるとき、$\mu, \sigma^2$を$X_i$と$\bar{X}$、$n$を用いて表せ。
・解答
i)
$\mu$は原点の周りの$1$次のモーメント、$\sigma^2$は平均の周りの$2$次のモーメントのため、それぞれ下記のように表すことができる。
$$
\large
\begin{align}
\mu &= \mu_1 \\
\sigma^2 &= \mu_2 – \mu_1^2
\end{align}
$$
上記は確率変数$X$に関して$V[X]=E[X^2]-E[X]^2$が成立することと対応付けて抑えておくとよい。
ⅱ)
$n$個の標本に基づく原点の周りの$1$次モーメント、$2$次モーメントはそれぞれ下記のように表すことができる。
$$
\large
\begin{align}
\hat{\mu_1} &= \sum_{i=1}^{n} X_i \\
\hat{\mu_2} &= \sum_{i=1}^{n} X_i^2
\end{align}
$$
ⅲ)
$\mu_1=\hat{\mu_1}$、$\mu_2=\hat{\mu_2}$とⅱの結果より、下記が成立する。
$$
\large
\begin{align}
\mu_1 &= \hat{\mu_1} \\
&= \frac{1}{n} \sum_{i=1}^{n} X_i \\
\mu_2 &= \hat{\mu_2} \\
&= \frac{1}{n} \sum_{i=1}^{n} X_i^2
\end{align}
$$
上記をi)の結果に代入すると下記のようになる。
$$
\large
\begin{align}
\mu &= \mu_1 \\
&= \frac{1}{n} \sum_{i=1}^{n} X_i \\
\sigma^2 &= \mu_2 – \mu_1^2 \\
&= \frac{1}{n} \sum_{i=1}^{n} X_i^2 – \left( \frac{1}{n} \sum_{i=1}^{n} X_i \right)^2
\end{align}
$$
・解説
モーメント法については難しく見える解説が多い印象ですが、ⅲ)で記載したような「母モーメント＝標本モーメント」がどこで仮定されるかについて着目すると理解しやすいと思います。
母集団のパラメータか標本から推定した値かは可能な限り区別して把握すると良いです。
発展問題
モーメント母関数の導出
・問題
関数$f(x)$に関するマクローリン展開は$n$次の微分を$f^{(n)}(x)$と表記するとき、下記のように表される。
$$
\begin{align}
f(x) &= \sum_{n=0}^{\infty} \frac{f^{(n)}(0)}{n!} x^n
\end{align}
$$
このとき下記の問題に答えよ。
i) $f(x) = e^{x}$のとき、$f'(x), f'(0)$を求めよ。
ⅱ) $f(x) = e^{x}$のとき、$f^{(n)}(x), f^{(n)}(x)$を求めよ。
ⅲ) $f(x) = e^{x}$をマクローリン展開せよ。
iv) ⅲ)式に$x=tX$を代入し、両辺の期待値を取ることで、モーメント母関数$m_{X}(t)$を導出せよ。
v) モーメント母関数を用いて、原点の周りの$n$次のモーメント$\mu_{n} = E[X^{n}]$を求める方法について説明せよ。
・解答
i)
指数関数の微分の公式より、$f'(x) = e^{x}$となる。またこのとき、$f'(0) = e^{0} = 1$である。
ⅱ)
$(e^{x})’=e^{x}$のため、$f^{(n)}(x)=e^{x}$となる。このとき、$f^{(n)}(0)=e^{0}=1$である。
ⅲ)
ⅱ)の結果より$f^{(n)}(0)=1$であるので、$f(x) = e^{x}$のマクローリン展開は下記のように表せる。
$$
\large
\begin{align}
e^{x} &= \sum_{n=0}^{\infty} \frac{f^{(n)}(0)}{n!} x^n \\
&= \sum_{n=0}^{\infty} \frac{x^n}{n!} \\
&= 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + …
\end{align}
$$
iv)
https://www.hello-statisticians.com/explain-terms-cat/moment1.html#i-5
上記を参考にすることで、下記のように導出することができる。
$$
\large
\begin{align}
e^x &= \sum_{n=0}^{\infty} \frac{x^n}{n!} \\
&= 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + … \\
e^{tX} &= 1 + tX + \frac{(tX)^2}{2!} + \frac{(tX)^3}{3!} + … \\
m_{X}(t) &= E[e^{tX}] \\
&= E[1] + E[tX] + E \left[ \frac{(tX)^2}{2!} \right] + E \left[ \frac{(tX)^3}{3!} \right] + … \\
&= 1 + tE[X] + t^2 \frac{E[X^2]}{2!} + t^3 \frac{E[X^3]}{3!} + …
\end{align}
$$
v)
iv)の導出結果より、モーメント母関数は下記のように表せる。
$$
\large
\begin{align}
m_{X}(t) = 1 + tE[X] + t^2 \frac{E[X^2]}{2!} + t^3 \frac{E[X^3]}{3!} + …
\end{align}
$$
上記に対してモーメント母関数の$n$階微分を$m^{(n)}_{X}(t)$とすると、$m^{(n)}_{X}(0)=E[X^n]$となる。よって、モーメント母関数の$n$階微分を計算することで、原点の周りの$n$次のモーメント$\mu_{n} = E[X^{n}]$を求めることが可能となる。
・解説
モーメント母関数は$e^x$のマクローリン展開を用いて導出できることは知っておくと良いです。確率分布のモーメント母関数は関数の級数展開と同様なものと把握しておくと、理解しやすいのではないかと思います。
ベルヌーイ分布・二項分布のモーメント母関数
・問題
確率分布の確率変数$X$に対応するモーメント母関数は下記のように定義される。
$$
\begin{align}
m_{X}(t) = E[e^{tX}] \quad (1)
\end{align}
$$
以下では上記の具体的な例を確認するにあたって、ベルヌーイ分布・二項分布のモーメント母関数について確認する。また、二項分布$Bin(n,p)$の確率分布$P(x=k|n,p)$は下記のように表される。
$$
\begin{align}
P(x=k|n,p) = {}_n C_k p^{k} (1-p)^{n-k} \quad (2)
\end{align}
$$
下記の問題に答えよ。
i) ある事象が起こる確率を$p$、起こらない確率を$1-p$とするとき、これはベルヌーイ分布$Bin(1,p)$に従う。ベルヌーイ分布のモーメント母関数を求めよ。
ⅱ) 確率$p$のベルヌーイ分布に基づく試行はベルヌーイ試行とされる。ここで$i$回目のベルヌーイ試行に関する確率変数を$X_i$と表すと考えるとき、二項分布の確率変数は$\displaystyle Y = \sum_{i=1}^{n}X_i$のように表せることを説明せよ。
ⅲ) $(1)$式とi)、ⅱ)を活用することで、二項分布のモーメント母関数$m_{Y}(t)$を導出せよ。
iv) $m_{Y}(t)$を$t$について微分を行い、$m_{Y}'(t), m_{Y}^{”}(t)$を計算せよ。
v) iv)の結果を活用して、$E[X]=m_{Y}'(0), V[X]=m_{Y}^{”}(0)-m_{Y}'(0)^2$を計算せよ。
・解答
i)
確率変数$X \sim Bin(1,p)$を考えるとき、確率変数$X$は確率$p$で$X=1$、確率$1-p$で$X=0$を値に持つ。これに対し、$(1)$式を適用することでモーメント母関数$m_{X}(t)$を計算することができる。
$$
\large
\begin{align}
m_{X}(t) &= E[e^{tX}] \\
&= e^{t \times 1} P(X=1) + e^{t \times 0} P(X=0) \\
&= p e^{t} + 1 – p
\end{align}
$$
ⅱ)
二項分布$Bin(n,p)$の確率変数$X$は確率$p$のベルヌーイ試行を$n$回行なった際の確率$p$の事象が起こった回数と考えることができる。よって、$i$回目のベルヌーイ試行に対応するベルヌーイ分布の確率変数を$X_i$のようにおくことで、$\displaystyle Y = \sum_{i=1}^{n} X_i$のように表すことができる。
ⅲ)
二項分布のモーメント母関数$m_{Y}(t)$は、$\displaystyle Y = \sum_{i=1}^{n} X_i$を用いることで下記のように導出できる。
$$
\large
\begin{align}
m_{Y}(t) &= E[e^{tY}] \\
&= E[e^{t(X_1+X_2+…+X_n)}] \\
&= E[e^{tX_1}] \times E[e^{tX_2}] \times … \times E[e^{tX_n}] \\
&= (p e^{t} + 1 – p) \times (p e^{t} + 1 – p) \times … \times (p e^{t} + 1 – p) \\
&= (p e^{t} + 1 – p)^n
\end{align}
$$
iv)
$m_{Y}'(t), m_{Y}^{”}(t)$は下記のように計算できる。
$$
\large
\begin{align}
m_{Y}'(t) &= \frac{d}{dt} \left( (p e^{t} + 1 – p)^n \right) \\
&= n(p e^{t} + 1 – p)^{n-1} \times p e^{t} \\
&= np e^{t} (p e^{t} + 1 – p)^{n-1}
\end{align}
$$
$$
\large
\begin{align}
m_{Y}^{”}(t) &= \frac{d}{dt} \left( np e^{t} (p e^{t} + 1 – p)^{n-1} \right) \\
&= n(n-1)p^2 e^{2t} (p e^{t} + 1 – p)^{n-2} + np e^{t} (p e^{t} + 1 – p)^{n-1} \\
\end{align}
$$
v)
$m_{Y}'(0), m_{Y}^{”}(0)$は下記のように計算できる。
$$
\large
\begin{align}
m_{Y}'(0) &= np e^{0} (p e^{0} + 1 – p)^{n-1} \\
&= np (p + 1 – p)^{n-1} \\
&= np
\end{align}
$$
$$
\large
\begin{align}
m_{Y}^{”}(0) &= n(n-1)p^2 e^{2 \times 0} (p e^{0} + 1 – p)^{n-2} + np e^{0} (p e^{0} + 1 – p)^{n-1} \\
&= n(n-1)p^2 + np
\end{align}
$$
よって、$E[X]=m_{Y}'(0), V[X]=m_{Y}^{”}(0)-m_{Y}'(0)^2$は下記のように計算することができる。
$$
\large
\begin{align}
E[X &= m_{Y}'(0) \\
&= np \\
V[X] &= m_{Y}^{”}(0)-m_{Y}'(0)^2 \\
&= n(n-1)p^2 + np – (np)^2 \\
&= n^2p^2 – np^2 + np – n^2p^2 \\
&= np – np^2 \\
&= np(1-p)
\end{align}
$$
・解説
ⅲ)で取り扱ったように、二項分布のモーメント母関数はベルヌーイ分布のモーメント母関数の積の形式で表せることは抑えておくと良いと思います。
ポアソン分布のモーメント母関数と再生性の導出
・問題
ポアソン分布は再生性という性質を持つ。再生性は確率変数$X_1, X_2$に関して$X_1 \sim Po(\lambda_1), X_2 \sim Po(\lambda_2)$が成立する際に、$X_1+X_2 \sim Po(\lambda_1+\lambda_2)$も同時に成立する性質のことを表す。
以下ではポアソン分布の再生性を示すにあたって、モーメント母関数を用いた導出を確認する。モーメント母関数は確率分布と$1$対$1$で対応することより、モーメント母関数が一致するということは確率分布も一致することを意味する。
ここまでの内容に基づいて下記の問いに答えよ。
i) ポアソン分布の確率関数を$p(x|\lambda)$のように表すとき、$p(x|\lambda)$を$x, \lambda$の式で表せ。
ⅱ) 確率変数$X \sim Po(\lambda)$に関するモーメント母関数を$m_{X}(t)$とするとき、$m_{X}(t) = E[e^{tX}]$であることを利用して$m_{X}(t)$を導出せよ。ただし、下記のマクローリン展開の式を用いて良い。
$$
\begin{align}
e^{\lambda e^t} = \sum_{x=0}^{\infty} \frac{(\lambda e^{t})^{x}}{x!}
\end{align}
$$
ⅲ) ⅱ)と同様に考えることで$m_{X_1}(t), m_{X_2}(t)$を答えよ。
iv) $m_{X_1+X_2}(t)$を計算せよ。
v) $X_1+X_2 \sim Po(\lambda_1+\lambda_2)$が成立することを示せ。
・解答
i)
ポアソン分布の確率関数$p(x|\lambda)$は下記のように表すことができる。
$$
\large
\begin{align}
p(x|\lambda) = \frac{\lambda^{x} e^{-\lambda}}{x!}
\end{align}
$$
ⅱ)
$m_{X}(t)$は下記のように導出できる。
$$
\large
\begin{align}
m_{X}(t) &= E[e^{tX}] \\
&= \sum_{x=0}^{\infty} e^{tx} \times \frac{\lambda^{x} e^{-\lambda}}{x!} \\
&= e^{-\lambda} \sum_{x=0}^{\infty} \frac{(\lambda e^{t})^{x}}{x!} \\
&= e^{-\lambda} \sum_{x=0}^{\infty} \frac{(\lambda e^{t})^{x}}{x!} \\
&= e^{-\lambda} e^{\lambda e^t} \\
&= e^{\lambda(e^t-1)}
\end{align}
$$
ⅲ) ⅱ)と同様に考えることで、$m_{X_1}(t), m_{X_2}(t)$は下記のように表せる。
$$
\large
\begin{align}
m_{X_1}(t) &= e^{\lambda_1(e^t-1)} \\
m_{X_2}(t) &= e^{\lambda_2(e^t-1)}
\end{align}
$$
iv)
$m_{X_1+X_2}(t)$は下記のように計算できる。
$$
\large
\begin{align}
m_{X_1+X_2}(t) &= E[e^{t(X_1+X_2)}] \\
&= E[e^{tX_1}] \times E[e^{tX_2}] \\
&= e^{\lambda_1(e^t-1)} \times e^{\lambda_2(e^t-1)} \\
&= e^{(\lambda_1+\lambda_2)(e^t-1)}
\end{align}
$$
v)
ⅱ)より$Po(\lambda_1+\lambda_2)$のモーメント母関数は$e^{(\lambda_1+\lambda_2)(e^t-1)}$であることがわかるが、これはiv)の結果に一致する。ここで確率分布とモーメント母関数の$1$対$1$対応により、$X_1+X_2 \sim Po(\lambda_1+\lambda_2)$が成立する。
・解説
ここで取り扱った再生性を持つ確率分布はポアソン分布の他にも、二項分布、正規分布、ガンマ分布などが挙げられます。詳しくは下記などで取り扱ったので、下記も合わせて参照してみてください。
https://www.hello-statisticians.com/explain-terms-cat/probdist3.html
https://www.hello-statisticians.com/explain-books-cat/math_stat_practice_ch3.html#38
参考書籍
・基礎統計学Ⅰ 統計学入門(東京大学出版会)
