ブログ

Ch.5 「微分」の演習問題の解答例 〜統計学のための数学入門30講(朝倉書店)〜

当記事は「統計学のための数学入門$30$講(朝倉書店)」の読解サポートにあたってChapter.$5$の「微分」の章末問題の解答の作成を行いました。
基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。

・書籍解答まとめ
https://www.hello-statisticians.com/answer_textbook_math#math_stat

本章のまとめ

演習問題解答

問題$5.1$

・$[1]$
$f(x) = x e^{-ax^2}$の微分は下記のように計算できる。
$$
\large
\begin{align}
f'(x) &= (x e^{-ax^2})’ \\
&= a^{-ax^2} + x e^{-ax^2} (-ax^2)’ \\
&= (1-2ax^2) e^{-ax^2}
\end{align}
$$

・$[2]$
$f(x)=x^x$の両辺の対数を取ると$\log{f(x)}=\log{x^{x}}=x\log{x}$が得られる。この両辺の微分を行うと、下記のように変形を行える。
$$
\large
\begin{align}
(\log{f(x)})’ &= (x\log{x})’ \\
\frac{f'(x)}{f(x)} &= \log{x} + \cancel{x} \cdot \frac{1}{\cancel{x}} \\
f'(x) &= (\log{x}+1)x^{x}
\end{align}
$$

・解説
$[2]$の計算の流れは「対数微分法」といわれるが、教科書などに載ってない場合も多いので注意して抑えておくと良い。詳細に関しては下記でも取り扱ったので合わせて確認しておくと良い。

問題$5.2$

指数分布(exponential distribution)のモーメント母関数の収束半径

指数分布(exponential distribution)のモーメント母関数を計算するにあたって、モーメント母関数の変数$t$は指数分布のパラメータ$\lambda$によって定義域が定められます。当記事ではこれらをマクローリン級数の収束半径(radius of convergence)の観点から確認を行いました。

・モーメント母関数の収束半径

モーメント母関数の収束半径

$n$次モーメント$E[X^n]$を用いたモーメント母関数の表記

モーメント母関数を$m(t)$とおくと指数分布のマクローリン級数に基づいて下記のように表すことができる。
$$
\large
\begin{align}
m(t) = E[e^{tX}] = E \left[ \sum_{n=0}^{\infty} \frac{(tX)^{n}}{n!} \right] = \sum_{n=0}^{\infty} \frac{E[X^n]}{n!} t^{n} = \sum_{n=0}^{\infty} a_n t^{n}
\end{align}
$$

モーメント母関数の収束半径

モーメント母関数の収束半径を$r$とおくと、$r$は下記のように定められる。
$$
\large
\begin{align}
r = \lim_{n \to \infty} \left| \frac{a_n}{a_{n+1}} \right| = \lim_{n \to \infty} \left| \frac{E[X^{n}]/n!}{E[X^{n+1}]/(n+1)!]} \right| = \lim_{n \to \infty} \left| \frac{E[X^{n}](n+1)}{E[X^{n+1}]} \right| \quad (1)
\end{align}
$$

指数分布のモーメント母関数の収束半径

指数分布の確率密度関数

パラメータ$\lambda>0$の指数分布$\mathrm{Ex}(\lambda)$の確率密度関数を$f(x)$とおくと、$x > 0$で$f(x)$は下記のように表せる。
$$
\large
\begin{align}
f(x) = \lambda e^{-\lambda x}, \, x > 0
\end{align}
$$

指数分布の$n$次モーメント$E[X^n]$

指数分布の$n$次モーメント$E[X^n]$の導出を行う。$n=1$のとき、$E[X^1]=E[X]$は部分積分法を用いて下記のように計算できる。
$$
\large
\begin{align}
E[X^1] &= E[X] = \int_{0}^{\infty} x \times \lambda e^{-\lambda x} dx \\
&= -\frac{\cancel{\lambda}}{\cancel{\lambda}} \left[ xe^{-\lambda x} \right]_{0}^{\infty} + \frac{\cancel{\lambda}}{\cancel{\lambda}} \int_{0}^{\infty} (x)’ e^{-\lambda x} dx \\
&= 0 + \int_{0}^{\infty} e^{-\lambda x} dx \\
&= -\frac{1}{\lambda}\left[ e^{-\lambda x} \right]_{0}^{\infty} \\
&= -\frac{1}{\lambda}(0-1) = \frac{1}{\lambda}
\end{align}
$$

$n=2$のとき$E[X^2]$は$\displaystyle E[X]=\frac{1}{\lambda}$を用いて下記のように計算を行える。
$$
\large
\begin{align}
E[X^2] &= \int_{0}^{\infty} x^2 \times \lambda e^{-\lambda x} dx \\
&= -\frac{1}{\lambda} \left[ x^2 \lambda e^{-\lambda x} \right]_{0}^{\infty} + \frac{1}{\lambda} \int_{0}^{\infty} (x^2)’ \lambda e^{-\lambda x} dx \\
&= 0 + \frac{2}{\lambda} \int_{0}^{\infty} x \lambda e^{-\lambda x} dx \\
&= \frac{2}{\lambda} \cdot E[X] \\
&= \frac{2}{\lambda^2}
\end{align}
$$

同様に考えることで$\displaystyle E[X^3] = \frac{3!}{\lambda^3}, E[X^4] = \frac{4!}{\lambda^4}, \cdots$を示すことができ、$E[X^n]$に関して下記が成立する。
$$
\large
\begin{align}
E[X^n] = \frac{n!}{\lambda^n}
\end{align}
$$

上記では詳細の確認は省略したが、詳しく確認を行う際は$\displaystyle E[X^k] = \frac{k!}{\lambda^k}$と表せるときに$\displaystyle E[X^{k+1}] = \frac{(k+1)!}{\lambda^{k+1}}$が成立することから、数学的帰納法を用いて示せば良い。

なお、$E[X^n]$はモーメント母関数$m(t)$の$n$階微分$m^{(n)}(t)$に対して、$m^{(n)}(0)$を考えることで導出することもできるが、モーメント母関数の定義域を$t < \lambda$とできるかどうかを収束半径で確認する必要があるので、ここでは用いなかった。

モーメント母関数を用いた指数分布の$n$次モーメントの導出に関しては下記で取り扱ったので、合わせて確認しておくと良い。

指数分布のモーメント母関数の収束半径

前項の導出より$E[X^{n}]$と$E[X^{n+1}]$は下記のように表すことができる。
$$
\large
\begin{align}
E[X^n] &= \frac{n!}{\lambda^n} \\
E[X^{n+1}] &= \frac{(n+1)!}{\lambda^{n+1}}
\end{align}
$$

このとき指数分布のモーメント母関数の収束半径を$r$とおくと、$r$は$(1)$式に基づいて下記のように考えることができる。
$$
\large
\begin{align}
r &= \lim_{n \to \infty} \left| \frac{E[X^{n}] (n+1)}{E[X^{n+1}]} \right| \quad (1) \\
&= \lim_{n \to \infty} \left| \frac{n!}{\lambda^n} \cdot \frac{\lambda^{n+1}}{(n+1)!} \cdot (n+1) \right| \\
&= \lambda
\end{align}
$$

ここで導出した収束半径より、指数分布のモーメント母関数$m(t)$は$t < \lambda$でマクローリン級数で表現できると考えられる。この結果は「統計学実践ワークブック演習$2.3$」でモーメント母関数$m(\theta)$の計算を行う際に$\theta < \lambda$を仮定することに対応する。

参考

・統計学実践ワークブック演習$2.3$ 指数分布のモーメント母関数の計算

ダランベールの収束判定法に基づくモーメント母関数の収束半径の計算

収束半径(radius of convergence)は多項式の形式で表されるべき級数に対して、級数が収束する際の多項式の変数の取りうる値の上限を表す概念です。当記事ではダランベールの収束判定法に基づいて、モーメント母関数の収束半径の計算式の導出を行いました。
当記事の作成にあたっては「数理統計学(共立出版)」の$4.5$節「積率母関数と特性関数」を主に参考にしました。

・参考
収束半径
ダランベールの収束判定法

基本事項の確認

ダランベールの収束判定法

正項級数$\displaystyle \sum_{n=0}^{\infty} z_n, \: z_n > 0$に関して下記が存在すると仮定する。
$$
\large
\begin{align}
\lim_{n \to \infty} \frac{z_{n+1}}{z_n} = l
\end{align}
$$

このとき、$l<1$であれば級数$\displaystyle \sum_{n=0}^{\infty} z_n, \: z_n > 0$は収束し和を持ち、$l>1$であれば級数は発散する。上記をダランベールの収束判定法という。

収束半径

$$
\large
\begin{align}
f(x) &= \sum_{n=0}^{\infty} a_n x^{n} \\
z_n &= |a_n x^{n}|
\end{align}
$$

上記で表したマクローリン級数に対して、ダランベールの収束判定法を適用し、級数が収束する際の$x$の範囲を考える。
$$
\large
\begin{align}
\lim_{n \to \infty} \frac{z_{n+1}}{z_n} &= \lim_{n \to \infty} \left| \frac{a_{n+1} x^{n+1}}{a_n x^n} \right| \\
&= \lim_{n \to \infty} \left| \frac{a_{n+1} x}{a_n} \right| < 1 \\
|x| & < \lim_{n \to \infty} \left| \frac{a_{n}}{a_{n+1}} \right| = r
\end{align}
$$

上記の式ではマクローリン級数が収束する際の$|x|$の最大の値を収束半径$r$と定めた。

$e^{x}$のマクローリン級数と収束半径

モーメント母関数は$e^{x}$のマクローリン級数に基づいて定められるので、当項では$e^{x}$のマクローリン級数と収束半径を考える。$e^{x}$のマクローリン級数は下記のように表せる。
$$
\large
\begin{align}
e^{x} = \frac{1}{0!}x^{0} + \frac{1}{1!}x^{1} + \cdots = \sum_{n=0} \frac{1}{n!}x^{n} = \sum_{n=0} a_{n} x^{n}
\end{align}
$$

このとき収束半径を$r$とおくと、$r$は下記のように考えることができる。
$$
\large
\begin{align}
r &= \lim_{n \to \infty} \left| \frac{a_n}{a_{n+1}} \right| \\
&= \lim_{n \to \infty} \left| \frac{1/n!}{1/(n+1)!} \right| \\
&= \lim_{n \to \infty} (n+1) = \infty
\end{align}
$$

モーメント母関数

以下、当節は「数理統計学(共立出版)」の$4.5$節「積率母関数と特性関数」を元に作成を行ったので、合わせて確認すると良い。

モーメント母関数の収束半径

モーメント母関数を$m(t)$とおくと指数分布のマクローリン級数に基づいて下記のように表すことができる。
$$
\large
\begin{align}
m(t) = E[e^{tX}] = E \left[ \sum_{n=0}^{\infty} \frac{(tX)^{n}}{n!} \right] = \sum_{n=0}^{\infty} \frac{E[X^n]}{n!} t^{n} = \sum_{n=0}^{\infty} a_n t^{n}
\end{align}
$$

よってモーメント母関数の収束半径を$r$とおくと、$r$は下記のように考えられる。
$$
\large
\begin{align}
r = \lim_{n \to \infty} \left| \frac{a_n}{a_{n+1}} \right| = \lim_{n \to \infty} \left| \frac{E[X^{n}]/n!}{E[X^{n+1}]/(n+1)!]} \right| = \lim_{n \to \infty} \left| \frac{E[X^{n}] (n+1)}{E[X^{n+1}]} \right|
\end{align}
$$

モーメント母関数の存在条件

モーメント母関数$m(t)$は「①$n$次のモーメントが存在」する際に「②収束半径」の範囲で成立すると考えられる。詳しくは「数理統計学(共立出版)」の$4.5$節「積率母関数と特性関数」などを参照すると良い。

「統計検定2級テキスト」 練習問題解答例 Ch.6 「その他の分析法」

当記事は「統計検定$2$級対応 統計学基礎(東京図書)」の読解サポートにあたって第$6$章の「その他の分析法ー正規性の検討、適合度と独立性の$\chi^2$検定ー」に関して演習問題を中心に解説を行います。適合度検定はよく用いられるので演習を通して抑えておくと良いのではないかと思います。

本章のまとめ

練習問題解説

問$6$.$1$

・$[1]$
$$
\large
\begin{align}
p(x) = \frac{\lambda^{x} e^{-\lambda}}{x!}, \, x=0,1,2,\cdots
\end{align}
$$

上記の数式に基づいて下記を実行することで計算を行える。

import numpy as np
import math

lamb = 2.
x = np.array([0, 1, 2, 3])
p = np.zeros(5)

for i in range(x.shape[0]):
    p[i] = lamb**x[i] * np.e**(-lamb) / math.factorial(x[i])

p[-1] = 1-np.sum(p[:-1])

for i in range(x.shape[0]):
    print("x: {:.0f}, prob: {:.3f}".format(i, p[i]))

print("x: {}, prob: {:.3f}".format("more than 4", p[-1]))

実行結果

x: 0, prob: 0.135
x: 1, prob: 0.271
x: 2, prob: 0.271
x: 3, prob: 0.180
x: more than 4, prob: 0.143

・$[2]$
$[1]$で計算を行ったpを元に$\chi^2$統計量が$\chi^{2}(5-1)$に従うと考えて下記を実行することで計算できる。

from scipy import stats

observed = np.array([21., 32., 29., 12., 6.])
estimated = 100.*p

chi2_stat = np.sum((observed-estimated)**2/estimated)

if chi2_stat > stats.chi2.ppf(1.-0.05, 5-1):
    print("chi2_stat: {:.2f}, c: {:.2f}, reject H0.".format(chi2_stat, stats.chi2.ppf(1.-0.05, 5-1)))
else:
    print("chi2_stat: {:.2f}, c: {:.2f}, accept H0.".format(chi2_stat, stats.chi2.ppf(1.-0.05, 5-1)))

実行結果

chi2_stat: 11.99, c: 9.49, reject H0.

上記より、帰無仮説の「$\lambda=2$のポアソン分布に従う」が棄却される。

・$[3]$
$\lambda$は下記を実行することで推定できる。

x_ = np.array([0, 1, 2, 3, 4])
estimated_lamb = np.sum(x_*observed)/100.
print("Estimated lambda: {:.2f}".format(estimated_lamb))

実行結果

Estimated lambda: 1.50

このとき発生確率は$[1]$と同様に下記のように計算できる。

p2 = np.zeros(5)

for i in range(x.shape[0]):
    p2[i] = estimated_lamb**x[i] * np.e**(-estimated_lamb) / math.factorial(x[i])

p2[-1] = 1-np.sum(p2[:-1])

for i in range(x.shape[0]):
    print("x: {:.0f}, prob: {:.3f}".format(i, p2[i]))

print("x: {}, prob: {:.3f}".format("more than 4", p2[-1]))

実行結果

x: 0, prob: 0.223
x: 1, prob: 0.335
x: 2, prob: 0.251
x: 3, prob: 0.126
x: more than 4, prob: 0.066

・$[4]$
$[3]$で計算を行ったp2を元に、$\chi^2$統計量が$\chi^{2}(5-2)$に従うと考えて下記を実行することで計算できる。

from scipy import stats

observed = np.array([21., 32., 29., 12., 6.])
estimated2 = 100.*p2

chi2_stat2 = np.sum((observed-estimated2)**2/estimated2)

if chi2_stat2 > stats.chi2.ppf(1.-0.05, 5-2):
    print("chi2_stat2: {:.2f}, c: {:.2f}, reject H0.".format(chi2_stat2, stats.chi2.ppf(1.-0.05, 5-2)))
else:
    print("chi2_stat2: {:.2f}, c: {:.2f}, accept H0.".format(chi2_stat2, stats.chi2.ppf(1.-0.05, 5-2)))

実行結果

chi2_stat2: 0.82, c: 7.81, accept H0.

問$6$.$2$

・$[1]$

・$[2]$

・$[3]$

参考

・統計検定$2$級 まとめ

モーメント母関数を用いた指数分布の平均・分散・歪度・尖度の計算

歪度(skewness)や尖度(kurtosis)はそれぞれ$3$次と$4$次のモーメントを元に計算を行いますが、具体的な値が計算される場合が少ないようです。そこで当記事では指数分布のモーメント母関数を元にそれぞれの値を計算し、指数分布の尖度が$6$であることも同時に確認を行います。

・平均、分散、歪度、尖度の定義まとめ
https://www.hello-statisticians.com/explain-terms-cat/moment1.html

指数分布$\mathrm{Ex}(\lambda)$のモーメント母関数

モーメント母関数の確認

指数分布$\mathrm{Ex}(\lambda)$のモーメント母関数を$m(t)$とおくと$m(t)$は下記のように表される。
$$
\large
\begin{align}
m(t) = \frac{\lambda}{\lambda – t} = \lambda(\lambda-t)^{-1}, \quad t < \lambda
\end{align}
$$

モーメント母関数の導出

指数分布$\mathrm{Ex}(\lambda)$のモーメント母関数$m(t)=E[e^{tX}]$は下記のように計算できる。
$$
\large
\begin{align}
m(t) &= E[e^{tX}] \\
&= \int_{0}^{\infty} e^{tx} \times \lambda e^{-\lambda x} dx \\
&= \lambda \int_{0}^{\infty} e^{-(\lambda – t) x} dx \\
&= \lambda \left[ – \frac{1}{\lambda – t} e^{-(\lambda – t) x} \right]_{0}^{\infty} \\
&= \frac{\lambda}{\lambda – t}, \quad t < \lambda
\end{align}
$$

モーメント母関数の定義域

指数分布$\mathrm{Ex}(\lambda)$の平均、分散、歪度、尖度の計算

モーメント母関数の導関数

前節で確認を行ったモーメント母関数$m(t)$の導関数は下記のように計算できる。
・$m'(t)$
$$
\large
\begin{align}
m'(t) &= \left( \lambda(\lambda-t)^{-1} \right)’ \\
&= \lambda \times -(\lambda-t)^{-2} \times (\lambda-t)’ \\
&= \lambda(\lambda-t)^{-2}
\end{align}
$$

・$m^{”}(t)$
$$
\large
\begin{align}
m^{”}(t) &= \left( \lambda(\lambda-t)^{-2} \right)’ \\
&= 2 \lambda (\lambda-t)^{-3}
\end{align}
$$

・$m^{(3)}(t)$
$$
\large
\begin{align}
m^{(3)}(t) &= \left( 2 \lambda (\lambda-t)^{-3} \right)’ \\
&= 3! \lambda (\lambda-t)^{-4}
\end{align}
$$

・$m^{(4)}(t)$
$$
\large
\begin{align}
m^{(4)}(t) &= \left( 3! \lambda (\lambda-t)^{-4} \right)’ \\
&= 4! \lambda (\lambda-t)^{-5}
\end{align}
$$

ここまでで計算を行った導関数より、$E[X]=m'(0), E[X^2]=m^{”}(0), E[X^3]=m^{(3)}(0), E[X^4]=m^{(4)}(0)$の値は下記のように計算できる。
$$
\large
\begin{align}
E[X] &= m'(0) = \lambda \times (\lambda-0)^{-2} \\
&= \frac{\lambda}{\lambda^2} = \frac{1}{\lambda} \\
E[X^2] &= m^{”}(0) = 2 \lambda \times (\lambda-0)^{-3} = \frac{2}{\lambda^2} \\
E[X^3] &= m^{(3)}(0) = 3! \lambda \times (\lambda-0)^{-4} = \frac{3!}{\lambda^3} \\
E[X^4] &= m^{(4)}(0) = 4! \lambda \times (\lambda-0)^{-5} = \frac{4!}{\lambda^4}
\end{align}
$$

平均・分散・歪度・尖度の計算

上記を元に、平均$E[X]$、分散$V[X]$、歪度$S[X]$、尖度$K[X]$をそれぞれ下記のように定める。
$$
\large
\begin{align}
E[X] &= m'(0) \\
V[X] &= E[(X-E[X])^2] = E[X^2] – E[X]^2 \\
S[X] &= E \left[ \left( \frac{X-E[X]}{\sqrt{V[X]}} \right)^{3} \right] \\
K[X] &= E \left[ \left( \frac{X-E[X]}{\sqrt{V[X]}} \right)^{4} \right] – 3
\end{align}
$$

平均$E[X]=m'(0)$、分散$V[X]=E[X^2]-E[X]^2=m^{”}(0)-m'(0)^2$はそれぞれ下記のように表すことができる。
$$
\large
\begin{align}
E[X] &= m'(0) = \frac{1}{\lambda} \\
V[X] &= E[X^2]-E[X]^2 = m^{”}(0)-m'(0)^2 \\
&= \frac{2}{\lambda^2} – \frac{1}{\lambda^2} = \frac{1}{\lambda^2}
\end{align}
$$

また、歪度$S[X]$、尖度$K[X]$はそれぞれ下記のように計算できる。
・歪度$S[X]$
$$
\large
\begin{align}
S[X] &= E \left[ \left( \frac{X-E[X]}{\sqrt{V[X]}} \right)^{3} \right] \\
&= \lambda^3 E[(X-E[X])^3] \\
&= \lambda^3 E[X^3 – 3X^2E[X] + 3XE[X]^2 – E[X^3]] \\
&= \lambda^3 (E[X^3] – 3E[X^2]E[X] + 2E[X]^3) \\
&= \lambda^3 \left( \frac{3!}{\lambda^3} – \frac{3 \cdot 2}{\lambda^3} + \frac{2}{\lambda^3} \right) \\
&= \frac{2 \cancel{\lambda^3}}{\cancel{\lambda^3}} = 2
\end{align}
$$

・尖度$K[X]$
$$
\large
\begin{align}
K[X] &= E \left[ \left( \frac{X-E[X]}{\sqrt{V[X]}} \right)^{4} \right] – 3 \\
&= \lambda^4 E[(X-E[X])^4] – 3 \\
&= \lambda^4 E[X^4 – 4X^3E[X] + 6X^2E[X]^2 – 4XE[X]^3 + E[X]^4] – 3 \\
&= \lambda^4 (E[X^4] – 4E[X^3]E[X] + 6E[X^2]E[X]^2 – 3E[X]^4) – 3 \\
&= \lambda^4 \left( \frac{4!}{\lambda^4} – \frac{4!}{\lambda^4} + \frac{6 \cdot 2}{\lambda^4} – \frac{3}{\lambda^4} \right) – 3 \\
&= \frac{9 \cancel{\lambda^4}}{\cancel{\lambda^4}}-3 = 9-3 = 6
\end{align}
$$

したがって、正規分布$\mathcal{N}(\mu,\sigma^2)$の平均$E[X]$、分散$V[X]$、歪度$S[X]$、尖度$K[X]$はそれぞれ下記のような値を持つ。
$$
\large
\begin{align}
E[X] &= \frac{1}{\lambda} \\
V[X] &= \frac{1}{\lambda^2} \\
S[X] &= 2 \\
K[X] &= 6
\end{align}
$$

双六の派生ゲームにおけるサイコロの確率的取り扱いの考察 〜複数サイコロ etc〜

桃太郎電鉄のような双六派生のゲームではサイコロの出目を元に駒を進め、勝敗を競います。多くのゲームでは分岐の存在などによる戦略が重要であるので、サイコロの出目の確率に関しては理解しておくと良いです。当記事ではサイコロの出目の確率的な取り扱いに関して取りまとめを行いました。
なお、当記事では考察をシンプルに行うにあたって、サイコロのそれぞれの目の出る確率は同じであると仮定しました。

・ゲーム × 統計 まとめ
https://www.hello-statisticians.com/game_stat

複数サイコロの取り扱い

サイコロが$1$つの場合

サイコロが$1$つの場合、サイコロの出目の確率変数を$X$とおくと、期待値$E[X]$と分散$V[X]=E[X^2]-E[X]^2$はそれぞれ下記のように計算できます。
$$
\large
\begin{align}
E[X] &= \frac{1}{6} \sum_{x=1}^{6} x \\
&= \frac{21}{6} = \frac{7}{2} \\
V[X] &= E[X^2] – E[X]^2 \\
&= \frac{1}{6} \sum_{x=1}^{6} x^2 – \left( \frac{7}{2} \right)^{2} \\
&= \frac{35}{12}
\end{align}
$$

また、サイコロが$1$つの場合の出目の取り扱いにあたっては多項分布の試行が$1$度の場合に対応するカテゴリ分布を合わせて抑えておくと良いです。

サイコロが$2$つの場合の取り扱い

サイコロが$2$つの場合、サイコロの出目の和を確率変数$X$で表すと、$X$に関する確率関数$p(x)$は下記のように得られます。

$X$$2$$3$$4$$5$$6$$7$$8$$9$$10$$11$$12$
$p(x)$$\displaystyle \frac{1}{6^2}$$\displaystyle \frac{2}{6^2}$$\displaystyle \frac{3}{6^2}$$\displaystyle \frac{4}{6^2}$$\displaystyle \frac{5}{6^2}$$\displaystyle \frac{6}{6^2}$$\displaystyle \frac{5}{6^2}$$\displaystyle \frac{4}{6^2}$$\displaystyle \frac{3}{6^2}$$\displaystyle \frac{2}{6^2}$$\displaystyle \frac{1}{6^2}$

このとき期待値$E[X]$はそれぞれ下記のように計算できます。
$$
\large
\begin{align}
& E[X] = \sum_{x=2}^{12} xp(x) \\
&= \frac{1}{6^2}(2+12) + \frac{2}{6^2}(3+11) + \frac{3}{6^2}(4+10) + \frac{4}{6^2}(5+9) + \frac{5}{6^2}(6+8) + \frac{6}{6^2} \cdot 7 \\
&= \frac{2(1+2+3+4+5) + 6}{6^2} \cdot 7 = 7
\end{align}
$$

サイコロが$3$つ以上の場合の取り扱い

サイコロが$3$つの場合の組み合わせと確率

サイコロが$3$つの場合、目の和が$3$〜$10$になる際の出目の組み合わせを列挙すると下記のように表せます。
$$
\large
\begin{align}
3 & \implies 1,1,1 \\
4 & \implies 2,1,1 \\
5 & \implies 3,1,1 \quad 2,2,1 \\
6 & \implies 4,1,1 \quad 3,2,1 \quad 2,2,2 \\
7 & \implies 5,1,1 \quad 4,2,1 \quad 3,3,1 \quad 3,2,2 \\
8 & \implies 6,1,1 \quad 5,2,1 \quad 4,3,1 \quad 4,2,2 \quad 3,2,2 \\
9 & \implies 6,2,1 \quad 5,3,1 \quad 5,2,2 \quad 4,4,1 \quad 4,3,2 \quad 3,3,3 \\
10 & \implies 6,3,1 \quad 6,2,2 \quad 5,4,1 \quad 5,3,2 \quad 4,4,2 \quad 4,3,3
\end{align}
$$

上記の組み合わせに対しそれぞれの並び替えを考えることで、$3$が$1$通り、$4$が$3$通り、$5$が$6$通り、$6$が$10$通り、$7$が$15$通り、$8$が$21$通り、$9$が$25$通り、$10$が$27$通りであることがわかります。このとき確率は下記のように得られます。

$X$$3$$4$$5$$6$$7$$8$$9$$10$
$p(x)$$\displaystyle \frac{1}{6^3}$$\displaystyle \frac{3}{6^3}$$\displaystyle \frac{6}{6^3}$$\displaystyle \frac{10}{6^3}$$\displaystyle \frac{15}{6^3}$$\displaystyle \frac{21}{6^3}$$\displaystyle \frac{25}{6^3}$$\displaystyle \frac{27}{6^3}$

また、期待値$E[X]=10.5$を中心に確率は左右対称となるので、$11$〜$18$はここまでの計算結果を逆に並べれば良いです。

Pythonを用いた計算

$6$面ダイスを$3$回振る場合を総当たりで考える場合は$6^3=216$通りを全て考えることでサイコロが$3$つの場合の確率を下記のプログラムで計算できます。

combination_x, prob = {}, {}
for i in range(1*3,6*3+1,1):
    combination_x[i], prob[i] = 0, 0

for i in range(6):
    for j in range(6):
        for k in range(6):
            x = i+j+k+3
            combination_x[x] += 1
            prob[x] += 1.

for i in range(1*3,6*3+1,1):
    prob[i] = prob[i]/6.**3

print("Combination x: {}".format(combination_x))
print("Prob: {}".format(prob))

・実行結果

Combination x: {3: 1, 4: 3, 5: 6, 6: 10, 7: 15, 8: 21, 9: 25, 10: 27, 11: 27, 12: 25, 13: 21, 14: 15, 15: 10, 16: 6, 17: 3, 18: 1}
Prob: {3: 0.004629, 4: 0.013888, 5: 0.027777, 6: 0.046296, 7: 0.069444, 8: 0.097222, 9: 0.115740, 10: 0.125, 11: 0.125, 12: 0.115740, 13: 0.097222, 14: 0.069444, 15: 0.046296, 16: 0.027777, 17: 0.013888, 18: 0.004629}

上記は前項の結果と一致しますが、サイコロを振る数に対応してfor文を用いており、$10$回振る場合に拡張するのが難しいです。よって下記では、サイコロ$n$個の確率分布からサイコロ$n+1$個の確率分布を漸化式的に計算するプログラムを作成しました。

n, m = 3, 6

def extend_dist(dist_dict, m):
    new_dist_dict = {}
    for i in range(dist_dict.keys()[0]+1,dist_dict.keys()[-1]+1+m):
        new_dist_dict[i] = 0
    for key in dist_dict.keys():
        for i in range(m):
            new_dist_dict[key+i+1] += dist_dict[key]/float(m)
    return new_dist_dict

prob_init = {}
for i in range(m):
    prob_init[i+1] = 1/float(m)

prob = prob_init

if n>1:
    for i in range(n-1):
        prob = extend_dist(prob, m)

print(prob)

・実行結果

Prob: {3: 0.004629, 4: 0.013888, 5: 0.027777, 6: 0.046296, 7: 0.069444, 8: 0.097222, 9: 0.115740, 10: 0.125, 11: 0.125, 12: 0.115740, 13: 0.097222, 14: 0.069444, 15: 0.046296, 16: 0.027777, 17: 0.013888, 18: 0.004629}

どちらのプログラムも実行結果は同じですが、「for文をサイコロの数だけ使用する必要がない」点で後者のプログラムが汎用的です。後者のプログラムはパスカルの三角形と同様に理解できるので、下記の図も合わせて確認しておくと良いと思います。

コインの表を$1$、裏を$2$とする場合の確率の漸化式の展開

特定のマスに止まるかどうかの取り扱い

双六派生ゲームでは桃太郎電鉄の目的地のように特定のマスに止まるかどうかが重要になる場合があります。したがって以下では一直線にマスが配置された際に特定のマスに止まるかどうかに関する確率に関して考えます。

$1,2$が同じ確率で出る場合

$1,2$が同じ確率で出る場合、特定のマスから$n$マスの状態から特定のマスに止まる確率を$p_n$とおきます。このとき、あと$1$マス、$2$マスの場合はそれぞれ下記のように確率を考えられます。
$$
\large
\begin{align}
p_1 &= \frac{1}{2} \\
p_2 &= \frac{1}{2} + \frac{1}{2} p_1
\end{align}
$$

上記を考えるにあたってはあと$2$マスの場合は$2$が出て直接の場合もあれば$1,1$のように$1$が$2$回出て特定のマスに止まる場合もあることに注意しておくと良いです。また、$p_3$以降は下記のような漸化式で考えることができます。
$$
\large
\begin{align}
p_{n+2} = \frac{1}{2} (p_{n} + p_{n+1}), \quad n \leq 1
\end{align}
$$

漸化式が得られたので、$p_1,p_2,\cdots$はそれぞれ下記のようなプログラムで計算を行うことができます。

p_n1, p_n2 = 1./2., 1./2.+(1./2.)**2

print("p_1: {:.3f}".format(p_n1))
print("p_2: {:.3f}".format(p_n2))

for i in range(15):
    p_n, p_n1 = p_n1, p_n2
    p_n2 = (p_n+p_n1)/2.
    print("p_{}: {:.3f}".format(i+3,p_n2))

・実行結果

p_1: 0.500
p_2: 0.750
p_3: 0.625
p_4: 0.688
p_5: 0.656
p_6: 0.672
p_7: 0.664
p_8: 0.668
p_9: 0.666
p_10: 0.667
p_11: 0.667
p_12: 0.667
p_13: 0.667
p_14: 0.667
p_15: 0.667
p_16: 0.667
p_17: 0.667

上記の実行結果より、$p_2>p_4>p_6>p_8>\mathrm{others}$であり、あと$2$マスの場合が確率が高く、かつ$n$が大きくなるにつれて確率は$\displaystyle \frac{2}{3}$に近づくことが確認できます。

$6$面ダイスを考える場合

$2$面の場合と同様に漸化式を考えると下記のように表せます。
$$
\large
\begin{align}
p_1 &= \frac{1}{6} \\
p_2 &= \frac{1}{6} + \frac{1}{6} p_1 \\
p_3 &= \frac{1}{6} + \frac{1}{6} (p_1 + p_2) \\
p_4 &= \frac{1}{6} + \frac{1}{6} (p_1 + p_2 + p_3) \\
p_5 &= \frac{1}{6} + \frac{1}{6} (p_1 + p_2 + p_3 + p_4) \\
p_6 &= \frac{1}{6} + \frac{1}{6} (p_1 + p_2 + p_3 + p_4 + p_5) \\
p_{n+6} &= \frac{1}{6} (p_n + p_{n+1} + p_{n+2} + p_{n+3} + p_{n+4} + p_{n+5}), \quad n \leq 1
\end{align}
$$

漸化式が得られたので、$p_1,p_2,\cdots$はそれぞれ下記のようなプログラムで計算を行うことができます。

import numpy as np

p_n = np.zeros([6])+1./6.
for i in range(6):
    p_n[i] += np.sum(p_n[:i])/6.
    print("p_{}: {:.3f}".format(i+1,p_n[i]))

for i in range(15):
    p_n6 = (np.sum(p_n))/6.
    p_n[:5] = p_n[1:]
    p_n[5] = p_n6
    print("p_{}: {:.3f}".format(i+6+1,p_n6))

・実行結果

p_1: 0.167
p_2: 0.194
p_3: 0.227
p_4: 0.265
p_5: 0.309
p_6: 0.360
p_7: 0.254
p_8: 0.268
p_9: 0.280
p_10: 0.289
p_11: 0.293
p_12: 0.291
p_13: 0.279
p_14: 0.284
p_15: 0.286
p_16: 0.287
p_17: 0.287
p_18: 0.286
p_19: 0.285
p_20: 0.286
p_21: 0.286

上記のように確率が得られました。$p_6$が最大であることは確認しておくと良いと思います。

モーメント母関数を用いた正規分布の平均・分散・歪度・尖度の計算

歪度(skewness)や尖度(kurtosis)はそれぞれ$3$次と$4$次のモーメントを元に計算を行いますが、具体的な値が計算される場合が少ないようです。そこで当記事では正規分布のモーメント母関数を元にそれぞれの値を計算し、正規分布の歪度が$0$、尖度が$0$であることも同時に確認を行います。
積の導関数の計算が多いので、以下では標準正規分布$\mathcal{N}(0,1)$について計算を行い、その次に正規分布$\mathcal{N}(\mu,\sigma^2)$に関して計算を行います。

・平均、分散、歪度、尖度の定義まとめ
https://www.hello-statisticians.com/explain-terms-cat/moment1.html

標準正規分布$\mathcal{N}(0,1)$

モーメント母関数の確認

標準正規分布$\mathcal{N}(0,1)$のモーメント母関数を$m(t)$とおくと$m(t)$は下記のように表される。
$$
\large
\begin{align}
m(t) = e^{\frac{t^2}{2}}
\end{align}
$$

正規分布のモーメント母関数の導出に関しては下記で詳しく取り扱った。

モーメント母関数の導関数

前項で確認を行ったモーメント母関数$m(t)$の導関数は下記のように計算できる。
・$m'(t)$
$$
\large
\begin{align}
m'(t) &= \left( e^{\frac{t^2}{2}} \right)’ \\
&= e^{\frac{t^2}{2}} \times \left( \frac{t^2}{2} \right)’ \\
&= t e^{\frac{t^2}{2}}
\end{align}
$$

・$m^{”}(t)$
$$
\large
\begin{align}
m^{”}(t) &= \left( t e^{\frac{t^2}{2}} \right)’ \\
&= e^{\frac{t^2}{2}} + t^2 e^{\frac{t^2}{2}} \\
&= (1+t^2) e^{\frac{t^2}{2}}
\end{align}
$$

・$m^{(3)}(t)$
$$
\large
\begin{align}
m^{(3)}(t) &= \left( (1+t^2) e^{\frac{t^2}{2}} \right)’ \\
&= 2t e^{\frac{t^2}{2}} + (1+t^2)t e^{\frac{t^2}{2}} \\
&= (3t + t^3) e^{\frac{t^2}{2}}
\end{align}
$$

・$m^{(4)}(t)$
$$
\large
\begin{align}
m^{(4)}(t) &= \left( (3t + t^3) e^{\frac{t^2}{2}} \right)’ \\
&= (3 + 3t^2) e^{\frac{t^2}{2}} + (3t + t^3)t e^{\frac{t^2}{2}} \\
&= (3 + 6t^2 + t^4) e^{\frac{t^2}{2}}
\end{align}
$$

ここまでで計算を行った導関数より、$E[X]=m'(0), E[X^2]=m^{”}(0), E[X^3]=m^{(3)}(0), E[X^4]=m^{(4)}(0)$の値は下記のように計算できる。
$$
\large
\begin{align}
E[X] &= m'(0) = 0 \times e^{\frac{0^2}{2}} = 0 \\
E[X^2] &= m^{”}(0) = (1+0^2) \times e^{\frac{0^2}{2}} \\
&= 1 \times 1 = 1 \\
E[X^3] &= m^{(3)}(0) = (3 \cdot 0 + 0^3) e^{\frac{0^2}{2}} = 0 \\
E[X^4] &= m^{(4)}(0) = (3 + 6 \cdot 0^2 + 0^4) e^{\frac{0^2}{2}} \\
&= 3 \times 1 = 3
\end{align}
$$

平均・分散・歪度・尖度の計算

上記を元に、平均$E[X]$、分散$V[X]$、歪度$S[X]$、尖度$K[X]$をそれぞれ下記のように定める。
$$
\large
\begin{align}
E[X] &= m'(0) \\
V[X] &= E[(X-E[X])^2] \\
S[X] &= E \left[ \left( \frac{X-E[X]}{\sqrt{V[X]}} \right)^{3} \right] \\
K[X] &= E \left[ \left( \frac{X-E[X]}{\sqrt{V[X]}} \right)^{4} \right] – 3
\end{align}
$$

ここで標準正規分布では平均に関して$E[X]=m'(0)=0$が成立するので、分散$V[X]$は下記のように表せる。
$$
\large
\begin{align}
V[X] &= E[(X-E[X])^2] \\
&= E[X^2] = m^{”}(0) = 1
\end{align}
$$

このとき$E[X]=0, V[X]=1$より歪度$S[X]$、尖度$K[X]$は下記のように計算できる。
$$
\large
\begin{align}
S[X] &= E \left[ \left( \frac{X-E[X]}{\sqrt{V[X]}} \right)^{3} \right] \\
&= E \left[ \left( \frac{X-0}{\sqrt{1}} \right)^{3} \right] \\
&= E[X^3] = m^{(3)}(0) = 0 \\
K[X] &= E \left[ \left( \frac{X-E[X]}{\sqrt{V[X]}} \right)^{4} \right]-3 \\
&= E \left[ \left( \frac{X-0}{\sqrt{1}} \right)^{4} \right]-3 \\
&= E[X^4]-3 = m^{(4)}(0)-3 = 3-3 = 0
\end{align}
$$

したがって、標準正規分布の平均$E[X]$、分散$V[X]$、歪度$S[X]$、尖度$K[X]$はそれぞれ下記のような値を持つ。
$$
\large
\begin{align}
E[X] &= 0 \\
V[X] &= 1 \\
S[X] &= 0 \\
K[X] &= 0
\end{align}
$$

正規分布$\mathcal{N}(\mu,\sigma^2)$

モーメント母関数の確認

標準正規分布$\mathcal{N}(\mu,\sigma^2)$のモーメント母関数を$m(t)$とおくと$m(t)$は下記のように表される。
$$
\large
\begin{align}
m(t) = e^{\mu t + \frac{\sigma^2 t^2}{2}}
\end{align}
$$

上記の導出は下記で取り扱った。

モーメント母関数の導関数

前項で確認を行ったモーメント母関数$m(t)$の導関数は下記のように計算できる。
・$m'(t)$
$$
\large
\begin{align}
m'(t) &= \left( e^{\mu t + \frac{\sigma^2 t^2}{2}} \right)’ \\
&= e^{\mu t + \frac{\sigma^2 t^2}{2}} \times \left( \mu t + \frac{t^2}{2} \right)’ \\
&= (\mu + \sigma^2 t) e^{\mu t + \frac{\sigma^2 t^2}{2}}
\end{align}
$$

・$m^{”}(t)$
$$
\large
\begin{align}
m^{”}(t) &= \left( (\mu + \sigma^2 t) e^{\mu t + \frac{\sigma^2 t^2}{2}} \right)’ \\
&= \sigma^2 e^{\frac{t^2}{2}} + (\mu + \sigma^2 t)^2 e^{\mu t + \frac{\sigma^2 t^2}{2}} \\
&= (\sigma^2 + (\mu + \sigma^2 t)^2) e^{\mu t + \frac{\sigma^2 t^2}{2}}
\end{align}
$$

・$m^{(3)}(t)$
$$
\large
\begin{align}
m^{(3)}(t) &= \left( (\sigma^2 + (\mu + \sigma^2 t)^2) e^{\mu t + \frac{\sigma^2 t^2}{2}} \right)’ \\
&= 2 \sigma^2(\mu + \sigma^2 t) e^{\mu t + \frac{\sigma^2 t^2}{2}} + (\sigma^2 + (\mu + \sigma^2 t)^2)(\mu + \sigma^2 t) e^{\mu t + \frac{\sigma^2 t^2}{2}} \\
&= (3 \sigma^2 (\mu + \sigma^2 t) + (\mu + \sigma^2 t)^{3}) e^{\mu t + \frac{\sigma^2 t^2}{2}}
\end{align}
$$

・$m^{(4)}(t)$
$$
\large
\begin{align}
m^{(4)}(t) &= \left( (3 \sigma^2 (\mu + \sigma^2 t) + (\mu + \sigma^2 t)^{3}) e^{\mu t + \frac{\sigma^2 t^2}{2}} \right)’ \\
&= (3 \sigma^4 + 3 \sigma^2 (\mu + \sigma^2 t)^2) e^{\mu t + \frac{\sigma^2 t^2}{2}} + (3 \sigma^2 (\mu + \sigma^2 t) + (\mu + \sigma^2 t)^{3})(\mu + \sigma^2 t) e^{\mu t + \frac{\sigma^2 t^2}{2}} \\
&= (3 \sigma^4 + 6 \sigma^2 (\mu + \sigma^2 t)^2 + (\mu + \sigma^2 t)^4) e^{\mu t + \frac{\sigma^2 t^2}{2}}
\end{align}
$$

ここまでで計算を行った導関数より、$E[X]=m'(0), E[X^2]=m^{”}(0), E[X^3]=m^{(3)}(0), E[X^4]=m^{(4)}(0)$の値は下記のように計算できる。
$$
\large
\begin{align}
E[X] &= m'(0) = \mu \times 1 = \mu \\
E[X^2] &= m^{”}(0) = (\sigma^2 + (\mu + \sigma^2 \cdot 0)^2) \times 1 \\
&= \sigma^2 + \mu^2 \\
E[X^3] &= m^{(3)}(0) = (3 \sigma^2 (\mu + \sigma^2 \cdot 0) + (\mu + \sigma^2 \cdot 0)^{3}) \times 1 \\
&= 3 \mu \sigma^2 + \mu^3 \\
E[X^4] &= m^{(4)}(0) = (3 \sigma^4 + 6 \sigma^2 (\mu + \sigma^2 \cdot 0)^2 + (\mu + \sigma^2 \cdot 0)^4) \times 1 \\
&= 3 \sigma^4 + 6 \mu^2 \sigma^2 + \mu^4
\end{align}
$$

平均・分散・歪度・尖度の計算

平均$E[X]=m'(0)$、分散$V[X]=E[X^2]-E[X]^2=m^{”}(0)-m'(0)^2$はそれぞれ下記のように表すことができる。
$$
\large
\begin{align}
E[X] &= m'(0) = \mu \\
V[X] &= E[X^2]-E[X]^2 = m^{”}(0)-m'(0)^2 \\
&= \sigma^2 + \cancel{\mu^2} – \cancel{\mu^2} = \sigma^2
\end{align}
$$

また、歪度$S[X]$、尖度$K[X]$はそれぞれ下記のように計算できる。
・歪度$S[X]$
$$
\large
\begin{align}
S[X] &= E \left[ \left( \frac{X-E[X]}{\sqrt{V[X]}} \right)^{3} \right] \\
&= \frac{1}{\sigma^3} E[(X-E[X])^3] \\
&= \frac{1}{\sigma^3} E[X^3 – 3X^2E[X] + 3XE[X]^2 – E[X^3]] \\
&= \frac{1}{\sigma^3} (E[X^3] – 3E[X^2]E[X] + 2E[X]^3) \\
&= \frac{1}{\sigma^3} (3 \mu \sigma^2 + \mu^3 – 3\mu(\sigma^2 + \mu^2) + 2 \mu^3) \\
&= 0
\end{align}
$$

・尖度$K[X]$
$$
\large
\begin{align}
K[X] &= E \left[ \left( \frac{X-E[X]}{\sqrt{V[X]}} \right)^{4} \right]-3 \\
&= \frac{1}{\sigma^4} E[(X-E[X])^4]-3 \\
&= \frac{1}{\sigma^4} E[X^4 – 4X^3E[X] + 6X^2E[X]^2 – 4XE[X]^3 + E[X]^4]-3 \\
&= \frac{1}{\sigma^4} (E[X^4] – 4E[X^3]E[X] + 6E[X^2]E[X]^2 – 3E[X]^4)-3 \\
&= \frac{1}{\sigma^4} (3 \sigma^4 + 6 \mu^2 \sigma^2 + \mu^4 – 4 \mu (3 \mu \sigma^2 + \mu^3) + 6 \mu^2(\sigma^2 + \mu^2) – 3 \mu^4)-3 \\
&= \frac{1}{\sigma^4} (3 \sigma^4 + (6-12+6) \mu^2 \sigma^2 + (1-4+6-3)\mu^4)-3 \\
&= \frac{3 \cancel{\sigma^4}}{\cancel{\sigma^4}}-3 = 3-3 = 0
\end{align}
$$

したがって、正規分布$\mathcal{N}(\mu,\sigma^2)$の平均$E[X]$、分散$V[X]$、歪度$S[X]$、尖度$K[X]$はそれぞれ下記のような値を持つ。
$$
\large
\begin{align}
E[X] &= \mu \\
V[X] &= \sigma^2 \\
S[X] &= 0 \\
K[X] &= 0
\end{align}
$$

Ch.7 「近似法則」の章末問題の解答例 〜数理統計学(共立出版)〜

当記事は「数理統計学(共立出版)」の読解サポートにあたってChapter.$7$の「近似法則」の章末問題の解答の作成を行いました。
基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。

・解答まとめ
https://www.hello-statisticians.com/answer_textbook_math_stat#green

章末の演習問題について

問題7.1の解答例

確率密度関数$f_{X}(x)$は特性関数$\phi_{X}(t)$に関して下記の反転公式が成立する。
$$
\large
\begin{align}
f_{X}(x) = \frac{1}{2 \pi} \int_{-\infty}^{\infty} \exp(-itx) \phi_{X}(t) dt
\end{align}
$$

上記を元に標準正規分布の特性関数$\displaystyle \phi_{X}(t) = e^{-\frac{t^2}{2}}$に基づいて、標準正規分布の確率密度関数$f_{X}(x)$の導出を行う。$(1)$式に$\displaystyle \phi_{X}(t) = e^{-\frac{t^2}{2}}$を代入すると下記のように変形を行える。
$$
\large
\begin{align}
f_{X}(x) &= \frac{1}{2 \pi} \int_{-\infty}^{\infty} \exp(-itx) \phi_{X}(t) dt \quad (1) \\
&= \frac{1}{2 \pi} \int_{-\infty}^{\infty} \exp(-itx) e^{-\frac{t^2}{2}} dt \\
&= \frac{1}{2 \pi} \int_{-\infty}^{\infty} \exp \left( -\frac{1}{2}(t^2-2itx) \right) dt \\
&= \frac{1}{2 \pi} \int_{-\infty}^{\infty} \exp \left( -\frac{1}{2}(t-ix)^2 + \frac{1}{2}(ix)^2 \right) dt \\
&= \frac{e^{-\frac{x^2}{2}}}{2 \pi} \int_{-\infty}^{\infty} \exp \left( -\frac{1}{2}(t-ix)^2 \right) dt \\
&= \frac{e^{-\frac{x^2}{2}}}{2 \pi} \sqrt{2 \pi} = \frac{1}{\sqrt{2 \pi}} e^{-\frac{x^2}{2}}
\end{align}
$$

上記より標準正規分布の確率密度関数に関して$\displaystyle f_{X}(x) = \frac{1}{\sqrt{2 \pi}} e^{-\frac{x^2}{2}}$が成立することが確認できる。

問題7.2の解答例

問題7.3の解答例

問題7.4の解答例

まとめ

The Matrix Cookbook の行列に関する公式などを証明する

概要と表記

The Matrix Cookbook (https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf) に掲載されている式の一部をピックアップして証明の取りまとめを行いました。導出にあたって置いた仮定がある点はご了承ください(例えば、行列 $A$ は対角化可能とする、など)。なお、小見出し中の () 内の数字は The Matrix Cookbook の式番号です。特に断らない限り、実数を成分にもつ行列を扱います。

用いる表記の内、曖昧さ回避が必要なものをまとめておきます。

  • 行列 $A$ に対し、$A=(a_{ij})$ で成分の表記の略
  • $(A)_{ij}$ : 行列 $A$ の $(i, j)$ 成分
  • $I$ : 単位行列
  • $\mathrm{diag}(a_1, a_2,…, a_n)$ : $a_1, a_2,…, a_n$を対角成分にもつ対角行列

$$$$

Basics

$\,\,(1) \qquad (AB)^{-1} = B^{-1}A^{-1}$

行列$A, B$ には逆行列が存在すると仮定する。逆行列の定義通り計算する。

$(AB)B^{-1}A^{-1} = A(BB^{-1})A^{-1}=AA^{-1}=I\,(単位行列)$ であり、

$B^{-1}A^{-1}(AB)=BB^{-1}=I$ だから、$B^{-1}A^{-1}$ は $AB$ の逆行列、つまり$(1)$ が成立する。

$$$$

$\,\,(5) \qquad (AB)^\mathrm{T} = B^\mathrm{T}A^\mathrm{T}$

$A^{\mathrm{T}}$ は転置行列を表す。簡単のため、$A,B$ はずれも $n$次正方行列とする。

左辺について、$\displaystyle AB = \left(\sum_{k=1}^{n}a_{ik}b_{kj}\right)$だから、$ \displaystyle (AB)^\mathrm{T} = \left(\sum_{k=1}^{n}a_{jk}b_{ki}\right)$

右辺について、$B^{\mathrm{T}}A^{\mathrm{T}} の (i,j) 成分は (B^{\mathrm{T}}の第 i 行)と(A^{\mathrm{T}}の第 j 列)の内積$、つまり、

$\displaystyle (Bの第 i 列)^\mathrm{T}(Aの第 j 行) = \sum_{k=1}^{n}b_{ki}a_{jk}$ . よって、左辺と右辺が等しいことがいえる。

$$$$

$\,\,(3) \qquad(A^\mathrm{T})^{-1} = (A^{-1})^\mathrm{T} $

逆行列の定義から、$AA^{-1}=A^{-1}A=I$. ($5$) の結果を用いて、各辺を転置することで、$(A^\mathrm{T})^{-1}A^\mathrm{T}=A^\mathrm{T}(A^\mathrm{T})^{-1}=I$ を得る。

$$$$

$\,(14) \qquad \mathrm{Tr}(AB) = \mathrm{Tr}(BA)$

$A\in \mathbb{R}^{m \times n}, B\in \mathbb{R}^{n \times m}$とする。 $AB, BA$ の対角成分を考える。$\displaystyle (AB)_{ii} = \left(\sum_{k=1}^{n}a_{ik}b_{ki}\right) \cdots (I)$

$\displaystyle (BA)_{ii} = \left(\sum_{k=1}^{m}b_{ik}a_{ki}\right) \cdots (II)$

$(I)の\,i=1,2,…,n \, のときの総和と、 (II)の\,i=1,2,…,m \,のときの総和$は等しいため、($14$)が成立。

$$$$

$\,(13) \qquad \mathrm{Tr}(A) = \sum_{i} \lambda_{i} $

$\lambda_{i}$ は $A$ の固有値である。また、$A$は対角化可能とする。したがって、

$U^{-1}AU = \mathrm{diag}(\lambda_{1}, \lambda_{2}, …, \lambda_{n})$ を満たす行列 $U$ が存在する。両辺の Trace を考えると、$\displaystyle \mathrm{Tr}(\mathrm{diag}(\lambda_{1}, \lambda_{2}, …, \lambda_{n})) = \sum_{i} \lambda_{i}= \mathrm{Tr}(U^{-1}AU) = \mathrm{Tr}(AUU^{-1}) = \mathrm{Tr}(A)$を得る。なお、($14$)を用いている。

$$$$

$\,(22) \qquad \det(A^{-1}) = 1/\det(A) $

逆行列の定義から、$AA^{-1} = I$. 両辺の行列式を考えると、$\det(AA^{-1})=\det(A)\det(A^{-1})=1$ を得る(行列積の行列式は行列式の積となる)。$\det(A)\det(A^{-1})=1$ の両辺に $1/\det(A)$ をかければよい。

$$$$

$\,(18) \qquad \det(A) = \prod_{i}\lambda_{i}$

$A$は対角化可能とすると、$U^{-1}AU = \mathrm{diag}(\lambda_{1}, \lambda_{2}, …, \lambda_{n})$ を満たす行列 $U$ が存在する。両辺の行列式を考えると、($22$)より、$\det(U^{-1}AU)=\det(U^{-1})\det(A)\det(U)=\det(A)$
$=\det(\mathrm{diag}(\lambda_{1}, \lambda_{2}, …, \lambda_{n}))= \prod_{i}\lambda_{i}$ を得る。

$$$$

Derivatives

$t$ というスカラー変数で微分することとします。なお、行列 $A$ に対し、$\displaystyle \frac{\partial A}{\partial t} = \left(\frac{\partial a_{ij}}{\partial t}\right)$ と定義されます。

$\,(35) \qquad \partial (X+Y)/\partial t=\partial X/\partial t+\partial Y/\partial t$

$\displaystyle \left(\frac{\partial (X+Y)}{\partial t}\right)_{ij} = \frac{\partial (X+Y)_{ij}}{\partial t}=\frac{\partial (x_{ij}+y_{ij})}{\partial t} = \frac{\partial x_{ij}}{\partial t}+\frac{\partial y_{ij}}{\partial t} =\left(\frac{ \partial X}{\partial t}+\frac{ \partial Y}{\partial t}\right)_{ij}$ より。

$$$$

$\,(37) \qquad \partial (XY)/\partial t=(\partial X/\partial t)Y+X(\partial Y/\partial t)$

$X\in \mathbb{R}^{l \times m}, Y\in \mathbb{R}^{m \times n}$とする。$\displaystyle (XY)_{ij} = \sum_{k=1}^{m}x_{ik}y_{ki} \, (i=1,2,…,l, j=1,2,…,n)$より、$\displaystyle \left(\frac{\partial XY}{\partial t}\right)_{ij}=\frac{\partial}{\partial t}\sum_{k=1}^{m}x_{ik}y_{ki}$

$\displaystyle = \sum_{k=1}^{m}\frac{\partial x_{ik}y_{ki}}{\partial t}=\sum_{k=1}^{m}\frac{\partial x_{ik}}{\partial t}y_{kj}+x_{ik}\frac{\partial y_{ki}}{\partial t}$

$\displaystyle = \left(\frac{\partial X}{\partial t}Y+X\frac{\partial Y}{\partial t}\right)_{ij}$ を得る。

$$$$

$\, (40) \qquad \partial X^{-1}/\partial t = -X^{-1}(\partial X/\partial t)X^{-1}$

$XX^{-1}=I$ が成立する。この両辺を $t$ で微分することを考える。右辺は定数が並ぶ行列だから、微分の結果は零行列 $O$ となる。左辺は、(37) で $Y=X^{-1}$ とすることにより、$\displaystyle \frac{\partial XX^{-1}}{\partial t}= \frac{\partial X}{\partial t}X^{-1}+X\frac{\partial X^{-1}}{\partial t}$
したがって、 $\displaystyle \frac{\partial X}{\partial t}X^{-1}+X\frac{\partial X^{-1}}{\partial t}=Oを得る。これを\frac{\partial X^{-1}}{\partial t}$について解く。$\displaystyle X\frac{\partial X^{-1}}{\partial t}=-\frac{\partial X}{\partial t}X^{-1} \therefore \frac{\partial X^{-1}}{\partial t}=-X^{-1}\frac{\partial X}{\partial t}X^{-1}$

$$$$

 

追記する予定です

「反転公式(inversion formula)の概要・導出の流れ」と「確率分布と特性関数の対応」

確率分布と特性関数には$1$対$1$の対応があり、確率密度関数からモーメント母関数の計算を行うなどと同様に母関数から確率密度関数の復元を行うことも可能です。当記事では母関数から確率密度関数を計算する式である反転公式の概要や導出の流れの確認を行います。
「数理統計学(共立出版)」の$7.1$節「反転公式」における定理$7.1$の証明を主に参考に、当記事の作成を行いました。

反転公式の概要

反転公式の式の確認

確率密度関数$f_{X}(x)$は特性関数$\phi_{X}(t)$に関して下記の反転公式が成立する。
$$
\large
\begin{align}
f_{X}(x) = \frac{1}{2 \pi} \int_{-\infty}^{\infty} \exp(-itx) \phi_{X}(t) dt \quad (1.1)
\end{align}
$$

確率分布と特性関数の対応

反転公式の使用例

中心極限定理の導出にあたって、標準正規分布の特性関数を用いた。
https://www.hello-statisticians.com/explain-terms-cat/clt1.html

反転公式の導出

導出の大まかな流れ

累積分布関数$F_{X}(x)$と特性関数$\phi_{X}(t)$に関して下記の$(2.1)$式が成立する。
$$
\large
\begin{align}
\int_{-\infty}^{\infty} \frac{\exp(-itb)-\exp(-ita)}{-it} \phi_{X}(t) dt = 2 \pi (F_{X}(b)-F_{X}(a)) \quad (2.1)
\end{align}
$$

ここで$(2.1)$式に$a=x, b=x+h$を代入し、両辺を$2 \pi h$で割ると下記の式が得られる。
$$
\large
\begin{align}
\frac{F_{X}(x+h)-F_{X}(x)}{h} &= \frac{1}{2 \pi} \int_{-\infty}^{\infty} \frac{\exp(-it(x+h))-\exp(-itx)}{-ith} \phi_{X}(t) dt
\end{align}
$$

このとき$h \to 0$を考えると左辺が確率密度関数$f_{X}(x)$に一致することから以下が得られる。
$$
\begin{align}
f_{X}(x) &= \lim_{h \to 0} \frac{F_{X}(x+h)-F_{X}(x)}{h} = \frac{1}{2 \pi} \lim_{h \to 0} \int_{-\infty}^{\infty} \frac{\exp(-it(x+h))-\exp(-itx)}{-ith} \phi_{X}(t) dt \\
&= \frac{1}{2 \pi} \int_{-\infty}^{\infty} \lim_{h \to 0} \frac{\exp(c(x+h))-\exp(cx)}{ch} \phi_{X}(t) dt, \, c = -it \\
&= \frac{1}{2 \pi} \int_{-\infty}^{\infty} \frac{1}{c} (e^{cx})’ \phi_{X}(t) dt \\
&= \frac{1}{2 \pi} \int_{-\infty}^{\infty} \frac{c}{c} e^{cx} \phi_{X}(t) dt \\
&= \frac{1}{2 \pi} \int_{-\infty}^{\infty} \exp(-itx) \phi_{X}(t) dt \quad (1.1)
\end{align}
$$

$(2.1)$式の導出に関しては複雑なのでここでは省略を行ったが、「数理統計学(共立出版)」の$7.1$節が詳しいので合わせて参照すると良い。