Ch.2 「確率と1次元の確率変数」の章末問題の解答例　〜現代数理統計学(学術図書出版社)〜

当記事は「現代数理統計学(学術図書出版社)」の読解サポートにあたってChapter.2の「確率と1次元の確率変数」の章末問題の解説について行います。

基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認ください。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。（そのため著者の意図とは異なる解説となる可能性はあります）

↓下記が公式の解答なので、正確にはこちらを参照ください。
https://www.gakujutsu.co.jp/text/isbn978-4-7806-0860-1/

章末の演習問題について

問題2.1の解答例

平均周辺の$k$次モーメントを$\mu_k$、原点周辺の$k$次モーメントを$\mu’_k$とおく。このとき、原点周辺の1次モーメントに関して$\mu=\mu’_1$とすると、それぞれ確率変数$X$に関する期待値を考えることで下記のように定義される。
$$
\large
\begin{align}
\mu_k = E[(X-\mu)^k]
\mu’_k = E[X^k]
\end{align}
$$

ここで平均周辺の$k$次モーメント$\mu_k$は下記のように導出できる。
$$
\large
\begin{align}
\mu_k &= E[(X-\mu)^k] \\
&= E \left[ \sum_{i=0}^{k} X^i (-\mu)^{k-i} \right] \\
&= \sum_{i=0}^{k} E[X^i] (-\mu)^{k-i} \\
&= \sum_{i=0}^{k} (-1)^{k-i} \mu’_i \mu^{k-i}
\end{align}
$$

次に原点周辺の$k$次モーメントを$\mu’_k$は下記のように導出できる。
$$
\large \begin{align}
\mu’_k &= E[X^k] \\
&= E[((X-\mu)+\mu)^k] \\
&= E \left[ \sum_{i=0}^{k} (X-\mu)^i \mu^{k-i} \right] \\
&= \sum_{i=0}^{k} E[(X-\mu)^i] \mu^{k-i} \\
&= \sum_{i=0}^{k} \mu_i \mu^{k-i}
\end{align}
$$

問題2.2の解答例

問題2.3の解答例

公式の解答例の記載と同様に、「$x$が連続変数」で「$0 < h < k$が正の整数」である前提で考える。

基本的には確率密度関数の$f(x)$に対して「$\displaystyle \int_{-\infty}^{\infty} x^k f(x) dx$が収束するならば$\displaystyle \int_{-\infty}^{\infty} x^h f(x) dx$も収束する」を示せば良い。

以下、$|x| \leq 1$の範囲、$1 < x$の範囲、$x < -1$の範囲についてそれぞれ確認する。

・$|x| \leq 1$の範囲に関して
$|x| \leq 1$の範囲においては$|x|^{h}$も$|x|^k$も1以下となる。よってこの範囲での積分は有限であり収束する。

・$1 < x$の範囲に関して
$\displaystyle \frac{x^h}{x^k} = \frac{1}{x^{k-h}} < 1$なので、$\displaystyle \int_{1}^{\infty} x^k f(x) dx$が有限で収束するならば$\displaystyle \int_{1}^{\infty} x^h f(x) dx$も有限で収束する。

・$x < -1$の範囲について
$\displaystyle \frac{x^h}{x^k} = \left| \frac{1}{x^{k-h}} \right| < 1$より$1 < x$の範囲と同様に考えることができる。

ここまでの議論により、$\displaystyle \int_{-\infty}^{\infty} x^k f(x) dx$が収束するならば$\displaystyle \int_{-\infty}^{\infty} x^h f(x) dx$も収束することを示すことができる。

問題2.4の解答例

問題2.5の解答例

問題2.6の解答例

問題2.7の解答例

ポアソン分布の確率母関数を$G(s)=E[s^X]$とするとき、$G(s)$は下記のように整理できる。
$$
\large
\begin{align}
G(s) &= E[s^X] \\
&= \sum_{n=0}^{\infty} \frac{\lambda^{n} e^{-\lambda}}{n!} s^n \\
&= e^{-\lambda} \sum_{n=0}^{\infty} \frac{(s \lambda)^{n}}{n!}
\end{align}
$$
このとき、マクローリン展開の式より$\displaystyle e^{s \lambda} = \sum_{n=0}^{\infty} \frac{(s \lambda)^{n}}{n!}$が成立する。よって、$G(s)$は下記のようになる。
$$
\large
\begin{align}
G(s) &= e^{-\lambda} \sum_{n=0}^{\infty} \frac{\lambda^{n}}{n!} \\
&= e^{-\lambda} e^{s \lambda} \\
&= e^{\lambda(s-1)}
\end{align}
$$

ここまでで求めた確率母関数の1階微分$G'(s)$、2階微分$G”(s)$はそれぞれ下記のようになる。
$$
\large
\begin{align}
G'(s) &= \lambda e^{\lambda(s-1)} \\
G”(s) &= \lambda^2 e^{\lambda(s-1)}
\end{align}
$$
ここで$E[X]=G'(1), V[X]=G”(1)+G'(1)-(G'(1))^2$なので、それぞれ下記のように計算できる。
$$
\large
\begin{align}
E[X] &= G'(1) \\
&= \lambda e^{\lambda(1-1)} \\
&= \lambda \\
V[X] &= G”(1) + G'(1) – (G'(1))^2 \\
&= \lambda^2 e^{\lambda(1-1)} + \lambda – \lambda^2 \\
&= \lambda^2 + \lambda – \lambda^2 \\
&= \lambda
\end{align}
$$

また、二項分布$Bin(n,p)$の平均は$np$、分散は$np(1-p)$である。$np = \lambda$とおくと、$n \to \infty, p \to +0$のとき、下記が導出できる。
$$
\large
\begin{align}
E[X] &= np = \lambda \\
V[X] &= \lim_{n \to \infty, p \to +0} np(1-p) \\
&= \lambda
\end{align}
$$
これは二項分布とポアソン分布に関する小数の法則と整合性の取れる内容である。

問題2.8の解答例

表が出る確率が$p$のコイン投げを行い、$r$回表が出るまでの裏の回数を$k$と考える。この試行は負の二項分布$NB(r,p)$に従うが、$NB(r,p)$確率関数$P(X=k)$は下記のように考えられる。
$$
\large
\begin{align}
P(X=k) &= {}_{r+k-1} C_{k} (1-p)^{k} p^{r-1} \times p \\
&= {}_{r+k-1} C_{k} (1-p)^{k} p^{r}
\end{align}
$$

ここで$q = 1 – p$と考える。確率母関数を$G(s)$とおくと、確率母関数の定義より$G(s)$は下記のように計算できる。
$$
\large
\begin{align}
G(s) &= E[s^X] \\
&= \sum_{k=0}^{\infty} s^{k} P(X=k) \\
&= \sum_{k=0}^{\infty} s^{k} \times {}_{r+k-1} C_{k} (1-p)^{k} p^{r} \\
&= \sum_{k=0}^{\infty} s^{k} \times {}_{r+k-1} C_{k} q^{k} p^{r} \\
&= \sum_{k=0}^{\infty} {}_{r+k-1} C_{k} (sq)^{k} p^{r} \quad (1)
\end{align}
$$

(1)式の計算にあたって、下記で表す2.4節の(2.58)式を活用することを考える。
$$
\large
\begin{align}
(1-q)^{-r} = \sum_{k=0}^{\infty} {}_{r+k-1} C_{k} q^{k} \quad (2.58)
\end{align}
$$
上記は$(1-q)^r$に関してマクローリン展開を考えることで導出できる。この式の$q$を$sq$で置き換えると下記の式のようになる。
$$
\large
\begin{align}
(1-sq)^{-r} = \sum_{k=0}^{\infty} {}_{r+k-1} C_{k} (sq)^{k}
\end{align}
$$
上記の両辺に$p^{r}$をかけると、右辺の式は(1)式に一致する。
$$
\large
\begin{align}
(1-sq)^{-r}p^{r} &= \sum_{k=0}^{\infty} {}_{r+k-1} C_{k} (sq)^{k} p^{r} \\
&= G(s)
\end{align}
$$
よって、下記の確率母関数$G(s)$が導出されたと考えることができる。
$$
\large
\begin{align}
G(s) = \frac{p^{r}}{(1-sq)^{r}}
\end{align}
$$

期待値$E[X]$、分散$V[X]$を計算するにあたっては、$G(s)$を$s$で微分した$G'(s), G”(s)$を活用する。合成関数の微分の考え方を用いることで、$G'(s), G”(s)$は下記のように計算できる。
$$
\large
\begin{align}
G'(s) &= \frac{rqp^{r}}{(1-sq)^{r+1}} \\
G”(s) &= \frac{r(r+1)q^2p^{r}}{(1-sq)^{r+2}}
\end{align}
$$
また、$G'(1), G”(1)$は下記のように計算できる。
$$
\large
\begin{align}
G'(1) &= \frac{rqp^{r}}{(1-q)^{r+1}} \\
&= \frac{rqp^{r}}{p^{r+1}} \\
&= \frac{r(1-p)}{p} \\
G”(1) &= \frac{r(r+1)q^2p^{r}}{(1-q)^{r+2}} \\
&= \frac{r(r+1)(1-p)^2p^{r}}{p^{r+2}} \\
&= \frac{r(r+1)(1-p)^2}{p^{2}}
\end{align}
$$

$E[X]=G'(1), V[X]=G”(1)+G'(1)-(G'(1))^2$より、期待値$E[X]$と分散$V[X]$は下記のように導出できる。
$$
\large
\begin{align}
E[X] &= G'(1) \\
&= \frac{r(1-p)}{p} \\
V[X] &= G”(1)+G'(1)-(G'(1))^2 \\
&= \frac{r(r+1)(1-p)^2}{p^{2}} + \frac{r(1-p)}{p} – \frac{r^2(1-p)^2}{p^2} \\
&= \frac{r(1-p)}{p^2}
\end{align}
$$

問題2.9の解答例

$$
\large
\begin{align}
\phi(x) = \frac{1}{\sqrt{2 \pi}} exp \left( -\frac{x^2}{2} \right)
\end{align}
$$
上記で表される標準正規分布の確率密度関数$\phi(x)$は偶関数であり、$y$軸に関して線対称なグラフで表される。ここで$x$が奇関数であるので、$x\phi(x)$は奇関数で、原点を中心に点対称のグラフで表される。よって下記の平均に関する式が成立する。
$$
\large
\begin{align}
\int_{-\infty}^{\infty} x \phi(x) dx = 0
\end{align}
$$

分散の導出にあたっては下記で示すように$\phi'(x)=-x\phi(x)$が成立することを利用する。
$$
\large
\begin{align}
\phi'(x) &= \left( \frac{1}{\sqrt{2 \pi}} exp \left( -\frac{x^2}{2} \right) \right) \\
&= \frac{1}{\sqrt{2 \pi}} exp \left( -\frac{x^2}{2} \right) \left( -\frac{x^2}{2} \right)’ \\
&= \frac{1}{\sqrt{2 \pi}} exp \left( -\frac{x^2}{2} \right) (-x) \\
&= -x \phi(x)
\end{align}
$$
上記を利用して分散に関する式は下記より導出できる。
$$
\large
\begin{align}
\int_{-\infty}^{\infty} x^2\phi(x) dx &= \int_{-\infty}^{\infty} -x (-x\phi(x)) dx \\
&= \int_{-\infty}^{\infty} -x \phi'(x) dx \\
&= \left[ -x \phi(x) \right]_{-\infty}^{\infty} + \int_{-\infty}^{\infty} x’\phi(x) dx \\
&= 0 + \int_{-\infty}^{\infty} \phi(x) dx \\
&= 1
\end{align}
$$
上記の計算においては、$x$よりも$e^{x^2}$の方が関数の発散が速いことを用いた。

以下、$X \sim N(0,1), Y \sim N(\mu,\sigma^2)$が成り立つとき、$E[Y], V[Y]$に関して求める。$X$と$Y$に関して$Y = \mu + \sigma X$が成立するので、$E[Y], V[Y]$は下記のように計算できる。
$$
\large
\begin{align}
E[Y] &= E[\mu + \sigma X] \\
&= \mu + \sigma E[X] \\
&= \mu \\
V[Y] &= V[\mu + \sigma X] \\
&= \sigma^2 V[X] \\
&= \sigma^2
\end{align}
$$
よって正規分布$N(\mu,\sigma^2)$の平均は$\mu$、分散が$\sigma^2$であることがそれぞれわかる。

問題2.10の解答例

ベータ分布の平均と分散は下記のように導出できる。
・平均
https://www.hello-statisticians.com/explain-terms-cat/beta_distribution1.html#EX

・分散
https://www.hello-statisticians.com/explain-terms-cat/beta_distribution1.html#VX

問題2.11の解答例

https://www.hello-statisticians.com/explain-terms-cat/maclaurin-seriese.html
上記の対数関数に関するマクローリン展開の式を参考に、下記が成立すると考えられる。
$$
\large
\begin{align}
-\log{(1-\theta)} = \sum_{n=1}^{\infty} \frac{\theta^n}{n}
\end{align}
$$

ここで$p(x)$に関する題意の式は下記のように表される。
$$
\large
\begin{align}
p(x) = c(\theta) \frac{\theta^x}{x} \quad (x=1,2,…, \quad 0 < \theta < 1)
\end{align}
$$
上記の$p(x)$は確率関数であるため、$\displaystyle \sum_{x=1}^{\infty} p(x) = 1$が成立する。このとき、マクローリン展開の式と比較するにあたって、$x$を$n$に置き換えると下記のような数式となる。
$$
\large
\begin{align}
\sum_{n=1}^{\infty} p(n) &= \sum_{n=1}^{\infty} c(\theta) \frac{\theta^n}{n} \\
&= c(\theta) \sum_{n=1}^{\infty} \frac{\theta^n}{n} \\
&= 1
\end{align}
$$

ここまでで導出した式に対し、冒頭で確認した$\displaystyle \sum_{n=1}^{\infty} \frac{\theta^n}{n} = -\log{(1-\theta)}$を代入する。
$$
\large
\begin{align}
\sum_{n=1}^{\infty} p(n) &= c(\theta) \sum_{n=1}^{\infty} \frac{\theta^n}{n} \\
&= c(\theta) \times (-\log{(1-\theta)}) \\
&= 1
\end{align}
$$
上記より$c(\theta) \times (-\log{(1-\theta)}) = 1$が成立するので、$c(\theta)$は下記のように求めることができる。
$$
\large
\begin{align}
c(\theta) = -\frac{1}{\log{(1-\theta)}}
\end{align}
$$

次に、書籍では積率母関数と記載されているが、公式の解答と見比べた際に確率母関数の間違いであると思われるため、以下では確率母関数を求め、期待値と分散を求める。

確率母関数$G(s)=[s^X]$は$c(\theta)$の導出と同様にマクローリン展開を考えることで、下記のように導出できる。
$$
\large
\begin{align}
G(s) &= [s^X] \\
&= \sum_{n=1}^{\infty} s^n p(n) \\
&= c(\theta) \sum_{n=1}^{\infty} s^n \frac{\theta^n}{n} \\
&= c(\theta) \sum_{n=1}^{\infty} \frac{(\theta s)^n}{n} \\
&= c(\theta) \sum_{n=1}^{\infty} \frac{(\theta s)^n}{n} \\
&= c(\theta) (-\log{(1-\theta s)}) \\
&= -\frac{1}{\log{(1-\theta)}} \times (-\log{(1-\theta s)}) \\
&= \frac{\log{(1-\theta s)}}{\log{(1-\theta)}}
\end{align}
$$

問題2.12の解答例

https://www.hello-statisticians.com/explain-terms-cat/log_normal_dist1.html#i-2
上記で取り扱った変数変換を用いた導出により、対数正規分布の確率密度関数は下記のように表すことができる。
$$
\large
\begin{align}
f(x) &= \frac{1}{\sqrt{2 \pi \sigma^2}x} exp \left\{ -\frac{(\log{x}-\mu)^2}{2 \sigma^2} \right\} \quad (x > 0) \\
&= 0 \qquad (x \leq 0)
\end{align}
$$

以下、期待値$E[X]$、分散$V[X]$について計算を行う。

・期待値$E[X]$
$$
\large
\begin{align}
E[X] &= \int_{0}^{\infty} xf(x) dx \\
&= \int_{0}^{\infty} x \frac{1}{\sqrt{2 \pi \sigma^2}x} exp \left\{ -\frac{(\log{x}-\mu)^2}{2 \sigma^2} \right\} dx \\
&= \frac{1}{\sqrt{2 \pi \sigma^2}} \int_{0}^{\infty} exp \left\{ -\frac{(\log{x}-\mu)^2}{2 \sigma^2} \right\} dx
\end{align}
$$
上記に対して、$t = \log{x}$で変数変換を行うことを考える。$0 < x \infty$に対応する$t$は$-\infty < t \infty$で、$dx = e^t dt$より、$E[X]$は下記のように変数を変換することができる。
$$
\large
\begin{align}
E[X] &= \frac{1}{\sqrt{2 \pi \sigma^2}} \int_{-\infty}^{\infty} exp \left\{ t \right\} \times exp \left\{ -\frac{(t-\mu)^2}{2 \sigma^2} \right\} dt \\
&= \frac{1}{\sqrt{2 \pi \sigma^2}} \int_{-\infty}^{\infty} exp \left\{ -\frac{(t-\mu)^2 – 2 \sigma^2 t}{2 \sigma^2} \right\} dt
\end{align}
$$

ここで下記のように$(t-\mu)^2 – 2 \sigma^2 t$の平方完成を行うことができる。
$$
\large
\begin{align}
(t-\mu)^2 – 2 \sigma^2 t &= t^2 – 2 \mu t + \mu^2 – 2 \sigma^2 t \\
&= t^2 – 2 (\mu + \sigma^2) t + \mu^2 \\
&= (t – (\mu + \sigma^2))^2 – (\mu + \sigma^2)^2 + \mu^2 \\
&= (t – (\mu + \sigma^2))^2 – (\mu^2 + 2 \mu \sigma^2 + \sigma^4 – \mu^2) \\
&= (t – (\mu + \sigma^2))^2 – (\mu \sigma^2 + \sigma^4)
\end{align}
$$
上記より$E[X]$は下記のように変形できる。
$$
\large
\begin{align}
E[X] &= \frac{1}{\sqrt{2 \pi \sigma^2}} \int_{-\infty}^{\infty} exp \left\{ -\frac{(t-\mu)^2 – 2 \sigma^2 t}{2 \sigma^2} \right\} dt \\
&= \frac{1}{\sqrt{2 \pi \sigma^2}} \int_{-\infty}^{\infty} exp \left\{ -\frac{(t – (\mu + \sigma^2))^2}{2 \sigma^2} + \frac{\mu \sigma^2 + \sigma^4}{2 \sigma^2} \right\} dt \\
&= \frac{1}{\sqrt{2 \pi \sigma^2}} exp \left\{ \mu + \frac{\sigma^2}{2} \right\} \int_{-\infty}^{\infty} exp \left\{ -\frac{(t – (\mu + \sigma^2))^2}{2 \sigma^2} \right\} dt
\end{align}
$$
$\displaystyle \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi \sigma^2}} exp \left\{ -\frac{(t – (\mu + \sigma^2))^2}{2 \sigma^2} \right\} dt$は$N(\mu + \sigma^2, \sigma^2)$の全区間での積分のため1となる。よって、$E[X]$は下記のように導出できる。
$$
\large
\begin{align}
E[X] &= \frac{1}{\sqrt{2 \pi \sigma^2}} exp \left\{ \mu + \frac{\sigma^2}{2} \right\} \int_{-\infty}^{\infty} exp \left\{ -\frac{(t – (\mu + \sigma^2))^2}{2 \sigma^2} \right\} dt \\
&= exp \left\{ \mu + \frac{\sigma^2}{2} \right\}
\end{align}
$$

・分散$V[X]$
$V[X] = E[X^2] – E[X]^2$を利用するにあたって、$E[X^2]$を$E[X]$と同様に$t = \log{x}$を用いて変換して計算する。
$$
\large
\begin{align}
E[X^2] &= \int_{0}^{\infty} x^2 f(x) dx \\
&= \int_{0}^{\infty} x^2 \frac{1}{\sqrt{2 \pi \sigma^2}x} exp \left\{ -\frac{(\log{x}-\mu)^2}{2 \sigma^2} \right\} dx \\
&= \frac{1}{\sqrt{2 \pi \sigma^2}} \int_{0}^{\infty} x exp \left\{ -\frac{(\log{x}-\mu)^2}{2 \sigma^2} \right\} dx \\
&= \frac{1}{\sqrt{2 \pi \sigma^2}} \int_{-\infty}^{\infty} e^t exp \left\{ -\frac{(t-\mu)^2}{2 \sigma^2} \right\} e^t dt \\
&= \frac{1}{\sqrt{2 \pi \sigma^2}} \int_{-\infty}^{\infty} exp \left\{ -\frac{(t-\mu)^2 – 4 \sigma^2 t}{2 \sigma^2} \right\} dt \\
&= \frac{1}{\sqrt{2 \pi \sigma^2}} \int_{-\infty}^{\infty} exp \left\{ -\frac{(t – (\mu + 2\sigma^2))^2}{2 \sigma^2} + \frac{4 \mu \sigma^2 + 4 \sigma^4}{2 \sigma^2} \right\} dt \\
&= exp \left\{ 2 \mu + 2 \sigma^2 \right\} \times \frac{1}{\sqrt{2 \pi \sigma^2}} \int_{-\infty}^{\infty} exp \left\{ -\frac{(t – (\mu + 2\sigma^2))^2}{2 \sigma^2} \right\} dt \\
&= exp \left\{ 2 \mu + 2 \sigma^2 \right\}
\end{align}
$$

よって、$V[X] = E[X^2] – E[X]^2$は下記のように導出できる。
$$
\large
\begin{align}
V[X] &= E[X^2] – E[X]^2 \\
&= exp \left\{ 2 \mu + 2 \sigma^2 \right\} – \left( exp \left\{ \mu + \frac{\sigma^2}{2} \right\} \right)^2 \\
&= exp \left\{ 2 \mu + 2 \sigma^2 \right\} – exp \left\{ 2 \left( \mu + \frac{\sigma^2}{2} \right) \right\} \\
&= exp \left\{ 2 \mu + 2 \sigma^2 \right\} – exp \left\{ 2 \mu + \sigma^2 \right\} \\
&= exp \left\{ 2 \mu + \sigma^2 \right\} \left( e^{\sigma^2} – 1 \right)
\end{align}
$$

問題2.13の解答例

問題2.14の解答例

まとめ