Ch.7 「多次元の確率分布」の章末問題の解答例 〜基礎統計学Ⅰ 統計学入門(東京大学出版会)〜

当記事は基礎統計学Ⅰ 統計学入門(東京大学出版会)」の読解サポートにあたってChapter.7の「多次元の確率分布」の章末問題の解説について行います。
※ 基本的には書籍の購入者向けの解答例・解説なので、まだ入手されていない方は下記より入手をご検討いただけたらと思います。また、解説はあくまでサイト運営者が独自に作成したものであり、書籍の公式ページではないことにご注意ください。(そのため著者の意図とは異なる解説となる可能性はあります)
https://www.amazon.co.jp/dp/4130420658

章末の演習問題について

問題7.1の解答例

i)
$V(X+Y)=E[(X+Y)^2]-E[X+Y]^2$を用いて導出する。
$$
\begin{align}
V(X+Y) &= E[(X+Y)^2] – E[X+Y]^2 \\
&= E[X^2+Y^2+2XY] – (E[X]+E[Y])^2 \\
&= E[X^2]+E[Y^2]+2E[XY] – (E[X]^2+E[Y]^2+2E[X]E[Y]) \\
&= (E[X^2]-E[X]^2) + (E[Y^2]-E[Y]^2) + 2(E[XY]-E[X]E[Y]) \\
&= V(X) + V(Y) + 2Cov(X,Y)
\end{align}
$$
上記より、$V(X+Y) = V(X) + V(Y) + 2Cov(X,Y)$が成立する。

ⅱ)
i)と同様に$V(aX+bY)=E[(aX+bY)^2]-E[aX+bY]^2$を用いて導出する。
$$
\begin{align}
V(aX+bY) &= E[(aX+bY)^2] – E[aX+bY]^2 \\
&= E[a^2X^2+b^2Y^2+2abXY] – (E[aX]+E[bY])^2 \\
&= a^2E[X^2]+b^2E[Y^2]+2abE[XY] – (a^2E[X]^2+b^2E[Y]^2+2abE[X]E[Y]) \\
&= a^2(E[X^2]-E[X]^2) + b^2(E[Y^2]-E[Y]^2) + 2ab(E[XY]-E[X]E[Y]) \\
&= a^2V(X) + b^2V(Y) + 2abCov(X,Y)
\end{align}
$$
上記より、$V(aX+bY) = a^2V(X) + b^2V(Y) + 2abCov(X,Y)$が成立する。

問題7.2の解答例

i)
$R_p = xR_1+(1-x)R_2$の期待値E(R_p)と分散V(R_p)は下記のようになる。
$$
\begin{align}
E(R_p) &= E(xR_1+(1-x)R_2) \\
&= xE(R_1) + (1-x)E(R_2) \\
&= xe_1 + (1-x)e_2 \\
V(R_p) &= V(xR_1+(1-x)R_2) \\
&= x^2V(R_1) + (1-x)^2V(R_2) + 2x(1-x)Cov(R_1,R_2) \\
&= x^2 \sigma_1^2 + (1-x)^2 \sigma_2^2 + 2x(1-x)\rho\sigma_1\sigma_2 \\
&= (\sigma_1^2-2\rho\sigma_1\sigma_2+\sigma_2^2)x^2 -2(\sigma_2^2-\rho\sigma_1\sigma_2)+\sigma_2^2
\end{align}
$$

問題7.3の解答例

確率変数$X$の取りうる値は$X=0,1,2,3$、確率変数$Y$の取りうる値は$Y=1,2$のため、$2 \times 4 = 8$パターンについて計算することで同時確率分布を求めることができる。
$$
\begin{align}
P(X=0,Y=1) &= \frac{1}{2^3} = \frac{1}{8} \\
P(X=1,Y=1) &= 0 \\
P(X=2,Y=1) &= 0 \\
P(X=3,Y=1) &= \frac{1}{2^3} = \frac{1}{8} \\
P(X=0,Y=2) &= 0 \\
P(X=1,Y=2) &= \frac{3}{2^3} = \frac{3}{8} \\
P(X=2,Y=2) &= \frac{3}{2^3} = \frac{3}{8} \\
P(X=3,Y=2) &= 0
\end{align}
$$
ここで$\displaystyle P(X=0)=\frac{1}{8}$、$\displaystyle P(Y=1)=\frac{1}{2}$であるが、$\displaystyle P(X=0, Y=1) = \frac{1}{8} \neq \frac{1}{32} = P(X=0)P(Y=1)$なので、$X$と$Y$は独立ではない。
また、$X$、$Y$、$XY$の確率分布を作成すると下記のようになる。
$$
\begin{align}
P(X=0) &= \frac{1}{8} \\
P(X=1) &= \frac{3}{8} \\
P(X=2) &= \frac{3}{8} \\
P(X=3) &= \frac{1}{8} \\
P(Y=1) &= \frac{1}{4} \\
P(Y=2) &= \frac{3}{4} \\
P(XY=0) &= P(X=0,Y=1)+P(X=0,Y=2) = \frac{1}{8} \\
P(XY=1) &= P(X=1,Y=1) = 0 \\
P(XY=2) &= P(X=2,Y=1)+P(X=1,Y=2) = \frac{3}{8} \\
P(XY=3) &= P(X=3,Y=1) = \frac{1}{8} \\
P(XY=4) &= P(X=2,Y=2) = \frac{3}{8} \\
P(XY=6) &= P(X=3,Y=2) = 0
\end{align}
$$
上記より、$E[X]$、$E[Y]$、$E[XY]$は下記のように計算できる。
$$
\begin{align}
E[X] &= 0 \cdot \frac{1}{8} + 1 \cdot \frac{3}{8} + 2 \cdot \frac{3}{8} + 3 \cdot \frac{1}{8} \\
&= \frac{3}{8} + \frac{6}{8} + \frac{3}{8} \\
&= \frac{3}{2} \\
E[Y] &= 1 \cdot \frac{1}{4} + 2 \cdot \frac{3}{4} \\
&= \frac{7}{4} \\
E[XY] &= 0 \cdot \frac{1}{8} + 1 \cdot 0 + 2 \cdot \frac{3}{8} + 3 \cdot \frac{1}{8} + 4 \cdot \frac{3}{8} + 6 \cdot 0 \\
&= \frac{21}{8}
\end{align}
$$
上記より$\displaystyle E[XY] = \frac{21}{8} = \frac{3}{2} \cdot \frac{7}{4} = E[X]E[Y]$が成立するので$Cov(X,Y)=0$となり無相関である。

問題7.4の解答例

(Ⅰ)の方法で$m_A$と$m_b$を測った際の計測値をそれぞれ$X_A$、$X_B$とする。このとき、天秤の測定誤差が$\sigma^2$であることから、$V(X_A)=V(X_B)=\sigma^2$となる。
また、(Ⅱ)の方法で計測した重さの和を$Y$、差を$Z$とすると、$m_A$と$m_B$の推定値はそれぞれ$\displaystyle \frac{Y+Z}{2}$、$\displaystyle \frac{Y-Z}{2}$となる。このとき、$\displaystyle V\left( \frac{Y+Z}{2} \right) = V\left( \frac{Y-Z}{2} \right) = \frac{1}{2}\sigma^2$となり、(Ⅱ)の方が優れた方法であるといえる。

問題7.5の解答例

$$
\large
\begin{align}
V[U] &= V[aX+b] \\
&= a^2V[X] \\
V[V] &= V[cY+d] \\
&= c^2V[Y] \\
Cov(U,V) &= Cov(aX+b, cY+d) \\
&= acCov(X,Y)
\end{align}
$$
上記を利用して、下記のように導出することができる。
$$
\large
\begin{align}
\rho_{UV} &= \frac{Cov(U,V)}{\sqrt{V[U]V[V]}} \\
&= \frac{Cov(aX+b, cY+d)}{\sqrt{V[aX+b]V[cY+d]}} \\
&= \frac{acCov(X,Y)}{ac\sqrt{V[X]V[Y]}} \\
&= \frac{Cov(X,Y)}{\sqrt{V[X]V[Y]}} \\
&= \rho_{XY}
\end{align}
$$

問題7.6の解答例

i)
$$
\large
\begin{align}
X_{1}, X_{2} & \sim N(0,1) \quad i.i.d., \\
Y_{1} &= aX_{1} + bX_{2} \\
Y_{2} &= cX_{1} + dX_{2}
\end{align}
$$

$7.3$節の議論により、上記のように定義した$Y_{1}, Y_{2}$の相関係数$\rho$は下記のように表すことができる。
$$
\large
\begin{align}
\rho &= \frac{Cov(Y_1,Y_2)}{\sqrt{V[Y_1]}\sqrt{V[Y_2]}} \\
&= \frac{ac+bd}{\sqrt{a^2+b^2}\sqrt{c^2+d^2}}
\end{align}
$$

上記に$a=1, b=0, c=c, d=1$を代入し、$\rho=0.5$を$c$に関して解く。
$$
\large
\begin{align}
\rho &= 0 \\
\frac{1 \times c + 0 \times 1}{\sqrt{1^2+0^2}\sqrt{c^2+1^2}} &= 0.5 \\
c &= 0.5 \sqrt{c^2+1^2} \\
c^2 &= 0.25(c^2+1) \\
c^2 &= \frac{1}{3} \\
c &= \frac{1}{\sqrt{3}}
\end{align}
$$

ⅱ)
i)と同様に考え、$c^2 = \rho^2(c^2+1)$を$c$に関して解く。
$$
\large
\begin{align}
c^2 &= \rho^2(c^2+1) \\
(1-\rho^2)c^2 &= \rho^2 \\
c &= \frac{\rho}{\sqrt{1-\rho^2}}
\end{align}
$$

ⅲ)

問題7.7の解答例

i)
並列のシステムは全てが故障するまで継続すると考えられるため、$Y=max(X_1,X_2)$が成立する。このとき確率変数$Y$の確率密度関数を$f_Y(y)$、累積分布関数を$F_Y(y)$とするとそれぞれ下記のように求めることができる。
$$
\large
\begin{align}
F_Y(y) &= F_Y(Y \leq y) \\
&= F_Y(X_1 \leq y, X_2 \leq y) \\
&= F_Y(X_1 \leq y)F_Y(X_2 \leq y) \\
&= (1-e^{-\lambda y})^2
\end{align}
$$
$$
\large
\begin{align}
f_Y(y) &= F_Y'(Y \leq y) \\
&= ( (1-e^{-\lambda y})^2 )’ \\
&= 2\lambda e^{-\lambda y}(1-e^{-\lambda y})
\end{align}
$$

ⅱ)
直列のシステムは一つが故障するまで継続すると考えられるため、$Y=min(X_1,X_2)$が成立する。このとき確率変数$Y$の確率密度関数を$f_Y(y)$、累積分布関数を$F_Y(y)$とするとそれぞれ下記のように求めることができる。
$$
\large
\begin{align}
F_Y(y) &= F_Y(Y \leq y) \\
&= 1 – F_Y(Y > y) \\
&= 1 – F_Y(X_1 > y)F_Y(X_2 > y) \\
&= 1 – (e^{-\lambda y})^2 \\
&= 1 – (e^{-2\lambda y})
\end{align}
$$
$$
\large
\begin{align}
f_Y(y) &= F_Y'(Y \leq y) \\
&= ( 1 – (e^{-2\lambda y}) )’ \\
&= 2\lambda(e^{-2\lambda y})
\end{align}
$$

問題7.8の解答例

問題7.9の解答例

i) 二項分布

$X_1+X_2=x$を考えた際に$X_1=k$とすると、$X_2=x-k$となる。このときの確率分布を$P(X_1+X_2=x|m,n,p)$を考えると、下記のように計算することができる。($X_1$に対応する試行回数を$m$、$X_2$に対応する試行回数を$n$とする)
$$
\begin{align}
P(X_1+X_2=x|m,n,p) &= \sum_{k=0}^{x} P(X_1=k|m,p)P(X_2=x-k|n,p) \\
&= \sum_{k=0}^{x} {}_m C_k p^{k}(1-p)^{m-k} {}_n C_{x-k} p^{x-k}(1-p)^{n-(x-k)} \\
&= p^{k}(1-p)^{m-k}p^{x-k}(1-p)^{n-(x-k)} \sum_{k=0}^{x} {}_m C_k {}_n C_{x-k} \\
&= p^{k+x-k}(1-p)^{m-k+n-(x-k)} \sum_{k=0}^{x} {}_m C_k {}_n C_{x-k} \\
&= p^{x}(1-p)^{n+m-x} \sum_{k=0}^{x} {}_n C_k {}_m C_{x-k}
\end{align}
$$
このときヴァンデルモンドの畳み込みより、$\displaystyle {}_{m+n} C_x = \sum_{k=0}^{x} {}_m C_k {}_n C_{x-k}$が成立するので、$P(X_1+X_2=x|m,n,p)$は下記のように変形できる。
$$
\begin{align}
P(X_1+X_2=x|m,n,p) &= p^{x}(1-p)^{n+m-x} \sum_{k=0}^{x} {}_n C_k {}_m C_{x-k} \\
&= p^{x}(1-p)^{n+m-x} {}_{m+n} C_x \\
&= {}_{m+n} C_x p^{x}(1-p)^{n+m-x}
\end{align}
$$
上記により二項分布の再生性を示すことができた。(ヴァンデルモンドの畳み込みの式は、$m+n$個の中から$x$個取り出す際に、$m$個から$k$個、$n$個から$x-k$個取り出す方法を考えることで示すことができる)

ⅱ) ポアソン分布

$X_1+X_2=x$を考えた際に$X_1=k$とすると、$X_2=x-k$となる。このときの確率分布を$P(X_1+X_2=x|\lambda_1,\lambda_2)$を考えると、下記のように計算することができる。($X_1$に対応するポアソン分布のパラメータを$\lambda_1$、$X_2$に対応するポアソン分布のパラメータを$\lambda_2$とする)
$$
\begin{align}
P(X_1+X_2=x|\lambda_1,\lambda_2) &= \sum_{k=0}^{x} P(X_1=k|\lambda_1)P(X_2=x-k|\lambda_2) \\
&= \sum_{k=0}^{x} \frac{\lambda_1^k e^{-\lambda_1}}{k!} \frac{\lambda_2^{x-k} e^{-\lambda_2}}{(x-k)!} \\
&= e^{-\lambda_1}e^{-\lambda_2} \sum_{k=0}^{x} \frac{1}{x!} \frac{x!}{k!(x-k)!} \lambda_1^k \lambda_2^{x-k} \\
&= \frac{e^{-(\lambda_1+\lambda_2})}{x!} \sum_{k=0}^{x} {}_x C_k \lambda_1^k \lambda_2^{x-k} \\
&= \frac{e^{-(\lambda_1+\lambda_2})}{x!} (\lambda_1+\lambda_2)^x \\
&= \frac{(\lambda_1+\lambda_2)^x e^{-(\lambda_1+\lambda_2)}}{x!}
\end{align}
$$
上記のたたみこみ(convolution)演算によってポアソン分布の再生性が示された。

ⅲ) 正規分布

$X_1+X_2=x$を考えた際に$X_1=k$とすると、$X_2=x-k$となる。このときの確率分布を$P(X_1+X_2=x|\mu_1,\mu_2,\sigma_1^2,\sigma_2^2)$を考えると、下記のように計算することができる。($X_1$に対応する正規分布のパラメータを$\mu_1$と$\sigma_1^2$、$X_2$に対応する正規分布のパラメータを$\mu_2$と$\sigma_2^2$とする)
$$
\begin{align}
P(X_1 &+ X_2=x|\mu_1,\mu_2,\sigma_1^2,\sigma_2^2) \\
&= \sum_{k=0}^{x} P\left( X_1=k|\mu_1,\sigma_1^2\right) P\left(X_2=x-k|\mu_2,\sigma_2^2\right) \\
&= \sum_{k=0}^{x} \frac{1}{\sqrt{2 \pi \sigma_1^2}}\exp \left( -\frac{(k-\mu_1)^2}{2\sigma_1^2} \right) \times \frac{1} {\sqrt{2 \pi \sigma_2^2}}\exp \left( -\frac{((x-k)-\mu_2)^2}{2\sigma_2^2} \right)
\end{align}
$$
上記に対してガウス積分などを用いて導出を行う。

まとめ

Chapter.7「多次元の確率分布」について確認する内容でした。他のChapterに比較しても高度な話題が多いため、徐々に理解すれば十分な内容だと思います。

「Ch.7 「多次元の確率分布」の章末問題の解答例 〜基礎統計学Ⅰ 統計学入門(東京大学出版会)〜」への2件のフィードバック

コメントは受け付けていません。