Contents
期待値と分散・共分散の定義
確率変数\(X\)に関する期待値を \(E[X]\)、分散を\(V[X]\)とする。サンプル数を\(n\)、サンプルの集合を\(\{x_1, x_2, …, x_i, …, x_n\}\)と表現するものとする。
$\displaystyle E[X] = \sum_{k=1}^{n} x_i p(X=x_i)$ (期待値)
$\displaystyle V[X] = \sum_{k=1}^{n} (x_i-E[X])^2 p(X=x_i)$ (分散)
$\displaystyle \mathrm{Cov}(X,Y) = \sum_{k=1}^{n} (x_i-E[X])(y_i-E[Y]) p(X=x_i, Y=y_i)$ (共分散)
全てのサンプルが観測される確率を「同様に確からしい」とすることで、期待値と分散は下記のようにも表すことができる。（下記ではこちらを用いることとする）
$\displaystyle E[X] = \frac{1}{n} \sum_{k=1}^{n} x_i$ （期待値）
$\displaystyle V[X] = \frac{1}{n} \sum_{k=1}^{n} (x_i-E[X])^2$ （分散）
$\displaystyle \mathrm{Cov}(X,Y) = \frac{1}{n} \sum_{k=1}^{n} (x_i-E[X])(y_i-E[Y])$ （共分散）
期待値、分散・共分散に関する公式
$$
\begin{align}
&E[X+Y] = E[X]+E[Y] &(1)\\
&E[aX] = aE[X] &(2)\\
&V[X] = E[(X-E[X])^2] = E[X^2] – (E[X])^2 &(3) \\
&V[aX] = a^2 V[X] &(4) \\
&V[X+Y] = V[X]+V[Y] (XとYが独立な場合) &(5) \\
&\mathrm{Cov}(X,Y) = E[XY] – E[X]E[Y] &(6)
\end{align}
$$
公式の導出
(1) \(E[X+Y] = E[X]+E[Y]\)
$$
\begin{align}
E[X+Y] &= \frac{1}{n} \sum_{k=1}^{n} (x_i+y_i) \\
&= \frac{1}{n} \sum_{k=1}^{n} x_i + \frac{1}{n} \sum_{k=1}^{n} y_i \\
&= E[X]+E[Y]
\end{align}
$$
(2) \(E[aX] = aE[X]\)
$$
\begin{align}
E[aX] &= \frac{1}{n} \sum_{k=1}^{n} a \times x_i \\
&= \frac{a}{n} \sum_{k=1}^{n} x_i \\
&= aE[X]
\end{align}
$$
(3) \(V[X] = E[(X-E[X])^2] = E[X^2] – (E[X])^2\)
$$
\begin{align}
V[X] &= E[(X-E[X])^2] \\
&= E[X^2 – 2XE[X] + E[X]^2)] \\
&= E[X^2] – 2E[X]^2 + E[X]^2 （2E[XE[X]]=2E[X]^2が成立） \\
&= E[X^2] – E[X]^2 \\
\end{align}
$$
(4) \(V[aX] = a^2 V[X]\)
$$
\begin{align}
V[X] &= E[(aX)^2] – E[aX]^2 \\
&= a^2 E[(X)^2] – a^2 E[X]^2 \\
&= a^2(E[(X)^2] – E[X]^2) \\
&= a^2 V[X]
\end{align}
$$
(5) \(V[X+Y] = V[X]+V[Y]\)
$$
\begin{align}
V[X+Y] &= E[(X+Y)^2] – E[(X+Y)]^2 \\
&= E[(X^2+2XY+Y^2] – (E[X]+E[Y])^2 \\
&= E[X^2] + E[2XY] + E[Y^2] – (E[X]^2 + 2E[X]E[Y] + E[Y]^2) \\
&= (E[X^2]-E[X]^2) + (E[Y^2]-E[Y]^2) + 2(E[XY]-E[X]E[Y]) \\
&= (E[X^2]-E[X]^2) + (E[Y^2]-E[Y]^2) （XとYが独立なら E[XY]=E[X]E[Y]) \\
&= V[X] + V[Y]
\end{align}
$$
(6) \(\mathrm{Cov}(X,Y) = E[XY] – E[X]E[Y]\)
$$
\begin{align}
\mathrm{Cov}(X,Y) &= \frac{1}{n} \sum_{k=1}^{n} (x_i-E[X])(y_i-E[Y]) \\
&=E[(X-E[X])(Y-E[Y])] \\
&=E[XY – XE[Y] – YE[X] + E[X]E[Y]] \\
&=E[XY] – E[X]E[Y]
\end{align}
$$
上記では、\(X=Y\)であれば\(V[X]\)に一致し、\(\mathrm{Cov}(X,Y)=V[X]\)も成立する。
・参考
