抑えておきたい公式とその簡易的な導出に関して(期待値と分散・共分散)

期待値と分散・共分散の定義

確率変数\(X\)に関する期待値を \(E[X]\)、分散を\(V[X]\)とする。サンプル数を\(n\)、サンプルの集合を\(\{x_1, x_2, …, x_i, …, x_n\}\)と表現するものとする。
\(E[X] = \sum_{k=1}^{n} x_i p(X=x_i) \)   (期待値)
\(V[X] = \sum_{k=1}^{n} (x_i-E[X])^2 p(X=x_i)\)   (分散)
\(Cov(X,Y) = \sum_{k=1}^{n} (x_i-E[X])(y_i-E[Y]) p(X=x_i, Y=y_i)\)  (共分散)

全てのサンプルが観測される確率を「同様に確からしい」とすることで、期待値と分散は下記のようにも表すことができる。(下記ではこちらを用いることとする)
\(E[X] = \frac{1}{n} \sum_{k=1}^{n} x_i\) (期待値)
\(V[X] = \frac{1}{n} \sum_{k=1}^{n} (x_i-E[X])^2\) (分散)
\(Cov(X,Y) = \frac{1}{n} \sum_{k=1}^{n} (x_i-E[X])(y_i-E[Y])\) (共分散)

期待値、分散・共分散に関する公式

$$
\begin{align}
&E[X+Y] = E[X]+E[Y] &(1)\\
&E[aX] = aE[X] &(2)\\
&V[X] = E[(X-E[X])^2] = E[X^2] – (E[X])^2 &(3) \\
&V[aX] = a^2 V[X] &(4) \\
&V[X+Y] = V[X]+V[Y] (XとYが独立な場合) &(5) \\
&Cov(X,Y) = E[XY] – E[X]E[Y] &(6)
\end{align}
$$

公式の導出

(1) \(E[X+Y] = E[X]+E[Y]\)

$$
\begin{align}
E[X+Y] &= \frac{1}{n} \sum_{k=1}^{n} (x_i+y_i) \\
&= \frac{1}{n} \sum_{k=1}^{n} x_i + \frac{1}{n} \sum_{k=1}^{n} y_i \\
&= E[X]+E[Y]
\end{align}
$$

(2) \(E[aX] = aE[X]\)

$$
\begin{align}
E[aX] &= \frac{1}{n} \sum_{k=1}^{n} a \times x_i \\
  &= \frac{a}{n} \sum_{k=1}^{n} x_i \\
  &= aE[X]
\end{align}
$$

(3) \(V[X] = E[(X-E[X])^2] = E[X^2] – (E[X])^2\)

$$
\begin{align}
V[X] &= E[(X-E[X])^2] \\
  &= E[X^2 – 2XE[X] + E[X]^2)] \\
  &= E[X^2] – 2E[X]^2 + E[X]^2 (2E[XE[X]]=2E[X]^2が成立) \\
  &= E[X^2] – E[X]^2 \\
\end{align}
$$

(4) \(V[aX] = a^2 V[X]\)

$$
\begin{align}
V[X] &= E[(aX)^2] – E[aX]^2 \\
  &= a^2 E[(X)^2] – a^2 E[X]^2 \\
  &= a^2(E[(X)^2] – E[X]^2) \\
  &= a^2 V[X]
\end{align}
$$

(5) \(V[X+Y] = V[X]+V[Y]\)

$$
\begin{align}
V[X+Y] &= E[(X+Y)^2] – E[(X+Y)]^2 \\
&= E[(X^2+2XY+Y^2] – (E[X]+E[Y])^2 \\
&= E[X^2] + E[2XY] + E[Y^2] – (E[X]^2 + 2E[X]E[Y] + E[Y]^2) \\
&= (E[X^2]-E[X]^2) + (E[Y^2]-E[Y]^2) + 2(E[XY]-E[X]E[Y]) \\
&= (E[X^2]-E[X]^2) + (E[Y^2]-E[Y]^2) (XとYが独立なら E[XY]=E[X]E[Y]) \\
&= V[X] + V[Y]
\end{align}
$$

(6) \(Cov(X,Y) = E[XY] – E[X]E[Y]\)

$$
\begin{align}
Cov(X,Y) &= \frac{1}{n} \sum_{k=1}^{n} (x_i-E[X])(y_i-E[Y]) \\
&=E[(X-E[X])(Y-E[Y])] \\
&=E[XY – XE[Y] – YE[X] + E[X]E[Y]] \\
&=E[XY] – E[X]E[Y]
\end{align}
$$
上記において、\(X=Y\)であれば\(V[X]\)に一致し、\(Cov(X,Y)=V[X]\)も成立している。

・参考

https://www.amazon.co.jp/dp/4130420658