下記などで取り扱った、回帰の重要な式に関する問題演習を通した理解ができるように問題・解答・解説をそれぞれ作成しました。
https://www.hello-statisticians.com/explain-terms-cat/regression1.html
Contents
基本問題
回帰分析の問題設定と最小二乗法
・問題
$$
\large
\begin{align}
\left(\begin{array}{c} x \\ y \end{array}\right) = \left(\begin{array}{c} 1 \\ 1 \end{array}\right), \left(\begin{array}{c} 2 \\ 2 \end{array}\right)
\end{align}
$$
上記のサンプルが観測されたとき、以下の問いに答えよ。
i) 二点を通る直線の式を求めよ。
ⅱ) さらに観測を続けた際に$\displaystyle \left(\begin{array}{c} 3 \\ 3 \end{array}\right)$が得られたとする。i)で求めた直線はこの点を通るかどうかについて判定せよ。
ⅲ) 下記のようなサンプルが得られた際に、$y=ax+b$で近似することを考える。
$$
\begin{align}
\left(\begin{array}{c} x \\ y \end{array}\right) = \left(\begin{array}{c} 1 \\ 1 \end{array}\right), \left(\begin{array}{c} 2 \\ 2 \end{array}\right), \left(\begin{array}{c} 3 \\ 2 \end{array}\right), \left(\begin{array}{c} 2 \\ 3 \end{array}\right), \left(\begin{array}{c} 3 \\ 5 \end{array}\right)
\end{align}
$$
最小二乗法で近似するすると考えた際の二乗和$S(a,b)$を求めよ。ただし、サンプル$\displaystyle \left(\begin{array}{c} x_1 \\ y_1 \end{array}\right), …, \left(\begin{array}{c} x_n \\ y_n \end{array}\right)$に対して、二乗和$S(a,b)$は下記のように計算できるものとし、二乗それぞれの展開は行わなくて良いものとする。
$$
\large
\begin{align}
S(a, b) = \sum_{i=1}^{n} (y_i-ax_i-b)^2
\end{align}
$$
iv) ⅲ)の式に$S(a,b)=S(1,0), S(1,1), S(2,0)$を代入し、それぞれ値を計算せよ。
v) $S(a,b)$のaとbに関する偏微分を計算し、$S(a,b)$を最小にする$a$と$b$の値を求めよ。
・解答
i)
$y=ax+b$に$\displaystyle \left(\begin{array}{c} x \\ y \end{array}\right) = \left(\begin{array}{c} 1 \\ 1 \end{array}\right), \left(\begin{array}{c} 2 \\ 2 \end{array}\right)$を代入し、$a$と$b$の連立方程式を作成すると下記のようになる。
$$
\large
\begin{align}
1 = a + b \\
2 = 2a + b
\end{align}
$$
上記を解くことで、$a=1$、$b=0$を得ることができる。よって求める直線の式は$y=x$となる。
ⅱ)
$y=x$に$x=3$、$y=3$を代入しても成立するので、$y=x$は$\displaystyle \left(\begin{array}{c} 3 \\ 3 \end{array}\right)$を通る。
ⅲ)
二乗和$S(a,b)$は下記のように求めることができる。
$$
\begin{align}
S(a, b) &= \sum_{i=1}^{n} (y_i-ax_i-b)^2 \\
&= (1-a-b)^2 + (2-2a-b)^2 + (2-3a-b)^2 + (3-2a-b)^2 + (5-3a-b)^2
\end{align}
$$
iv)
$S(a,b)=S(1,0), S(1,1), S(2,0)$の値はそれぞれ下記のようになる。
$$
\begin{align}
S(1, 0) &= (1-1-0)^2 + (2-2-0)^2 + (2-3-0)^2 + (3-2-0)^2 + (5-3-0)^2 \\
&= 0^2 + 0^2 + (-1)^2 + 1^2 + 2^2 \\
&= 6
\end{align}
$$
$$
\begin{align}
S(1, 1) &= (1-1-1)^2 + (2-2-1)^2 + (2-3-1)^2 + (3-2-1)^2 + (5-3-1)^2 \\
&= (-1)^2 + (-1)^2 + (-2)^2 + 0^2 + 1^2 \\
&= 7
\end{align}
$$
$$
\begin{align}
S(2, 0) &= (1-2-0)^2 + (2 – 2 \cdot 2 – 0)^2 + (2 – 3 \cdot 2 – 0)^2 + (3 – 2 \cdot 2 – 0)^2 + (5 – 3 \cdot 2 – 0)^2 \\
&= (-1)^2 + (-2)^2 + (-4)^2 + (-1)^2 + (-1)^2 \\
&= 23
\end{align}
$$
v)
$$
\begin{align}
S(a, b) &= \sum_{i=1}^{n} (y_i-ax_i-b)^2 \\
&= (1-a-b)^2 + (2-2a-b)^2 + (2-3a-b)^2 + (3-2a-b)^2 + (5-3a-b)^2
\end{align}
$$
上記の二乗和$S(a,b)$を$a$と$b$に関して偏微分を行う。
$$
\begin{align}
\frac{\partial S(a, b)}{\partial a} &= -2(1-a-b) – 2(2-2a-b) \cdot 2 – 2(2-3a-b) \cdot 3 – (3-2a-b) \cdot 2 + -2(5-3a-b) \cdot 3 \\
&= 32-27a-11b
\end{align}
$$
$$
\begin{align}
\frac{\partial S(a, b)}{\partial b} &= -2(1-a-b) – 2(2-2a-b) – 2(2-3a-b) – (3-2a-b) + -2(5-3a-b) \\
&= 13-11a-5b
\end{align}
$$
ここで$32-27a-11b=0$と$13-11a-5b=0$が同時に成り立つ$a$と$b$はそれぞれ、$\displaystyle a = \frac{17}{14}, b = -\frac{1}{14}$となる。
・解説
v)で求めた最適解がiv)で求めた中で$S(a,b)$が一番小さかった$a=1, b=0$に近い値であることは着目しておくと良いと思います。
回帰式の公式の導出とその理解
・問題
$$
\begin{align}
S(a, b) = \sum_{i=1}^{n} (y_i-ax_i-b)^2
\end{align}
$$
$y=ax+b$のように回帰式を求めるにあたっては上記のような二乗誤差を最小にする$a, b$を選ぶというのが一般的な手法であり、最小二乗法と呼ばれる。この際に$S(a,b)$を最小にする$a, b$を求めるにあたって、先に各サンプルの代入を行ったのちに計算する方法もあるが、計算が多くなることから先に$a,b$をサンプルの式で求めたのちにそれぞれ値を代入するという方法の方が用いられることが多い。
以下、$a,b$の導出に関する下記の問題に答えよ。
i) $S(a,b)$を$a, b$についてそれぞれ偏微分せよ。
ⅱ) $S(a,b)$の最小点ではi)で求めた$2$式が$0$に一致すると考え、作成する方程式を正規方程式(normal equation)という。aとbの連立方程式の形式でこの正規方程式を表せ。ただし、$x_i$と$y_i$の平均をそれぞれ$\bar{x}$、$\bar{y}$とし、それらを表記になるべく用いるものとする。
ⅲ) ⅱ)で作成した連立方程式を$a$と$b$について解け。
iv) ⅲ)で導出した式を元に、$y=x$で近似される時のサンプルを作成せよ。ただし、全てのサンプルが$y=x$上の点ではあってはならないとする。
v) iv)で求めた点を元に$S(a,b)$の関数を計算し、$S(a,b)$が最小となる際に$a=1, b=0$に一致することを確かめよ。
・解答
i)
合成関数の微分の考え方を用いて、偏微分はそれぞれ下記のようになる。
$$
\large
\begin{align}
\frac{\partial S(a, b)}{\partial a} &= -2 \sum_{i=1}^{n} (y_i-ax_i-b)x_i \\
\frac{\partial S(a, b)}{\partial b} &= -2 \sum_{i=1}^{n} (y_i-ax_i-b)
\end{align}
$$
ⅱ)
i)で求めた$\displaystyle \frac{\partial S(a, b)}{\partial a}, \frac{\partial S(a, b)}{\partial b}$をそれぞれ$\displaystyle \sum_{i=1}^{n}$に着目して整理する。$\displaystyle \frac{\partial S(a, b)}{\partial a}$より確認する。
$$
\large
\begin{align}
\frac{\partial S(a, b)}{\partial a} &= -2 \sum_{i=1}^{n} (y_i-ax_i-b)x_i \\
&= -2 \sum_{i=1}^{n} (x_iy_i-ax_i^2-bx_i) \\
&= -2 \left( \sum_{i=1}^{n} x_iy_i – a \sum_{i=1}^{n} x_i^2 – b \sum_{i=1}^{n} x_i \right) \\
&= -2 \left( \sum_{i=1}^{n} x_iy_i – a \sum_{i=1}^{n} x_i^2 – b(n \bar{x}) \right) \\
&= -2 \left( \sum_{i=1}^{n} x_iy_i – a \sum_{i=1}^{n} x_i^2 – nb \bar{x} \right)
\end{align}
$$
上記が$0$となることから、さらに式を整理する。
$$
\large
\begin{align}
-2 \left( \sum_{i=1}^{n} x_iy_i – a \sum_{i=1}^{n} x_i^2 – nb \bar{x} \right) &= 0 \\
\sum_{i=1}^{n} x_iy_i – a \sum_{i=1}^{n} x_i^2 – nb \bar{x} &= 0 \\
\left( \sum_{i=1}^{n} x_i^2 \right) a + n \bar{x} b &= \sum_{i=1}^{n} x_iy_i
\end{align}
$$
次に$\displaystyle \frac{\partial S(a, b)}{\partial b}$について確認する。
$$
\large
\begin{align}
\frac{\partial S(a, b)}{\partial b} &= -2 \sum_{i=1}^{n} (y_i-ax_i-b) \\
&= -2 \left( \sum_{i=1}^{n} y_i – a \sum_{i=1}^{n} x_i – nb \right) \\
&= -2 (n \bar{y} – na \bar{x} – nb)
\end{align}
$$
上記が$0$となることから、さらに式を整理する。
$$
\large
\begin{align}
-2 (n \bar{y} – na \bar{x} – nb) &= 0 \\
n \bar{y} – na \bar{x} – nb &= 0 \\
(n \bar{x}) a + nb &= n \bar{y}
\end{align}
$$
ここまでの導出により、正規方程式は下記の連立方程式で表すことができる。
$$
\large
\begin{align}
& \left( \sum_{i=1}^{n} x_i^2 \right) a + (n \bar{x}) b = \sum_{i=1}^{n} x_iy_i \\
& (n \bar{x}) a + nb = n \bar{y}
\end{align}
$$
ⅲ)
ⅱ)の結果の$2$つ目の式に$\bar{x}$をかけると下記のようになる。
$$
\large
\begin{align}
\left( \sum_{i=1}^{n} x_i^2 \right) a + (n \bar{x}) b &= \sum_{i=1}^{n} x_iy_i \\
(n \bar{x}^2) a + (n \bar{x}) b &= n \bar{x} \bar{y}
\end{align}
$$
上記の$2$式の差を取ると、$b$に関する項を消去することができ、下記のように$a$の値を求めることができる。
$$
\begin{align}
\left( \sum_{i=1}^{n} x_i^2 – n \bar{x}^2 \right) a &= \sum_{i=1}^{n} x_iy_i – n \bar{x} \bar{y} \\
a &= \frac{\displaystyle \sum_{i=1}^{n} x_iy_i – n \bar{x} \bar{y}}{\displaystyle \sum_{i=1}^{n} x_i^2 – n \bar{x}^2}
\end{align}
$$
また、aがわかれば、$n \bar{x} a + nb = n \bar{y}$より、下記のようにbを求めることができる。
$$
\large
\begin{align}
n \bar{x} a + nb &= n \bar{y} \\
\bar{x} a + b &= \bar{y} \\
b &= \bar{y} – \bar{x} a
\end{align}
$$
iv)
$$
\large
\begin{align}
a &= \frac{\displaystyle \sum_{i=1}^{n} x_iy_i – n \bar{x} \bar{y}}{\displaystyle \sum_{i=1}^{n} x_i^2 – n \bar{x}^2} = 1 \\
b &= \bar{y} – \bar{x} a = 0
\end{align}
$$
上記を整理すると下記のような式が導出できる。
$$
\large
\begin{align}
\sum_{i=1}^{n}x_i(y_i-x_i) &= 0 \\
\bar{y} &= \bar{x}
\end{align}
$$
上記が成立するように$x_i, y_i$を考えると、下記がサンプル群の一例となる。
$$
\large
\begin{align}
\left(\begin{array}{c} 1 \\ 1 \end{array}\right), \left(\begin{array}{c} 2 \\ 2 \end{array}\right), \left(\begin{array}{c} 0 \\ 1 \end{array}\right), \left(\begin{array}{c} 0 \\ -1 \end{array}\right), \left(\begin{array}{c} 0 \\ 0 \end{array}\right)
\end{align}
$$
v)
$S(a,b)$を計算すると下記のようになる。
$$
\large
\begin{align}
S(a, b) &= \sum_{i=1}^{n} (y_i-ax_i-b)^2 \\
&= (1-a-b)^2 + (2-2a-b)^2 + (1-b)^2 + (-1-b)^2 + b^2 \\
&= 5a^2 + 6ab + 3b^2 – 10a – 6b + 7
\end{align}
$$
上記の$a, b$に関する偏微分は下記のようになる。
$$
\large
\begin{align}
\frac{\partial S(a, b)}{\partial a} &= 10a + 6b – 10 = 0 \\
\frac{\partial S(a, b)}{\partial b} &= 6a + 6b – 6 = 0
\end{align}
$$
上記を解くことで$a=1, b=0$となり、回帰式は$y=x$となる。
・解説
ⅲ)の導出結果が公式となるので、これは抑えておくと良いです。係数の$a$の値は$x$と$y$の共分散を$x$の分散で割った値と見ることもできることも知っておくと良いと思います。
発展問題
最小二乗法の導出結果と相関係数
・問題
サンプル$(x_1,y_1), …, (x_n,y_n)$が観測された時、これを$y_i=ax_i+b$で近似することを考える。この時、最小二乗法を用いることで、$a, b$は下記のように計算することができる。
$$
\large
\begin{align}
a &= \frac{\displaystyle \sum_{i=1}^{n} x_iy_i – n \bar{x} \bar{y}}{\displaystyle \sum_{i=1}^{n} x_i^2 – n \bar{x}^2} \\
b &= \bar{y} – \bar{x} a
\end{align}
$$
上記において、$\bar{x},\bar{y}$はそれぞれ$x_i, y_i$の平均であるとする。このように表した$a, b$について下記の問いに答えよ。
i) $x_i$の不偏標本分散を$s_x^2$と表記するとした時、$s_x^2$について下記が成立することを示せ。
$$
\large
\begin{align}
s_x^2 = \frac{1}{n-1} \left( \sum_{i=1}^{n} x_i^2 – n \bar{x}^2 \right)
\end{align}
$$
ⅱ) $(x_i,y_i)$の不偏標本共分散を$s_{xy}$と表記するとした時、$s_{xy}$について下記が成立することを示せ。
$$
\large
\begin{align}
s_{xy} = \frac{1}{n-1} \left( \sum_{i=1}^{n} x_iy_i – n \bar{x} \bar{y} \right)
\end{align}
$$
ⅲ) 回帰式の係数$a$は下記のように表すことができることを示せ。
$$
\large
\begin{align}
a &= \frac{s_{xy}}{s_x^2}
\end{align}
$$
iv) 相関係数の式は下記のように表すことができる。
$$
\large
\begin{align}
r &= \frac{\displaystyle \sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\displaystyle \sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2}\sqrt{\sum_{i=1}^{n}(y_i-\bar{y})^2}}
\end{align}
$$
$x_i$の不偏標本分散を$s_x^2$、$y_i$の不偏標本分散を$s_y^2$、$(x_i,y_i)$の不偏標本共分散を$s_{xy}$とするとき、相関係数$r$を$s_x^2$、$s_y^2$、$s_{xy}$を用いて表せ。
v) 相関係数$r$と回帰式の係数$a$の関係式を書け。ただし、$r$、$a$、$s_x^2$、$s_y^2$、$s_{xy}$以外の文字は用いてはいけないものとする。
・解答
i)
確率変数$X$の期待値を$E[X]$、分散を$V[X]$とする。このとき、$s_x^2$は下記のように導出できる。
$$
\large
\begin{align}
s_x^2 &= \frac{n}{n-1} V[X] \\
&= \frac{n}{n-1} (E[X^2]-E[X]^2) \\
&= \frac{1}{n-1} (nE[X^2] – nE[X]^2) \\
&= \frac{1}{n-1} \left( \sum_{i=1}^{n}x_i^2 – n \bar{x}^2 \right)
\end{align}
$$
途中式で$V[X]=E[X^2]-E[X]^2$が成立することを利用した。
ⅱ)
確率変数$X$の期待値を$E[X]$、$Y$の期待値を$E[Y]$、$X$と$Y$の共分散を$Cov(X,Y)$とする。このとき、$s_{xy}$は下記のように導出できる。
$$
\large
\begin{align}
s_{xy} &= \frac{n}{n-1} Cov(X,Y) \\
&= \frac{n}{n-1} (E[XY] – E[X]E[Y]) \\
&= \frac{1}{n-1} (nE[XY] – nE[X]E[Y]) \\
&= \frac{1}{n-1} \left( \sum_{i=1}^{n}x_iy_i – n \bar{x}\bar{y} \right)
\end{align}
$$
途中式で$Cov(X,Y) = E[XY] – E[X]E[Y]$が成立することを利用した。
ⅲ)
i)の導出結果をⅱ)で割ることで、係数$a$の式を導出することができる。
$$
\large
\begin{align}
\frac{s_{xy}}{s_x^2} &= \frac{\displaystyle \sum_{i=1}^{n} x_iy_i – n \bar{x} \bar{y}}{\displaystyle \sum_{i=1}^{n} x_i^2 – n \bar{x}^2} \\
&= a
\end{align}
$$
iv)
i)〜ⅲ)と同様に考えて、下記が導出できる。
$$
\large
\begin{align}
r &= \frac{\displaystyle \sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\displaystyle \sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2}\sqrt{\sum_{i=1}^{n}(y_i-\bar{y})^2}} \\
&= \frac{s_{xy}}{\sqrt{s_x^2}\sqrt{s_y^2}}
\end{align}
$$
v)
ⅲ)の式より$s_{xy} = s_{x}^2 a$となるので、これをiv)の式に代入する。
$$
\large
\begin{align}
r &= \frac{s_{xy}}{\sqrt{s_x^2}\sqrt{s_y^2}} \\
&= \frac{s_{x}^2}{\sqrt{s_x^2}\sqrt{s_y^2}} a \\
&= \sqrt{\frac{s_{x}^2}{s_{y}^2}} a
\end{align}
$$
回帰の効果と決定係数
・問題
サンプル$(x_i,y_i)$に関して$\hat{y}_i=ax_i+b$で近似を行った際に、最小二乗法を用いてaを求めると下記のようになる。
$$
\large
\begin{align}
a &= \frac{s_{xy}}{s_x^2} \\
&= \frac{\displaystyle \sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\displaystyle \sum_{i=1}^{n}(x_i-\bar{x})^2} \qquad (1)
\end{align}
$$
このとき、以下にそれぞれ答えよ。
i) $(1)$式より下記の式を導出せよ。
$$
\large
\begin{align}
\sum_{i=1}^{n}(x_i-\bar{x})( y_i – \bar{y} – a(x_i-\bar{x}) ) = 0
\end{align}
$$
ⅱ) i)で導出した式において、$\bar{y}=a\bar{x}+b$が成立することを利用して、下記の式を導出せよ。
$$
\large
\begin{align}
\sum_{i=1}^{n}(x_i-\bar{x})( y_i – (ax_i+b) ) = 0
\end{align}
$$
ⅲ) ⅱ)で導出した式において、$\hat{y}_i-\bar{y} = a(x_i-\bar{x})$や$\hat{y}_i=ax_i+b$が成立することを利用して、下記の式を導出せよ。
$$
\large
\begin{align}
\sum_{i=1}^{n} (\hat{y}_i-\bar{y})(y_i-\hat{y_i}) = 0
\end{align}
$$
iv) ⅲ)で導出した式などを用いて下記が成立することを示せ。
$$
\large
\begin{align}
\sum_{i=1}^{n} (y_i-\bar{y})^2 = \sum_{i=1}^{n} (y_i-\hat{y}_i)^2 + \sum_{i=1}^{n} (\hat{y}_i-\bar{y})^2
\end{align}
$$
v) iv)の式の解釈について述べよ。
・解答
i)
下記のように導出することができる。
$$
\large
\begin{align}
\frac{\displaystyle \sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\displaystyle \sum_{i=1}^{n}(x_i-\bar{x})^2} &= a \\
\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y}) &= a \sum_{i=1}^{n}(x_i-\bar{x})^2 \\
\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y}) &= \sum_{i=1}^{n} a(x_i-\bar{x})^2 \\
\sum_{i=1}^{n}(x_i-\bar{x})( y_i – \bar{y} – a(x_i-\bar{x}) ) &= 0
\end{align}
$$
ⅱ)
$\bar{y}=a\bar{x}+b$を用いることで下記のように導出することができる。
$$
\large
\begin{align}
\large
\sum_{i=1}^{n}(x_i-\bar{x})( y_i – \bar{y} – a(x_i-\bar{x}) ) &= 0 \\
\sum_{i=1}^{n}(x_i-\bar{x})( y_i – (a\bar{x}+b) – a(x_i-\bar{x}) ) &= 0 \\
\sum_{i=1}^{n}(x_i-\bar{x})( y_i – (ax_i+b) ) &= 0
\end{align}
$$
ⅲ)
$\hat{y}_i-\bar{y} = a(x_i-\bar{x})$と$\hat{y}_i=ax_i+b$が成立することを用いることで、下記のように導出することができる。
$$
\large
\begin{align}
\sum_{i=1}^{n}(x_i-\bar{x})( y_i – (ax_i+b) ) &= 0 \\
\sum_{i=1}^{n} \frac{(y_i-\bar{y})}{a}( y_i – \hat{y_i} ) &= 0 \\
\sum_{i=1}^{n} (\hat{y}_i-\bar{y})(y_i-\hat{y}_i) &= 0
\end{align}
$$
iv)
ⅲ)で導出した$\displaystyle \sum_{i=1}^{n} (\hat{y}_i-\bar{y})(y_i-\hat{y}_i) = 0$を元に下記のように導出することができる。
$$
\large
\begin{align}
\sum_{i=1}^{n} (y_i-\bar{y})^2 &= \sum_{i=1}^{n} (y_i-\hat{y}_i+\hat{y}_i-\bar{y})^2 \\
&= \sum_{i=1}^{n} ((y_i-\hat{y}_i)+(\hat{y}_i-\bar{y}))^2 \\
&= \sum_{i=1}^{n} ((y_i-\hat{y}_i)^2+(\hat{y}_i-\bar{y})^2+2(y_i-\hat{y}_i)(\hat{y}_i-\bar{y})) \\
&= \sum_{i=1}^{n} (y_i-\hat{y}_i)^2 + \sum_{i=1}^{n} (\hat{y}_i-\bar{y})^2 + 2\sum_{i=1}^{n} (y_i-\hat{y}_i)(\hat{y}_i-\bar{y})) \\
&= \sum_{i=1}^{n} (y_i-\hat{y}_i)^2 + \sum_{i=1}^{n} (\hat{y}_i-\bar{y})^2
\end{align}
$$
v)
iv)で導出した$\displaystyle \sum_{i=1}^{n} (y_i-\bar{y})^2 = \sum_{i=1}^{n} (y_i-\hat{y}_i)^2 + \sum_{i=1}^{n} (\hat{y}_i-\bar{y})^2$は回帰の効果を表していると考えることができる。左辺は「各サンプル$y_i$の平均$\bar{y}$からの散らばりの度合い」を表しており、右辺は「予測値$\hat{y}_i$と実測$y_i$の差」と「予測値$\hat{y}_i$と平均$\bar{y}$の差」の二つに式を分解している。
このうち「予測値$\hat{y}_i$と平均$\bar{y}$の差」が回帰の効果を表しており、この値を左辺の「各サンプル$y_i$の平均$\bar{y}$からの散らばりの度合い」で割ることで、下記のように決定係数$\eta^2$を定義し、決定係数について考えることも多い。
$$
\large
\begin{align}
\eta^2 = \frac{\displaystyle \sum_{i=1}^{n} (y_i-\hat{y}_i)^2}{\displaystyle \sum_{i=1}^{n} (y_i-\bar{y})^2}
\end{align}
$$
決定係数と相関係数
・問題
サンプル$(x_i,y_i)$に関して$\hat{y}_i=ax_i+b$で近似を行った際の回帰の効果を考えると下記のようになる。
$$
\begin{align}
\sum_{i=1}^{n} (y_i-\bar{y})^2 = \sum_{i=1}^{n} (y_i-\hat{y}_i)^2 + \sum_{i=1}^{n} (\hat{y}_i-\bar{y})^2
\end{align}
$$
また、独立変数$x$が従属変数$y$を決定する度合いを表す決定係数$\eta^2$を下記のように定義する。
$$
\large
\begin{align}
\eta^2 = \frac{\displaystyle \sum_{i=1}^{n} (\hat{y}_i-\bar{y})^2}{\displaystyle \sum_{i=1}^{n} (y_i-\bar{y})^2}
\end{align}
$$
上記の式を元に以下の問題に答えよ。
i) $\hat{y}_i-\bar{y}=a(x_i-\bar{x})$、$\displaystyle a=r \sqrt{\frac{s_y^2}{s_x^2}}$を活用し、下記を導出せよ。
$$
\begin{align}
\sum_{i=1}^{n} (\hat{y}_i-\bar{y})^2 = r^2 \sum_{i=1}^{n} (y_i-\bar{y})^2
\end{align}
$$
ⅱ) $\eta^2=r^2$を導出せよ。
ⅲ) ⅱ)で導出した$\eta^2=r^2$の解釈を述べよ。
iv) $r=1$となるサンプルの例を挙げよ。ただしサンプル数は$n=5$とする。
v) iv)で作成したサンプルの決定係数$\eta^2$を計算し、$\eta^2=1$が成り立つことを確認せよ。
・解答
i)
$$
\large
\begin{align}
\sum_{i=1}^{n} (\hat{y}_i-\bar{y})^2 &= \sum_{i=1}^{n} a^2(x_i-\bar{x})^2 \\
&= r^2 \frac{s_y^2}{s_x^2} \cdot \sum_{i=1}^{n} (x_i-\bar{x})^2 \\
&= r^2 \frac{s_y^2}{s_x^2} \cdot s_x^2 \\
&= r^2 s_y^2 \\
&= r^2 \sum_{i=1}^{n} (y_i-\bar{y})^2
\end{align}
$$
ⅱ)
i)で導出した式を$\eta^2$の定義式に代入すればよい。
$$
\large
\begin{align}
\eta^2 &= \frac{\displaystyle \sum_{i=1}^{n} (\hat{y}_i-\bar{y})^2}{\displaystyle \sum_{i=1}^{n} (y_i-\bar{y})^2} \\
&= \frac{\displaystyle r^2 \sum_{i=1}^{n} (y_i-\bar{y})^2}{\displaystyle \sum_{i=1}^{n} (y_i-\bar{y})^2} \\
&= r^2
\end{align}
$$
ⅲ)
決定係数$\eta^2$は回帰を用いた予測の効果についての度合いを取り扱っている一方で、相関係数の$r^2$は$y$と$x$の連動の度合いを表している。ⅱ)で$\eta^2=r^2$を示したことにより、最小二乗法によって予測した場合の予測の効果は$x$と$y$の連動の度合いに一致することがわかったと考えると良い。
iv)
下記のようにサンプルを考えると、相関係数$r=1$となる。
$$
\large
\begin{align}
\left(\begin{array}{c} x \\ y \end{array}\right) = \left(\begin{array}{c} 1 \\ 1 \end{array}\right), \left(\begin{array}{c} 2 \\ 2 \end{array}\right), \left(\begin{array}{c} 3 \\ 3 \end{array}\right), \left(\begin{array}{c} 4 \\ 4 \end{array}\right), \left(\begin{array}{c} 5 \\ 5 \end{array}\right)
\end{align}
$$
v)
iv)で作成したサンプルは全て$y=x$の点となるため、$\hat{y}_i = y_i$となるため、$\eta^2$の定義式より、$\eta^2=1$となる。
最良線型不偏推定量に関して
・問題
「基礎統計学Ⅰ 統計学入門(東京大学出版会)」の章末問題の11.2を主に参考にする。
標本$X_1, X_2$に基づく$\mu$の推定量を$aX_1+bX_2$のように考えるとする。
このとき以下の問題に答えよ。
i) 推定量$aX_1+bX_2$が不偏性を持つには$a+b=1$となる必要があることを導出せよ。
・解答
i)
推定量$aX_1+bX_2$が不偏性を持つには$E[aX_1+bX_2]=E[X_1]=E[X_2]$が成立する必要がある。これより$a+b=1$が導出できる。
参考書籍
・基礎統計学Ⅰ 統計学入門(東京大学出版会)
第$3$章と第$13$章を主に参考にしました。
