この記事では時系列データ解析の文脈で出てくる偏自己相関の概念について解説します．
偏自己相関とは，時系列データ${ y_t }$のラグ$h$時点 $t-h$と時点$t$の間に存在する$h-1$個の観測値$y_{t-h+1}, \dots, y_{t-1}$の影響を除去したあとの$y_{t-h}$と$y_t$の相関のことです．この相関をどのように定義するのか，見ていきましょう．

定義（定常性）

時間$t$のときに確率変数$y_t$の値をとる時系列データ${ y_t }$を考えます．ここで，${ y_t }$は定常性を仮定しておきます．定常性とは，平均が時間$t$によらず一定であり，分散が時間差のみに依存するという仮定です.しっかり書くと次のようになります．

時系列データ${ y_t }$が定常過程であるとは
$$
\begin{array}{l}
E(y_t) = \mu \\
\mathop{\rm Cov}(y_s, y_t) =\gamma _{|s-t|} \ \ ({\rm 時間差のみに依存})
\end{array}
$$
であることをいう．

偏自己相関とは

今，$y_t$と$y_{t-h}$が「どれくらい関係があるか」を知りたいとします．「どれくらい関係があるか」を知る方法としてまず共分散を求めるという方法が考えられますよね．共分散が0であれば全く関係がない，そうでなければ関係があると考えるわけです．
しかし，この考え方はあまりうまくいきません．例えば，時系列データがAR(1)モデル
$$
y_t = a y_{t-1} + \epsilon
$$
で与えられる場合，$y_t$の値を決めるのは一時点前の値$y_{t-1}$のみですから，$y_t$と$y_{t-2}$の共分散は0（全く関係がない）と出て欲しい気持ちがあります．しかし，$y_{t-1} = a y_{t-2} + \epsilon$を上の式に代入すると
$$
y_t = a^2 y_{t-2} + a\epsilon + \epsilon
$$
となるので，$y_t$と$y_{t-2}$の共分散$ \mathop{\rm Cov} (y_t, y_{t-2})$は
$$
\mathop{\rm Cov} (y_t, y_{t-2}) = \mathop{\rm Cov} (a^2 y_{t-2} + a\epsilon + \epsilon, y_{t-2}) = \mathop{\rm Cov} (a^2 y_{t-2}, y_{t-2})=a^2\gamma _0 \neq 0
$$
となり，0になりません．普通の共分散では我々が知りたい「本当に関係があるかどうか」という性質を必ずしも表していないことがわかります．

この問題を解決するために，$y_t$と$y_{t-h}$の共分散を分解することを考えます．つまり，$y_t$と$y_{t-h}$の共分散を$y_t$と$y_{t-1}$の共分散，$y_t$と$y_{t-2}$の共分散，…の線型和で表されると考えるわけです．
$$
y_tとy_{t-h}の共分散=\alpha_1^{h}(y_{t-1}とy_{t-h}の共分散)+\alpha_2^{h}(y_{t-2}とy_{t-h}の共分散)+ \dots + \alpha_h^{h}(y_{t-h}とy_{t-h}の共分散)
$$
このように分解すると，$y_t$と$y_{t-h}$の共分散から$h-1$個の観測値$y_{t-h+1}, \dots, y_{t-1}$の影響を除去したものは
$$
\alpha_h^{h}(y_{t-h}とy_{t-h}の共分散)
$$
となります．つまり，ここで現れる係数$\alpha_h^{h}$が$y_t$と$y_{t-h}$の「本当の」相関の情報を持っていると考えることができます．これを偏自己相関といいます．

偏自己相関の計算

では実際に偏自己相関係数を計算してみましょう．次の等式が成り立つように係数$\alpha_i^{h}$を求めます．
$$
y_t – \mu = \alpha_1^{h} (y_{t-1}-\mu)+\alpha_2^{h} (y_{t-2}-\mu)+\dots +\alpha_{h-1}^{h} (y_{t-h+1}-\mu)+\alpha_{h}^{h} (y_{t-h}-\mu)
$$
両辺に$(y_{t-h}-\mu)$をかけて期待値を取ると
$$
y_tとy_{t-h}の共分散=\alpha_1^{h}(y_{t-1}とy_{t-h}の共分散)+\alpha_2^{h}(y_{t-2}とy_{t-h}の共分散)+ \dots + \alpha_h^{h}(y_{t-h}とy_{t-h}の共分散)
$$
であるので，確かに$\alpha_{h}^{h}$が我々の求めたいものです．

両辺に$(y_{t-1}-\mu)$をかけて期待値をとると，$\mathop{\rm Cov}(y_s, y_t)=\gamma {|s-t|}$であったから
$$
\gamma_1 = \alpha_1^{h}\gamma_0 + \alpha_2^{h}\gamma_1 + \dots + \alpha_h^{h}\gamma_{h-1}
$$
同様に，両辺に$(y_{t-2}-\mu)$をかけて期待値をとると，
$$
\gamma_2 = \alpha_1^{h}\gamma_1 + \alpha_2^{h}\gamma_0 + \dots + \alpha_h^{h}\gamma_{h-2}
$$
両辺に$(y_{t-3}-\mu)$をかけて期待値をとると，
$$
\gamma_3 = \alpha_1^{h}\gamma_2 + \alpha_2^{h}\gamma_1 + \dots + \alpha_h^{h}\gamma_{h-3}
$$
これを続けていって，最後両辺に$(y_{t-h}-\mu)$をかけて期待値をとると，
$$
\gamma_h = \alpha_1^{h}\gamma_{h-1} + \alpha_2^{h}\gamma_{h-2} + \dots + \alpha_h^{h}\gamma _0
$$
これらをつなげて行列表示すると次のようになります．
$$
\left( \begin{array}{l}
\gamma_1 \\
\gamma_2 \\
\vdots \\
\gamma_h
\end{array}
\right)
=
\left(
\begin{array}{lll}
\gamma_0 & \gamma_1 & \dots & \gamma_{h-1} \\
\gamma_1 & \gamma_0 & \dots & \gamma_{h-2} \\
\vdots & \vdots &&\vdots \\
\gamma_{h-1} & \gamma_{h-2} & \dots & \gamma_{0} \\
\end{array}
\right)
\left(
\begin{array}{l}
\alpha_1^{h} \\
\alpha_2^{h} \\
\vdots \\
\alpha_h^{h}
\end{array}
\right)
$$

よって，$\alpha _h^h$は次の式で求められます．
$$
\left(
\begin{array}{l}
\alpha_1^{h} \\
\alpha_2^{h} \\
\vdots \\
\alpha_h^{h}
\end{array}\right)
=
{\left(
\begin{array}{lll}
\gamma_0 & \gamma_1 & \dots & \gamma_{h-1} \\
\gamma_1 & \gamma_0 & \dots & \gamma_{h-2} \\
\vdots & \vdots &&\vdots \\
\gamma_{h-1} & \gamma_{h-2} & \dots & \gamma_{0} \\
\end{array}
\right)
}^{-1}
\left(
\begin{array}{l}
\gamma_1 \\
\gamma_2 \\
\vdots \\
\gamma_h
\end{array}
\right)
$$

AR(1)モデルの場合

上の式を使って実際に偏自己相関係数を計算してみましょう．AR(1)モデル
$$
\begin{eqnarray}
y_t = \phi y_{t-1} + \epsilon \\
\epsilon \sim \mathcal{N}(0, \sigma)
\end{eqnarray}
$$
を考えます．

準備として，平均と共分散を計算しておきます．定常性から，平均$\mu$は
$$
\mu = \phi \mu + 0 \Leftrightarrow \mu = 0
$$
分散$\gamma_0$は
$$
\gamma_0 = \phi ^2 \gamma_0 + \sigma ^2 \Leftrightarrow \gamma_0 = \frac{\sigma ^2}{1-\phi ^2}
$$
共分散$\gamma_1$は
$$
\gamma_1 = \mathop{\rm Cov} (y_t , y_{t+1}) = \mathop{\rm Cov} (y_t , \phi y_{t} + \epsilon) = \phi \mathop{\rm Cov} (y_t , \phi y_{t}) = \phi \gamma _0 = \frac{\sigma ^2}{1-\phi ^2} \phi
$$
以下同様に計算すると，共分散$\gamma _k$は
$$
\frac{\sigma ^2}{1-\phi ^2} \phi ^k
$$
となります．

ラグ1の偏自己相関を考えます．求める偏自己相関$\alpha_1^{1}$は上で求めた公式から
$$
\alpha _1^{1} = \gamma _0^{-1} \gamma _1 = \phi
$$
ラグ2の偏自己相関を考えます．求める偏自己相関$\alpha_1^{1}$は上で求めた公式から
$$
\left(
\begin{array}{l}
\alpha_1^{2} \\
\alpha_2^{2}
\end{array}
\right)
{\left(
\begin{array}{ll}
\gamma_0 & \gamma_1 \\
\gamma_1 & \gamma_0 \\
\end{array}
\right)
}^{-1}
\left(
\begin{array}{l}
\gamma_1 \\
\gamma_2
\end{array}
\right)
$$
計算すると
$$
\begin{eqnarray}
\left(
\begin{array}{l}
\alpha_1^{2} \\
\alpha_2^{2}
\end{array}
\right)
&=&
\frac{1}{\gamma_0^2 -\gamma_1^2}
{\left(
\begin{array}{cc}
\gamma_0 & -\gamma_1 \\
-\gamma_1 & \gamma_0 \\
\end{array}
\right)}
\left(
\begin{array}{l}
\gamma_1 \\
\gamma_2
\end{array}\right)
\\
&=&
\frac{1}{\gamma_0^2 -\gamma _1^2}
\left(
\begin{array}{c}
\gamma_0\gamma_1 – \gamma_1\gamma_2 \\
-\gamma_1 ^2 + \gamma_0\gamma_2
\end{array}
\right)
\end{eqnarray}
$$
$\gamma _k = \cfrac{\sigma ^2}{1-\phi ^2} \phi ^k $であるから，
$$
\alpha_2^2 = 0
$$
となり，「$y_t$と$y_{t-2}$は関係がない」という望ましい結果になりました．

補足：ラグ0の偏自己相関について

ラグ0の偏自己相関はいくつになるか？という問題ですが，上で定義した方法だとラグ0の場合は未定義になります．

偏自己相関の意味から考えるとそもそもラグ0の場合は定義するモチベーションがありませんが，もし定義するなら偏自己相関の定性的な意味「時系列データ${ y_t }$のラグ$h$時点 $t-h$と時点$t$の間に存在する$h-1$個の観測値$y_{t-h+1}, \dots, y_{t-1}$の影響を除去したあとの$y_{t-h}$と$y_t$の相関係数」で考えると，間に存在する観測値はなく，単に$y_{t}$と$y_t$の相関係数を考えればよいと解釈できるので，1と定義するのが妥当に思えます．実際Hamiltonでは明示的には書いていないものの，偏自己相関の例として示されてるグラフ上ではラグ0の場合の偏自己相関を1として表示しています．

参考文献

Time Series Analysis | Hamilton, James D. | Applied