二重中心化(double centering)の概要と$n$次正方行列における導出

「統計学実践ワークブック」の$26$章で取り扱われる「多次元尺度法(MDS; Multi-Dimensional scaling)」の導出に関連して二重中心化(double centering)が唐突に出てくるので、当記事では二重中心化の概要と$n$次正方行列における導出に関して取りまとめました。

・参考
多次元尺度構成法
https://www.hello-statisticians.com/explain-terms-cat/mds1.html

二重中心化の大枠

二重中心化の概要

$n \times n$単位行列を$I_{n}$、全ての要素が$1$の$n \times n$行列を$J_{n}$とおく。このとき$I_{n}, J_{n}$はそれぞれ下記のように表される。
$$
\large
\begin{align}
I_{n} &= \left(\begin{array}{ccc} 1 & \cdots & 0 \\ \vdots & \ddots & \vdots \\ 0 & \cdots & 1 \end{array} \right) \\
J_{n} &= \left(\begin{array}{ccc} 1 & \cdots & 1 \\ \vdots & \ddots & \vdots \\ 1 & \cdots & 1 \end{array} \right)
\end{align}
$$

このとき、$n \times n$行列$A$の左と右からそれぞれ$\displaystyle \left( I_{n}-\frac{1}{n}J_{n} \right)$をかけた$\displaystyle \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right)$の各行、各列の平均が$0$になる。このように$\displaystyle \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right)$を計算することを二重中心化(double centering)という。

$2 \times 2$正方行列における二重中心化

前項の内容はやや抽象的であるので、当項では$2 \times 2$正方行列を元に二重中心化が成立することを具体的に確認を行う。$A,I_{2},J_{2}$をそれぞれ下記のように定める。
$$
\large
\begin{align}
A &= \left(\begin{array}{cc} a & b \\ c & d \end{array} \right) \\
I_{n} &= \left(\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array} \right) \\
J_{n} &= \left(\begin{array}{cc} 1 & 1 \\ 1 & 1 \end{array} \right)
\end{align}
$$

このとき$\displaystyle \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right)$は下記のように計算できる。
$$
\large
\begin{align}
& \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right) \\
&= \frac{1}{2^2} \left(\begin{array}{cc} 1 & -1 \\ -1 & 1 \end{array} \right) \left(\begin{array}{cc} a & b \\ c & d \end{array} \right) \left(\begin{array}{cc} 1 & -1 \\ -1 & 1 \end{array} \right) \\
&= \frac{1}{2^2} \left(\begin{array}{cc} a-c & b-d \\ -a+c & -b+d \end{array} \right) \left(\begin{array}{cc} 1 & -1 \\ -1 & 1 \end{array} \right) \\
&= \frac{1}{2^2} \left(\begin{array}{cc} a-c-b+d & -a+c+b-d \\ -a+c+b-d & a-c-b+d \end{array} \right) \\
&= \frac{1}{2^2} \left(\begin{array}{cc} a-c-b+d & -(a-c-b+d) \\ -(a-c-b+d) & a-c-b+d \end{array} \right)
\end{align}
$$

上記より、それぞれの行と列の平均を取ると$0$になり、二重中心化が行われたことが確認できる。

$n \times n$正方行列における二重中心化

$\displaystyle \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right)$の$(i,j)$成分の導出

当項では$n \times n$正方行列を元に二重中心化が成立することの確認を行う。$A,I_{n},J_{n}$をそれぞれ下記のように定める。
$$
\large
\begin{align}
A &= \left(\begin{array}{ccccc} a_{11} & a_{12} & \cdots & a_{1,n-1} & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2,n-1} & a_{2n} \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ a_{n-1,1} & a_{n-1,2} & \cdots & a_{n-1,n-1} & a_{n-1,n} \\ a_{n1} & a_{n2} & \cdots & a_{n,n-1} & a_{nn} \end{array} \right) \\
I_{n} &= \left(\begin{array}{ccccc} 1 & 0 & \cdots & 0 & 0 \\ 0 & 1 & \cdots & 0 & 0 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \cdots & 1 & 0 \\ 0 & 0 & \cdots & 0 & 1 \end{array} \right) \\
J_{n} &= \left(\begin{array}{ccccc} 1 & 1 & \cdots & 1 & 1 \\ 1 & 1 & \cdots & 1 & 1 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 1 & 1 & \cdots & 1 & 1 \\ 1 & 1 & \cdots & 1 & 1 \end{array} \right)
\end{align}
$$

このとき、行列$\displaystyle \left( I_{n}-\frac{1}{n}J_{n} \right)$は下記のように表せる。
$$
\large
\begin{align}
I_{n} – \frac{1}{n}J_{n} &= \left(\begin{array}{ccccc} 1 & 0 & \cdots & 0 & 0 \\ 0 & 1 & \cdots & 0 & 0 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 0 & 0 & \cdots & 1 & 0 \\ 0 & 0 & \cdots & 0 & 1 \end{array} \right) – \frac{1}{n}\left(\begin{array}{ccccc} 1 & 1 & \cdots & 1 & 1 \\ 1 & 1 & \cdots & 1 & 1 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ 1 & 1 & \cdots & 1 & 1 \\ 1 & 1 & \cdots & 1 & 1 \end{array} \right) \\
&= \frac{1}{n} \left(\begin{array}{ccccc} n-1 & -1 & \cdots & -1 & -1 \\ -1 & n-1 & \cdots & -1 & -1 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ -1 & -1 & \cdots & n-1 & -1 \\ -1 & -1 & \cdots & -1 & n-1 \end{array} \right)
\end{align}
$$

上記を元に$\displaystyle \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right)$の$(i,j)$成分を$\displaystyle \left[ \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right) \right]_{ij}$とおくと、$\displaystyle \left[ \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right) \right]_{ij}$は下記のように計算できる。
$$
\large
\begin{align}
& \left[ \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right) \right]_{ij} \\
&= \frac{1}{n^2} \left(\begin{array}{ccccc} -1 & \cdots & n-1 & \cdots & -1 \end{array} \right) \left(\begin{array}{ccccc} a_{11} & a_{12} & \cdots & a_{1,n-1} & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2,n-1} & a_{2n} \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ a_{n-1,1} & a_{n-1,2} & \cdots & a_{n-1,n-1} & a_{n-1,n} \\ a_{n1} & a_{n2} & \cdots & a_{n,n-1} & a_{nn} \end{array} \right) \left(\begin{array}{c} -1 \\ \vdots \\ n-1 \\ \vdots \\ -1 \end{array} \right) \\
&= \frac{1}{n^2} \left(\begin{array}{ccccc} -1 & \cdots & n-1 & \cdots & -1 \end{array} \right) \left(\begin{array}{c} \displaystyle n a_{1j}-\sum_{k=1}^{n}a_{1k} \\ \vdots \\ \displaystyle n a_{ij}-\sum_{k=1}^{n}a_{ik} \\ \vdots \\ \displaystyle n a_{nj}-\sum_{k=1}^{n}a_{nk} \end{array} \right) \\
&= \frac{1}{n^2} \left[ \left( \sum_{k=1}^{n}a_{1k} – n a_{1j} \right) + \cdots + \left( \sum_{l=1}^{n}a_{nl} – n a_{nj} \right) + n \left( -\sum_{k=1}^{n}a_{ik} + n a_{ij} \right) \right] \\
&= \frac{1}{n^2} \left[ n^2 a_{ij} – n \sum_{l=1}^{n} a_{lj} – n \sum_{k=1}^{n} a_{ik} + \sum_{l=1}^{n} \sum_{k=1}^{n} a_{lk} \right] \\
&= a_{ij} – \frac{1}{n} \sum_{l=1}^{n} a_{lj} – \frac{1}{n} \sum_{k=1}^{n} a_{ik} + \frac{1}{n^2} \sum_{l=1}^{n} \sum_{k=1}^{n} a_{lk} \quad (1)
\end{align}
$$

$\displaystyle \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right)$の$i$行の和の計算

$(1)$式に対して、$j$に関して$1$から$n$の和を考えれば良いので、下記のように計算できる。
$$
\large
\begin{align}
& \sum_{j=1}^{n} \left[ a_{ij} – \frac{1}{n} \sum_{l=1}^{n} a_{lj} – \frac{1}{n} \sum_{k=1}^{n} a_{ik} + \frac{1}{n^2} \sum_{l=1}^{n} \sum_{k=1}^{n} a_{lk} \right] \\
&= \sum_{j=1}^{n} a_{ij} – \frac{1}{n} \sum_{l=1}^{n} \sum_{j=1}^{n} a_{lj} – \sum_{k=1}^{n} a_{ik} + \frac{1}{n} \sum_{l=1}^{n} \sum_{k=1}^{n} a_{lk} \\
&= \left( \sum_{j=1}^{n} a_{ij} – \sum_{k=1}^{n} a_{ik} \right) – \frac{1}{n} \left( \sum_{l=1}^{n} \sum_{j=1}^{n} a_{lj} – \sum_{l=1}^{n} \sum_{k=1}^{n} a_{lk} \right)
\end{align}
$$

上記の式の$j$と$k$はどちらも$\displaystyle \sum$の同じ用いられ方のインデックスであることから、$\displaystyle \sum_{j=1}^{n} a_{ij} = \sum_{k=1}^{n} a_{ik}$と$\displaystyle \sum_{l=1}^{n} \sum_{j=1}^{n} a_{lj} = \sum_{l=1}^{n} \sum_{k=1}^{n} a_{lk}$がそれぞれ成立する。よって、下記が成立すると考えられる。
$$
\large
\begin{align}
& \sum_{j=1}^{n} \left[ a_{ij} – \frac{1}{n} \sum_{l=1}^{n} a_{lj} – \frac{1}{n} \sum_{k=1}^{n} a_{ik} + \frac{1}{n^2} \sum_{l=1}^{n} \sum_{k=1}^{n} a_{lk} \right] \\
&= \left( \sum_{j=1}^{n} a_{ij} – \sum_{k=1}^{n} a_{ik} \right) – \frac{1}{n} \left( \sum_{l=1}^{n} \sum_{j=1}^{n} a_{lj} – \sum_{l=1}^{n} \sum_{k=1}^{n} a_{lk} \right) \\
&= 0
\end{align}
$$

$\displaystyle \left( I_{n}-\frac{1}{n}J_{n} \right)A\left( I_{n}-\frac{1}{n}J_{n} \right)$の$j$列の和の計算

前項と同様に、$(1)$式に対して、$i$に関して$1$から$n$の和を考えれば良いので、下記のように計算できる。
$$
\large
\begin{align}
& \sum_{i=1}^{n} \left[ a_{ij} – \frac{1}{n} \sum_{l=1}^{n} a_{lj} – \frac{1}{n} \sum_{k=1}^{n} a_{ik} + \frac{1}{n^2} \sum_{l=1}^{n} \sum_{k=1}^{n} a_{lk} \right] \\
&= \left( \sum_{i=1}^{n} a_{ij} – \sum_{l=1}^{n} a_{lj} \right) – \frac{1}{n} \left( \sum_{i=1}^{n}\sum_{k=1}^{n} a_{ik} – \sum_{l=1}^{n} \sum_{k=1}^{n} a_{lk} \right) \\
&= 0
\end{align}
$$