KLダイバージェンス(Kullback-Leibler divergence)は確率分布の類似度を取り扱う指標である一方で、KLダイバージェンスには対称性が成立しません。そこで当記事ではKLダイバージェンスと類似の指標かつ対称性の成立するJSダイバージェンス(Jensen-Shannon divergence)について取りまとめました。
・用語/公式解説
https://www.hello-statisticians.com/explain-terms
JSダイバージェンスの定義
KLダイバージェンスの式の確認
$2$つの確率分布$P(X=x)$と$Q(X=x)$について$P$から見た$Q$のKLダイバージェンスを$KL(P||Q)$とおくと、$KL(P||Q)$の式は下記のように表される。
$$
\large
\begin{align}
KL(P||Q) &= – \int P(X=x) \ln{Q(X=x)} dx – \left[ – \int P(X=x) \ln{P(X=x)} dx \right] \\
&= – \int P(X=x) \ln{\frac{Q(X=x)}{P(X=x)}} dx
\end{align}
$$
JSダイバージェンスの式定義
$2$つの確率分布$P(X=x)$と$Q(X=x)$についてJSダイバージェンスを$JS(P||Q)$とおくと、$JS(P||Q)$の式は下記のように表される。
$$
\large
\begin{align}
JS(P||Q) &= \frac{1}{2} (KL(P||R) + KL(Q||R)) \\
R(X=x) &= \frac{1}{2}(P(X=x) + Q(X=x))
\end{align}
$$
JSダイバージェンスの対称性
KLダイバージェンスでは$KL(P||Q) \neq KL(Q||P)$であり、対称性は成立しないが、JSダイバージェンスでは下記のように対称性が成立する。
$$
\large
\begin{align}
JS(P||Q) &= \frac{1}{2} (KL(P||R) + KL(Q||R)) \\
&= \frac{1}{2} (KL(P||(P+Q)/2) + KL(Q||(P+Q)/2)) \\
&= \frac{1}{2} (KL(Q||(P+Q)/2) + KL(P||(P+Q)/2)) \\
&= \frac{1}{2} (KL(Q||R) + KL(P||R)) \\
&= JS(Q||P)
\end{align}
$$
