Object Detectionタスクなどにおけるバウンディングボックスの予測にあたっては予測結果とground truthとの当てはまりの指標が必要でこの際にIoU(Intersection over Union)が一般的に用いられます。当記事ではIoUを改良した指標であるGIoUについてまとめました。
GIoUの論文である「Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression」の内容を参考に作成を行いました。
・用語/公式解説
https://www.hello-statisticians.com/explain-terms
前提の確認
IoUの概要と数式
IoU(Intersection over Union)は「二つの図形がどのくらい類似しているかの指標」であり、Object Detectionタスクにおけるバウンディングボックスの予測結果の評価などにあたってよく用いられます。
領域$X$と領域$Y$のIoUを$\mathrm{IoU}(X,Y)$とおくと、$\mathrm{IoU}(X,Y)$は$X$と$Y$の和集合$X \cup Y$と$X$と$Y$の積集合$X \cap Y$を用いて下記のような式で表されます。
$$
\large
\begin{align}
\mathrm{IoU}(X,Y) = \frac{X \cap Y}{X \cup Y}
\end{align}
$$
たとえば$X$と$Y$が一致している場合$X \cup Y = X \cap Y$であるので$\mathrm{IoU}(X,Y) = 1$、$X$と$Y$が共通部分を持たない場合は$X \cap Y = 0$であるので$\mathrm{IoU}(X,Y) = 0$のように計算できます。
IoUの課題
「二つの図形の類似度を計算を行う」際にIoUは有力な手法である一方で、「$X \cap Y = 0$の際に$X$と$Y$がどのくらい離れているかの指標にはならない」という点で課題があります。
たとえばObject Detectionタスクでは多くの予測がされるので、ground truthと予測のバウンディングボックスが共通部分を持たない可能性もあり、このような場合にIoUをそのまま用いるとどのくらい離れているかに基づいて学習を行うことができません。
GIoU(Generalized Intersection over Union)はこの課題の解決にあたって導入される指標です。GIoUについて詳しくは次節で確認します。
GIoU
GIoUの定義式
集合$X$と集合$Y$を全て含む最小の集合を$C$とおくとき、$X$と$Y$のGIoUは下記のように計算することができます。
$$
\large
\begin{align}
\mathrm{IoU}(X,Y) &= \frac{X \cap Y}{X \cup Y} \\
\mathrm{GIoU}(X,Y) &= \mathrm{IoU}(X,Y) \, – \, \frac{|C-(X \cup Y)|}{|C|} \quad (1)
\end{align}
$$
上記の式は、$|C|$が$|X \cup Y|$に対して大きくなればなるほど$\mathrm{GIoU}(X,Y)$は小さくなると理解すると良いです。また、$\mathrm{GIoU}(X,Y)$の最小値は$\mathrm{IoU}(X,Y)=0$、$\frac{|X \cup Y|}{|C|} \to 0$のとき漸近的に下記のように得られます。
$$
\large
\begin{align}
\lim_{\frac{|X \cup Y|}{|C|} \to 0} \mathrm{GIoU}(X,Y) = -1
\end{align}
$$
GIoUの論文では$(1)$式が下記のように$\mathrm{Algorithm} \, 1$で記載されています。
バウンディングボックス回帰におけるGIoUの計算
バウンディングボックス回帰におけるGIoUの計算はGIoU論文の$\mathrm{Algorithm} \, 2$で取り扱われています。
上記は一見複雑に見えるかもしれませんが、predictionとground truthの積集合(Intersection)を$\mathcal{I}$、和集合(Union)を$\mathcal{U}$、predictionとground truthを含む最小の領域を$A^{c}$で表すことから逆に計算を辿ると理解しやすいと思います。
[…] GIoU(Generalized IoU)の数式と指標の解釈 […]