当記事は「深層学習 改訂第2版 (講談社)」の読解サポートを行います。基本的に購入者向けの解説ですので、購入されていない方は下記より入手をご検討ください。また、解説は筆者の見解であり、公式のものではないことにご注意ください。
執筆: @ShunDeveloper
Contents
10.3式の式変形について
式変形の途中式が省略されており、難解であるので、途中式を省略せず記述した。
特に、4行目から5行目の$\displaystyle e^ {- \mathbf{y}^{\mathrm{T}}\mathbf{y}^+} = \frac{1}{e^ {\mathbf{y}^{\mathrm{T}}\mathbf{y}^+}}$に注意されたい。
$$
\large
\begin{eqnarray}
E(\mathbf{w}; &=& \mathbf{x}, \mathbf{x}^+, \{\mathbf{x}_i^-\}_{i=1,\cdots ,K}) \\
&=&
\log \biggl(
1+\sum_{i=1}^K \exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}_i^- – \mathbf{y}^{\mathrm{T}}\mathbf{y}^+)
\biggr)
\\
&=&
– \log \biggl(
1+\sum_{i=1}^K \exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}_i^- – \mathbf{y}^{\mathrm{T}}\mathbf{y}^+)
\biggr)^{-1}
\\
&=&
– \log \frac{1}{
1+\sum_{i=1}^K \exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}_i^- – \mathbf{y}^{\mathrm{T}}\mathbf{y}^+)
}\\
&=&
– \log \frac{1}{
1+\sum_{i=1}^K \exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}_i^-)\exp(- \mathbf{y}^{\mathrm{T}}\mathbf{y}^+)
}\\
&=&
– \log \frac{1}{
1+\sum_{i=1}^K \frac{\exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}_i^-)}{\exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}^+)}
}\\
&=&
– \log \frac{1}{
1+\sum_{i=1}^K \frac{\exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}_i^-)}{\exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}^+)}
}
\frac{\exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}^+)}{\exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}^+)}
\\
&=&
– \log \frac{\exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}^+)}{
\exp(\mathbf{y}^T\mathbf{y}^+)+\sum_{i=1}^K \exp(\mathbf{y}^{\mathrm{T}}\mathbf{y}_i^-)
}\cdots (10.3)
\end{eqnarray}
$$