テイラー展開から理解するニュートン法による「$f(x)=0$の解」と「$f(x)$の最小値」の計算

近似解の計算にあたってニュートン法は良く用いられますが、「$f(x)=0$の解」と「$f(x)$の最小値」に関して統一的に取り扱われるケースは少ないです。これらはテイラー展開を元に同様に取り扱えるので、当記事ではテイラー展開からそれぞれのニュートン法の漸化式の導出を行います。

「$f(x)=0$の解」に関しては「数学検定問題集 $1$級」、「$f(x)$の最小値」に関しては「ゼロから作るDeep Learning③」の内容を参考に、それぞれ作成を行いました。

テイラー展開

テイラー展開の概要

関数$f(x)$に関して点$x=a$を中心とするテイラー展開は下記のように表せる。
$$
\large
\begin{align}
f(x) &= \sum_{n=0}^{\infty} \frac{f^{(n)}(a)}{n!} (x-a)^{n} \\
&= \frac{f(a)}{0!}(x-a)^{0} + \frac{f'(a)}{1!} (x-a)^{1} + \frac{f^{”}(a)}{2!} (x-a)^{2} + \cdots \\
&= f(a) + f'(a)(x-a) + \frac{f^{”}(a)}{2} (x-a)^{2} + \cdots
\end{align}
$$

上記の$f^{(n)}(x)$は関数$f(x)$の$n$階微分を表す。

有限テイラー展開

有限テイラー展開やテイラーの定理に関しては下記で取り扱った。

有限マクローリン展開(finite maclaurin expansion)の式と使用例の確認

ロルの定理を用いたテイラーの定理の証明と有限テイラー展開の近似誤差

ニュートン法の導出

$1$次のテイラー近似と「$f(x)=0$の解」

関数$f(x)$の点$x=a$を中心とする$1$次のテイラー展開は下記のように表せる。
$$
\large
\begin{align}
f(x) & \simeq \frac{f(a)}{0!}(x-a)^{0} + \frac{f'(a)}{1!} (x-a)^{1} \\
&= f(a) + f'(a)(x-a)
\end{align}
$$

上記の式に対して$x=x_{n+1}, a=x_{n}$を代入して$f(x_{n+1})=0$を解くと下記の式が得られる。
$$
\large
\begin{align}
f(x_{n}) + f'(x_{n})(x_{n+1}-x_{n}) &= 0 \\
x_{n+1}-x_{n} &= – \frac{f(x_{n})}{f'(x_{n})} \\
x_{n+1} &= x_{n} – \frac{f(x_{n})}{f'(x_{n})}
\end{align}
$$

$2$次のテイラー近似と「$f(x)$の最小値」

関数$f(x)$の点$x=a$を中心とする$2$次のテイラー展開は下記のように表せる。
$$
\large
\begin{align}
f(x) &\simeq \frac{f(a)}{0!}(x-a)^0 + \frac{f'(a)}{1!}(x-a)^1 + \frac{f^{”}(a)}{2!}(x-a)^2 \\
&= f(a) + f'(a)(x-a) + \frac{f^{”}(a)}{2}(x-a)^2 = g(x)
\end{align}
$$

上記で定めた近似関数の$g(x)$が最小値を持つ$x$の値を考えるにあたって、$g'(x)$の計算を行う。
$$
\large
\begin{align}
g'(x) &= \frac{d}{dx} \left( f(a) + f'(a)(x-a) + \frac{f^{”}(a)}{2}(x-a)^2 \right) \\
&= f'(a) + \frac{f^{”}(a)}{2} \cdot 2(x-a) \\
&= f'(a) + f^{”}(a)(x-a)
\end{align}
$$

ここで$x=a$の周辺で$f(x)$が下に凸であると仮定すると$f^{”}(a)>0$であり、$g(x)$は下に凸の関数なので、$g'(x)=0$の際に$g(x)$は最小値を持つ。
$$
\large
\begin{align}
g'(x) &= 0 \\
f'(a) + f^{”}(a)(x-a) &= 0 \\
\frac{f'(a)}{f^{”}(a)} + x – a &= 0 \\
x &= a – \frac{f'(a)}{f^{”}(a)}
\end{align}
$$

上記の式に対して$x=x_{n+1}, a=x_{n}$を代入すると下記の式が得られる。
$$
\large
\begin{align}
x_{n+1} = x_{n} – \frac{f'(x_{n})}{f^{”}(x_{n})}
\end{align}
$$

上記がニュートン法を用いて「$f(x)$の最小値」を計算する際の漸化式に一致する。同様の導出は下記でも取り扱った。
・ニュートン法と勾配法