共役勾配法などにおける行列にヘッセ行列(Hessian Matrix)を用いる場合、ニューラルネットワークのようにパラメータが多い場合はヘッセ行列の要素が多いことで計算が難しくなります。このような際にHessian-fr…
Hello Statisticians!
共役勾配法などにおける行列にヘッセ行列(Hessian Matrix)を用いる場合、ニューラルネットワークのようにパラメータが多い場合はヘッセ行列の要素が多いことで計算が難しくなります。このような際にHessian-fr…
当記事は「統計学のための数学入門$30$講(朝倉書店)」の読解サポートにあたってChapter.$26$の「テイラーの公式と極値問題」の章末問題の解答の作成を行いました。基本的には書籍の購入者向けの解説なので、まだ入手さ…
当記事は「統計学のための数学入門$30$講(朝倉書店)」の読解サポートにあたってChapter.$7$の「関数の展開」の章末問題の解答の作成を行いました。基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購…
テイラー展開による近似を行う際に「特定の次数までを取り扱い以降は誤差と見なす」ということはよく行われます。ここで誤差と見なす項を略記することで数式展開が行いやすくなりますが、この際に用いられるランダウの漸近記法について当…
一様最強力不偏検定で両側検定の両側の棄却域を計算のような連立方程式はそのまま解くことができないので、多次元ニュートン法が適用されます。当記事では多次元テイラー展開を用いた多次元ニュートン法の導出や、多次元ニュートン法を用…
近似解の計算にあたってニュートン法は良く用いられますが、「$f(x)=0$の解」と「$f(x)$の最小値」に関して統一的に取り扱われるケースは少ないです。これらはテイラー展開を元に同様に取り扱えるので、当記事ではテイラー…
テイラーの定理は有限テイラー展開や級数の形式のテイラー展開を考える上で用いられる重要な定理です。当記事ではテイラーの定理の理解にあたって、平均値の定理の特殊な場合であるロルの定理を用いた証明や有限テイラー展開の近似誤差に…
テイラー展開などの漸近展開(asymptotic expansion)はある点を中心とする関数の動きを多項式で近似する式であり、極限値の計算にも適用することができます。当記事では漸近展開を用いた極限値の計算に関して概要と…