最適化問題を解く際に勾配法などがよく用いられますが、多次元空間上における勾配法などを用いる際には取り得る範囲内でどのステップ幅が良いかを検討する場合があります。この際によく用いられるのが直線探索(line search)…
Hello Statisticians!
最適化問題を解く際に勾配法などがよく用いられますが、多次元空間上における勾配法などを用いる際には取り得る範囲内でどのステップ幅が良いかを検討する場合があります。この際によく用いられるのが直線探索(line search)…
共役勾配法(Conjugate Gradient Method)は等高線が同心楕円で表される場合の最適化にあたって有用な手法です。当記事では具体的な二次形式に対して共役勾配法を元に最適化を行う流れをPythonを用いて計…
当記事では「数理計画入門(朝倉書店)」の読解サポートにあたってChapter.$4$の「非線形計画」の章末問題の解答の作成を行いました。基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認くださ…
当記事では「数理計画入門(朝倉書店)」の読解サポートにあたってChapter.$1$の「数理計画モデル」の章末問題の解答の作成を行いました。基本的には書籍の購入者向けの解説なので、まだ入手されていない方は購入の上ご確認く…
当記事は「統計学のための数学入門$30$講(朝倉書店)」の読解サポートにあたってChapter.$26$の「テイラーの公式と極値問題」の章末問題の解答の作成を行いました。基本的には書籍の購入者向けの解説なので、まだ入手さ…
逐次$2$次計画(SOP; Successive Quadratic Programming)法は制約付き最適化問題の近似解を計算するにあたって用いられる手法です。当記事では逐次$2$次計画法の概要や数式、Pythonを…
カルシュ・キューン・タッカー(KKT; Karush Kuhn Tucker)条件は制約付き問題の最適化の際に用いられる$1$次の必要条件で、様々な問題の最適化にあたって用いられます。当記事ではKKT条件など、制約付き問…
ローゼンブロック関数(Rosenbrock function)は主に$2$変数で表される関数で、シンプルな数式である一方で等高線が複雑になることから最適化アルゴリズムのベンチマークなどに用いられます。当記事ではローゼンブ…
BFGS法は非線形の最適化の際によく用いられるアルゴリズムですが、準ニュートン法の$1$つと見なすことができます。当記事ではBFGS法・準ニュートン法の概要や数式理解、具体的な例に対して計算を行うPythonプログラムな…
勾配ベクトルを用いた漸化式的に表される反復法を用いて最適解を計算する手法を最急降下法(Gradient Descent)といいます。当記事では最急降下法の数式と、ステップ幅の適応的計算にあたって用いられる直線探索について…