数値計算 多変数のニュートン法の収束の様子を可視化 ” これなら分かる最適化数学, 金谷健一 “の ニュートン法を多変数関数に適用して極値を探してみます。1変数のニュートン法は綺麗に収束していきましたが、多変数だとどうなるでしょうか。 多変数の場合のニュートン法アルゴリズム ... 数値計算機械学習
数値計算 テイラー展開から勾配とヘッセ行列の形へ丁寧に変換-多変数の場合 2変数の場合のテイラー展開を勾配とヘッセ行列の形へ変換できたので、これを多変数に場合に適用してみます。多変数では状態が多いので頭が混乱することが多いですが、部分に分けて計算すると簡単に変換が出来ます。それから、よく出てくる1/2の係数の意味も展開すると理解できますよ。 数値計算機械学習
数値計算 テイラー展開から勾配とヘッセ行列の形へ丁寧に変換-2変数の場合 ニュートン法や共役勾配法では、勾配とヘッセ行列の形で表現された式が用いられます。この式には1/2があり、計算の都合上など説明されていますが、実はテイラー展開から式を変形させていくと最終的にこの形なります。 数値計算機械学習
数値計算 図に描いて見たら分かった!テイラー展開の意味 工学の教科書には良く出てくるテイラー展開ですが、これって何を意味しているのでしょうか?どうして微分を使う近似式が元の関数になるのか、図に描いて見たらスッキリ理解できますよ! 数値計算