数値計算 テイラー展開から勾配とヘッセ行列の形へ丁寧に変換-２変数の場合
ニュートン法や共役勾配法では、勾配とヘッセ行列の形で表現された式が用いられます。この式には1/2があり、計算の都合上など説明されていますが、実はテイラー展開から式を変形させていくと最終的にこの形なります。
数値計算 
数値計算 図に描いて見たら分かった！テイラー展開の意味
工学の教科書には良く出てくるテイラー展開ですが、これって何を意味しているのでしょうか？どうして微分を使う近似式が元の関数になるのか、図に描いて見たらスッキリ理解できますよ！
数値計算 ニュートン法はどのように収束していくのか – 1変数の場合で視覚化
機械学習の理解のため、 ”これなら分かる最適化数学, 金谷健一”を勉強中です。ここではニュートン法を勉強して、理解したことをまとめます。
ニュートン法のアルゴリズム概要
ニュートン法は勾配法に比べてとても綺麗に考えられた方法で...
数値計算 関数の数値微分 – 中心差分
勾配法やニュートン法など、最適化計算では関数の微分、偏微分が必要になってきます。実装の時に微分、偏微分を手計算してコードを書くと使う関数ごとに異なる実装が必要になりますね。これを避けるために、数値計算で微分を行うことを検討します。
...
数値計算 多変数の場合の勾配法をイメージで理解しよう
前回の1変数の勾配法を多変数の関数に適用する場合を考えます。内容は引き続き ”これなら分かる最適化数学, 金谷健一” から引用します。
多変数の勾配法の考え方
1変数の関数\(y=f(x)\)の場合、山を登るように\(x\)の...
数値計算 勾配法をイメージで理解する – 最大の数値を求める方法
数値解析で極値を求めるには、関数の増減を探索していく方法が基本です。この基本の方法として勾配法があります。この記事では勾配法のアルゴリズムをアニメーションで理解できるようにしています。勾配法を難しいと思っている方！勾配法は見ればイメージがつかめるものですよ！