数値計算 非線形最小二乗法で円のパラメータ推定
非線形最小二乗法を使って円のパラメータを求めてみましょう。最適化計算における線形、非線形とは何なのか、円の方程式 \( (x-a)^2 + (y-b)^2 = r^2\)のパラメータ\((a,b,r)\)を非線形最小二乗法で求めるとは何なのかといったことを考えながら進めてみます。ちなみに、収束計算はニュートン法で行いますよ。
アニメーション
数値計算 
数値計算 最小二乗法で円のパラメータ推定
円の方程式 \((x-a)^2 + (y-b)^2 = r^2 \)のパラメータ\(a,br\)をデータ\(x,y\)から最小二乗法で求めてみます。最小二乗法を使うためには、円の方程式をちょっと変更する必要があります。その式変形も含めて最小二乗法でどのようにパラメータを求めるか見てみましょう。
数値計算 一般的な根の計算 – ニュートン法
平方根の計算をニュートン法で行ったので、これをもう少し拡張してみます。やることは、３乗根の計算、n乗根の計算、それから方程式の解をニュートン法で求めてみます。収束計算のアニメーションもあるので、ニュートン法とは何かきっと分かると思います。
数値計算 平方根を数値計算で求める – ニュートン法
平方根をニュートン法で求めてみます。この記事でのニュートン法は最大値、最小値を求めるニュートン法ではなく、 \(y=ax + b\)のような方程式の解を求めるニュートン法です。 ちょっと混乱するかもしれませんが、しっかり理論的なところも説明します。動作のアニメーションもあるのでイメージも出来ますよ。
環境設定 Jupyter notebook に画像をDrag & Dropしてみよう
プログラムを書く上で、Jupyter notebookに理論展開の数式やメモ、アルゴリズムも一緒に書いてノート代わりにしています。まさにプログラムが動作するノートですね。
画像の貼り付けもドラッグ＆ドロップで出来るとあったので、試し...
数値計算 共役勾配法 – アルゴリズムと実際の計算
”これなら分かる最適化数学, 金谷健一 “を学習中です。共役な方向とはなんだろうという事が図形で分かったので、実際に共役勾配法をPythonで実装してみます。ちなみに、共役の読み方は”キョウエキ”ではなく”キョウヤク”ですよ。
数値計算 共役勾配法 – 共役勾配な方向って何だろう
共役勾配法のアルゴリズムは数式で展開されると何となく理解できるのですが、途中の式展開で比例関係が利用されていたりするので、なかなかイメージが出来ませんでした。でも図で描いてみると共役勾配法がどのようなアルゴリズムであるかがスッキリと分かります。
数値計算 多変数のニュートン法の収束の様子を可視化
” これなら分かる最適化数学, 金谷健一 “の ニュートン法を多変数関数に適用して極値を探してみます。1変数のニュートン法は綺麗に収束していきましたが、多変数だとどうなるでしょうか。
多変数の場合のニュートン法アルゴリズム
...
数値計算 ニュートン法はどのように収束していくのか – 1変数の場合で視覚化
機械学習の理解のため、 ”これなら分かる最適化数学, 金谷健一”を勉強中です。ここではニュートン法を勉強して、理解したことをまとめます。
ニュートン法のアルゴリズム概要
ニュートン法は勾配法に比べてとても綺麗に考えられた方法で...