損失関数
関数の選択
最適化アルゴリズム
アルゴリズム
コントロール
キャンバスをクリックして開始点を設定
現在の状態
クリックで開始点を設定 | 等高線カラー: 青=低損失 → 赤=高損失
理論・主要公式
Adamは勾配の1次モーメントmと2次モーメントvを追跡し、各パラメータの学習率を適応的に調整します。多くのDLフレームワークのデフォルト。
勾配降下法シミュレーターとは
🙋
「勾配降下法」って、機械学習の教科書でよく見るけど、具体的にどうやって動いてるんですか？「山を下る」ってイメージだけじゃよくわからないです。
🎓
大まかに言うと、今いる場所の「傾き」を調べて、その下り方向に少しずつ進んで、最終的に一番低い場所（最小値）を見つける方法だよ。このシミュレーターで、右上の「関数」を「Rosenbrock」に、アルゴリズムを「SGD」にしてみて。赤い点が今の位置で、青い矢印が勾配（進む方向と強さ）だ。実行ボタンを押すと、谷筋を下っていく様子が見えるよ。
🙋
確かにSGDはジグザグしながら谷を下ってますね。でも、なかなか最小値にたどり着かない…。他の「Adam」や「RMSprop」って何が違うんですか？
🎓
SGDは単純だけど、この細長い谷では非効率なんだ。Adamは過去の勾配を「記憶」して、進む勢い（モーメンタム）を調整し、さらに勾配の大きさに応じて歩幅（学習率）も変える賢いやつだ。アルゴリズムを「Adam」に変えて、同じRosenbrock関数で実行してみ。パラメータβ₁（モーメンタム）を0.9にすると、より滑らかに谷底を進むのがわかるよ。
🙋
おお、確かにAdamの方がスムーズに最小値に近づきます！でも、学習率αを大きくしすぎると、どうなってしまうんですか？
🎓
良いところに気が付いたね。学習率が大きすぎると、勢い余って谷の反対側に飛び出してしまい、発散したり振動したりする。逆に小さすぎると、いつまでたってもゴールに着かない。左上の「学習率 α」のスライダーを1.0くらいに大きくしてSGDを実行してみて。点が暴れて、最小値からどんどん離れてしまうでしょ？実務では、このシミュレーターで試したように、関数やアルゴリズムに合わせて学習率をチューニングするのが大事なんだ。
よくある質問
学習率（Learning Rate）が大きすぎる可能性があります。画面下部のスライダーで学習率を小さく（例: 0.01→0.001）調整してみてください。また、SGDよりもAdamやRMSpropの方が振動が少なく安定することが多いです。
まずSGDでスタート地点を変えて挙動を観察し、次にAdamやRMSpropに切り替えて比較してください。特に「渓谷状」や「急峻な谷」の損失関数プリセットを使うと、運動量や適応学習率の効果が顕著に現れます。
基本的な更新則は同じですが、実際の学習では高次元パラメータ空間での挙動やミニバッチの影響があります。本シミュレーターは2D損失関数で本質的な動きを可視化しており、最適化アルゴリズムの直感的理解に役立ちます。
画面上の損失関数マップ上で任意の場所をクリックすると、その位置に赤点が移動し、そこから最適化が再スタートします。局所解への収束や鞍点での挙動を調べる際に活用してください。
実世界での応用
深層学習モデルの訓練：画像認識のCNNや自然言語処理のTransformerなど、あらゆるニューラルネットワークの重みパラメータを学習する際のコアアルゴリズムです。損失関数（誤差）を最小化するように、何百万〜何十億ものパラメータをAdamなどのオプティマイザで調整します。
CAEにおける構造最適化：自動車のボディや航空機の翼など、部品の形状パラメータを少しずつ変化させ、軽量化しながら強度（コンプライアンス）を最大化する問題で使用されます。感度解析で求めた目的関数の勾配情報を用いて、勾配降下法の一種で形状を更新していきます。
レコメンデーションシステム：ユーザーの過去の行動データから好みをモデル化し、映画や商品のおすすめリストを生成するモデルを学習します。ここでも、予測精度を損失関数とし、SGDやその派生アルゴリズムでモデルパラメータを最適化します。
金融におけるポートフォリオ最適化：複数の資産に投資する際、リスクを一定以下に抑えながら期待リターンを最大化するような各資産の配分比率を求める問題です。これも制約付きの最適化問題として定式化され、勾配ベースの手法で解かれることがあります。
よくある誤解と注意点
まず、「学習率は大きいほど早く収束する」というのは危険な思い込みです。シミュレーターでRosenbrock関数にSGDを使い、学習率αを0.1から1.0に上げてみてください。確かに最初の数ステップは早く下りますが、すぐに谷の壁を跳ね返り、発散して最小値から遠ざかってしまいます。実務では、むしろ最初は小さめ（例：0.001や0.01）から始め、損失値の減少が鈍化したら学習率を減衰させる「スケジューリング」が鉄則です。
次に、「Adamならパラメータをデフォルト値で何でもうまくいく」という過信。確かにAdamは強力ですが、関数の形によってはデフォルト値（β₁=0.9, β₂=0.999）が最適とは限りません。例えば、非常にノイジーな勾配を持つ問題では、β₂を0.99など小さくして過去の勾配を「忘れやすく」しないと、適応的な学習率が小さすぎて動かなくなることがあります。ツールでβ₂を0.9に下げて試すと、動きが活発になるのが確認できます。
最後に、「最小値に到達すれば万事解決」ではない点。このシミュレーターの「Himmelblau関数」には、等しい値の局所最小値が4つあります。スタート地点を変えると、アルゴリズムによって到達する最小値が変わりますよね？実務の機械学習でも、見つかった「最小値」が本当に最良の解（大域的最適解）なのか、それとも望ましくない局所最適解なのかを常に疑う必要があります。初期値を変えて何度か試す「ランダムリスタート」は、このリスクを軽減する基本的なテクニックです。
具体的な計算例
Rosenbrock関数f(x,y)=(1-x)²+100(y-x²)²において、初期点(x₀,y₀)=(-1.5, 2.5)から開始。学習率0.001、Adam(β₁=0.9,β₂=0.999)を適用した場合、ステップ1500で損失値は0.0012に収束し、勾配ノルムは0.0008以下に低下します。同条件でSGD(学習率0.01)では勾配発散により散発的に動作するため、Adamの安定性が顕著です