损失函数
选择函数
优化算法
算法选择
控制
点击画布设置起始点
当前状态
算法说明
Adam同时追踪梯度的一阶矩 m 和二阶矩 v，为每个参数自适应调整学习率。是大多数深度学习框架的默认优化器。
与CAE的联系：结构优化和形状优化中同样使用基于梯度的方法。通过灵敏度分析计算目标函数（重量、柔度）对设计参数的梯度，再用Adam或L-BFGS等优化器更新设计变量。
点击设置起始点 | 颜色：蓝色 = 低损失 → 红色 = 高损失
什么是梯度下降优化器
🎓
简单来说，它就像是一个聪明的“向导”，帮助机器学习模型在复杂的“地形”（也就是损失函数）里找到最低点，也就是模型表现最好的地方。在实际工程中，比如训练一个识别猫的神经网络，优化器就是那个不断调整网络内部“旋钮”（参数），让识别错误率越来越低的算法。你可以在模拟器里选一个函数，比如“Rosenbrock”，然后点击“开始”，就能看到这个向导是怎么一步步摸索着下山了。
🧑🎓
诶，真的吗？那SGD和Adam这些不同的算法，区别有那么大吗？
🎓
区别可大了！你可以把SGD想象成一个只盯着脚下最陡坡走的登山者，步子大小（学习率）固定，所以在平缓的山谷里走得很慢，在陡坡又容易冲过头，晃晃悠悠的。Adam则更聪明，它不光看脚下，还会记住之前走过的路有多陡（一阶矩），以及路面的起伏程度（二阶矩），然后动态调整每一步的跨度。你试试在模拟器里把算法从SGD切换到Adam，保持其他参数不变，看看它在“香蕉函数”（Rosenbrock）山谷里的轨迹是不是更顺滑、更快接近中心点？
🧑🎓
原来如此！那旁边的β₁和β₂这些参数是干嘛的？调了会怎样？
🎓
问得好！这些是控制算法“记忆力”和“谨慎度”的旋钮。比如在Adam里，β₁控制对过去梯度方向的记忆（动量），如果设得接近1，就像给优化器一个惯性，让它不容易卡在小坑里。β₂控制对过去梯度大小变化的感知，影响学习率的自适应调整。你动手试试：选Adam算法，先把β₁从0.9调到0.5，你会发现轨迹的“冲劲”变小了；再把β₂从0.999调到0.9，看看学习率的调整是不是变得更“敏感”？通过这样玩转参数，你就能直观感受每个旋钮的作用了。
物理模型与关键公式
最基础的随机梯度下降（SGD）更新规则，它直接沿着当前梯度（损失函数变化最快的方向）的反方向前进一小步。
$$\theta_{t+1}= \theta_t - \alpha \cdot \nabla J(\theta_t)$$
其中，$\theta_t$ 是第t步的参数（比如神经网络的权重），$\alpha$ 是学习率（步长），$\nabla J(\theta_t)$ 是损失函数 $J$ 在 $\theta_t$ 处的梯度。梯度指向函数上升最快的方向，所以减去它就是在下降。
Adam优化器的更新规则更复杂，它引入了梯度的一阶矩估计（均值，带动量）和二阶矩估计（未中心化的方差）来进行自适应学习率调整。
$$m_t = \beta_1 m_{t-1}+ (1-\beta_1) g_t$$
$$v_t = \beta_2 v_{t-1}+ (1-\beta_2) g_t^2$$
$$\hat{m}_t = m_t / (1-\beta_1^t), \quad \hat{v}_t = v_t / (1-\beta_2^t)$$
$$\theta_{t+1}= \theta_t - \alpha \cdot \hat{m}_t / (\sqrt{\hat{v}_t}+ \epsilon)$$
$g_t$是当前梯度，$m_t$和$v_t$分别是一阶和二阶矩的指数移动平均，$\hat{m}_t$和$\hat{v}_t$是偏差校正后的估计。$\beta_1, \beta_2$是衰减率，$\epsilon$是为数值稳定加的小常数。这个公式实现了参数个性化的学习率。
现实世界中的应用
深度学习模型训练：这是优化器最核心的应用。无论是训练图像识别（如ResNet）、自然语言处理（如GPT）还是推荐系统模型，Adam、SGD等优化器都是驱动损失函数下降、更新数百万甚至数十亿参数的引擎。
CAE结构优化：在计算机辅助工程中，比如设计一个更轻、强度更高的飞机机翼。优化器会利用灵敏度分析得到的梯度（目标函数对设计变量的导数），像Adam这样的算法来迭代更新机翼的形状参数，在满足约束的条件下找到最优设计。
金融投资组合优化：在量化金融中，需要优化资产配置比例以在给定风险下最大化收益（或反之）。这个问题可以转化为一个损失函数（如负的夏普比率），使用梯度下降类优化器来寻找最优的投资权重分配。
机器人运动规划：让机器人手臂以最节能、最平稳的方式从A点运动到B点，其关节轨迹可以参数化，并通过定义衡量能耗和抖动的损失函数，利用优化器来求解最优轨迹参数。
常见误解与注意事项
首先，“学习率越大收敛越快”是一种危险的误解。您可以在模拟器中尝试对Rosenbrock函数使用SGD，并将学习率α从0.1提高到1.0。虽然最初几步确实下降较快，但很快会在谷壁间反弹发散，远离最小值。在实际应用中，更稳妥的做法是从较小值（如0.001或0.01）开始，并在损失值下降放缓时采用学习率衰减的“调度策略”。
其次，不要过度相信“Adam使用默认参数就能处理一切问题”。虽然Adam确实强大，但默认参数（β₁=0.9, β₂=0.999）并非对所有函数形式都是最优的。例如，在梯度噪声较大的问题中，若不适当地调小β₂（如设为0.99）以“更快遗忘”历史梯度，自适应学习率可能变得过小导致优化停滞。在工具中将β₂降至0.9，可以观察到优化过程明显活跃起来。
最后，“达到最小值并不意味万事大吉”。本模拟器中的“Himmelblau函数”存在四个等值的局部最小值。改变起始点会导致算法收敛到不同的最小值，对吗？在实际机器学习任务中，我们始终需要质疑找到的“最小值”究竟是真正的最优解（全局最优解），还是欠佳的局部最优解。通过多次改变初始值进行尝试的“随机重启”技术，正是缓解这一风险的基础方法。
相关工程领域
本工具中体验的“基于梯度的优化”思想，在机器学习之外的众多工程领域也以“寻找最小化目标函数的参数”这一共同课题的形式出现。例如，结构优化（拓扑优化）将材料分布作为参数，以“轻量化”为目标函数、“强度”为约束条件，运用梯度法自动生成最优骨架结构。这在汽车和飞行器的轻量化设计中不可或缺。
此外，控制工程领域通过调整控制器参数使系统响应跟踪目标值，这本质上也是最小化误差（损失函数）的优化问题。特别是在“模型预测控制（MPC）”中，需要在线计算未来行为预测下的最优操作量，高速梯度法正是其核心算法。
更进一步，这种思想与CAE（计算力学）仿真本身也密切相关。使用有限元法分析结构变形时，求解力的平衡（能量最小化）状态就是一种优化计算。非线性分析中采用的牛顿-拉弗森法——一种基于梯度（切线刚度矩阵）的高阶迭代解法，其底层“利用梯度搜索解”的哲学理念与本工具的算法一脉相承。
进阶学习建议
通过本模拟器建立直观理解后，建议下一步从数学公式层面理解算法高效的原因。可以从为SGD添加“动量”的Momentum SGD更新公式入手：$$v_{t+1} = γ v_t + α ∇L(θ_t), \quad θ_{t+1} = θ_t - v_{t+1}$$ 该式中$v_t$扮演“速度”角色，$γ$相当于“摩擦系数”，这种物理类比有助于理解其对谷底震荡现象的抑制机制。在工具中调整动量系数观察行为变化，能切身感受公式的实际含义。
在此基础上重新审视Adam的公式，您会发现$\hat{m}_t$是动量机制的进阶形式（含偏差校正），而$\hat{v}_t$实现了逐参数的自适应学习率调整。这种“自适应学习率”概念也贯穿于RMSprop、AdaGrad等其他算法。
最终，通过代码实现能获得最深刻的理解。建议使用Python仅依赖NumPy库，简洁地复现本模拟器的核心功能。通过数值微分计算二维函数梯度，并用数十行代码实现SGD、Momentum和RMSprop的更新公式，您将完全掌握算法的“运动规律”。掌握这些后，您将能自信地推测主流深度学习框架（PyTorch/TensorFlow）中优化器的内部运作机制。