时间：2025-07-02
在深度学习优化算法的发展历程中，Adagrad曾因其自动调节学习率的能力而被广泛应用。然而，其学习率随训练过程持续单调递减的特性，往往导致训练提前终止，影响模型最终收敛效果。这种“学习率衰减过快”的问题成为Adagrad实际应用中的主要瓶颈。
为了解决这一问题，RMSProp（Root Mean Square Propagation）应运而生。该算法由Geoffrey Hinton提出，是一种改进型自适应学习率优化方法。其核心在于引入了指数加权移动平均机制，对历史梯度平方信息进行衰减处理，从而避免了Adagrad中因累加所有历史梯度而导致的学习率无限缩小问题。
从数学表达来看，Adagrad的参数更新规则为：
θₜ₊₁ = θₜ - (η / Gₜ + ε) gₜ
其中Gₜ = Σ g²ᵢ（i=1到t），即前t步梯度的平方和。由于Gₜ不断增长，学习率项η / Gₜ会逐渐变小，甚至趋近于零，使参数更新几乎停滞。
相比之下，RMSProp采用滑动窗口思想计算梯度平方的期望值：
E[g²]ₜ = γ * E[g²]ₜ₋₁ + (1 - γ) * gₜ²
其中γ是一个接近1的衰减系数（通常取0.9）。这样，E[g²]ₜ仅保留最近几次梯度的信息，而非像Adagrad那样累加所有历史梯度。因此，在后续训练过程中，学习率不会受早期梯度影响而快速衰减。
RMSProp的参数更新公式为：
θₜ₊₁ = θₜ - (η / (E[g²]ₜ + ε)) * gₜ
这里的分母部分相当于一个动态调整的尺度因子，使得每个参数都有独立的学习率。相比Adagrad，RMSProp更能适应非平稳目标函数，尤其适用于在线学习和非凸优化问题。
此外，RMSProp还具备以下优势：
1. 缓解学习率衰减问题：使用梯度平方的指数移动平均，控制历史梯度对当前学习率的影响，避免学习率过早衰减至零。
2. 更强的适应性：对不同方向的参数采用不同的学习率，有助于加速收敛并提高模型性能。
3. 实现简单、计算高效：结构清晰、参数少，相比Adam等复杂优化器更易于调参和部署。
尽管RMSProp并未如Adam般广泛流行，但在某些特定任务中（如强化学习、图像生成等）表现出色。特别是在训练数据分布变化较快的情况下，RMSProp“遗忘旧梯度”的特性使其能够更好地适应新的数据模式。
总结来看，RMSProp通过引入指数加权移动平均机制，成功解决了Adagrad中学习率衰减过快的问题，使模型在训练后期仍能保持有效的参数更新能力。这不仅提升了训练效率，也增强了模型的泛化性能。对于希望在不增加复杂度的前提下改善模型收敛行为的研究者和工程师而言，RMSProp是一个非常值得尝试的优化算法。
电话：193-3538-6047 / 193-3538-6047
2151483402
193-3538-6047
193-3538-6047