机器学习（十四）：深度学习梯度优化算法(SGD \\ SGD-M \\ NAG \\ AdaGrad \\ RMSProp \\ Adam )

1.随机梯度下降算法（Stochastic Gradient Descent, SGD）
2.使用动量的随机梯度下降算法（Stochastic Gradient Descent - Momentum, SGD-M）
3.使用Nesterov动量的随机梯度下降算法（Nesterov Accelerated Gradient, NAG）
4.AdaGrad算法
5.RMSProp算法
6.Adam算法
————————————————

 

来源：https://www.cnblogs.com/pengfeiz/p/11393125.html