梯度下降法（Gradient Descent，GD）是一种常见的一阶（first-order）优化方法，是求解无约束优化问题最简单、最经典的方法之一。，在最优化、统计学以及机器学习等领域有着广泛的应用。
所谓的一阶方法就是仅使用目标函数的一阶导数，不利用其高阶导数。
那什么是无约束优化问题呢？举个例子，在一元函数法f ( x ) f(x) f ( x ) f ( x ) f(x) f ( x )
梯度下降法的基本思想可以类比为一个下山的过程。
假设这样一个场景：一个人需要从红色山顶得某处 开始下山，尽快 到达蓝色得山底。在下山之前他需要确认两件事：
下山的方向
下山的距离
按照梯度下降算法的思想，它将按如下操作达到最低点：
第一步，明确自己现在所处的位置
第二步，找到相对于该位置而言下降最快的方向（下山的方向 ）
第三步， 沿着第二步找到的方向走一小步（下山的距离 ），到达一个新的位置，此时的位置肯定比原来低
第四部， 回到第一步，重复执行这个过程，直到到达山底
这一过程形象的描述了梯度下降法求解无约束最优化问题的过程，下面我们将例子里的关键信息与梯度下降法中的关键信息对应起来：
当然你可能会说，上图不是有不同的路径吗？是的，因为上图并不是标准的凸函数，往往不能找到最小值，只能找到局部极小值。所以你可以用不同的初始位置进行梯度下降，来寻找更小的极小值点 ，当然如果损失函数是凸函数就没必要了，开开心心的进行梯度下降吧！比如下面这种：
梯度下降法有可能会陷入局部最小值
看到这里大家应该会发现这样一个问题：在选择每次行动的距离时，如果所选择的距离过大，则有可能偏离最陡峭的方向，甚至已经到达了最低点却没有停下来，从而跨过最低点而不自知，一直无法到达山底；如果距离过小，则需要频繁寻找最陡峭的方向，会非常耗时。要知道，每次寻找最陡峭的方向是非常复杂的！同样的，梯度下降法也会面临这个问题，因此需要我们找到最佳的学习率，在不偏离方向的同时耗时最短。
在下山问题中，我们人可以通过视觉或者其他外部感官上的触觉来感知东南西北不同方向的坡度，然后选择最陡的方向，但在函数求最小值问题中，计算机可没有视觉等外部感官，那么怎么来判断那个方向最陡呢？
还记得大学的时候学过（其实高中也学过）的导数知识吗？导数定义如下：
f ′ ( x ) = lim Δ x → 0 Δ y Δ x = lim Δ x → 0 f ( x 0 + Δ x ) − f ( x 0 ) Δ x
{f}'(x)=\underset{\Delta x\to 0}{\mathop{\lim }}\,\frac{\Delta y}{\Delta x}=\underset{\Delta x\to 0}{\mathop{\lim }}\,\frac{f({{x}_{0}}+\Delta x)-f({{x}_{0}})}{\Delta x}
f ′ ( x ) = Δ x → 0 lim Δ x Δ y = Δ x → 0 lim Δ x f ( x 0 + Δ x ) − f ( x 0 ) 几何意义：函数f ( x ) f(x) f ( x ) x = x 0 x={{x}_{0}} x = x 0 f ( x ) f(x) f ( x ) x 0 {{x}_{0}} x 0 f ( x ) f(x) f ( x ) x = x 0 x={{x}_{0}} x = x 0 x x x x 0 {{x}_{0}} x 0 f ( x ) f(x) f ( x ) x x x ∣ f ′ ( x ) ∣ \left| {f}'(x) \right| ∣ f ′ ( x ) ∣ f ( x ) f(x) f ( x )
导数解决了一元函数 中函数值随自变量变化快慢的问题，但对于多元函数 ，导数就力有未逮了，这时候我们需要用到偏导数的知识：KaTeX parse error: No such environment: align at position 8:
\begin{̲a̲l̲i̲g̲n̲}̲
\frac{\partial… x x x x j x_j x j f ( x 0 , x 1 , … , x n ) f({{x}_{0}},{{x}_{1}},\ldots ,{{x}_{n}}) f ( x 0 , x 1 , … , x n )
好了，我们现在可以回归到梯度的问题了。什么是梯度呢？函数在某一点的梯度是一个向量，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值。
我们以一元线性回归为例，假设模型为:y = f ( x ) = θ 0 + θ 1 ⋅ x
y=f(x)={{\theta }_{0}}+{{\theta }_{1}}\cdot x
y = f ( x ) = θ 0 + θ 1 ⋅ x θ 0 {{\theta }_{0}} θ 0 θ 1 {{\theta }_{1}} θ 1 θ 0 {{\theta }_{0}} θ 0 θ 1 {{\theta }_{1}} θ 1 θ 0 {{\theta }_{0}} θ 0 θ 1 {{\theta }_{1}} θ 1 J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( θ 0 + θ 1 ⋅ x i − y i ) 2
J({{\theta }_{0}},{{\theta }_{1}})=\frac{1}{2m}\sum\limits_{i=1}^{m}{{{({{\theta }_{0}}+{{\theta }_{1}}\cdot {{x}_{i}}-{{y}_{i}})}^{2}}}
J ( θ 0 , θ 1 ) = 2 m 1 i = 1 ∑ m ( θ 0 + θ 1 ⋅ x i − y i ) 2 x i {{x}_{i}} x i y i {{y}_{i}} y i θ 0 {{\theta }_{0}} θ 0 θ 1 {{\theta }_{1}} θ 1 1 2 \frac{1}{2} 2 1 1 2 \frac{1}{2} 2 1 J ( θ 0 , θ 1 ) J({{\theta }_{0}},{{\theta }_{1}}) J ( θ 0 , θ 1 ) θ 0 {{\theta }_{0}} θ 0 θ 1 {{\theta }_{1}} θ 1 J ( θ 0 , θ 1 ) J({{\theta }_{0}},{{\theta }_{1}}) J ( θ 0 , θ 1 ) J ( θ 0 , θ 1 ) J({{\theta }_{0}},{{\theta }_{1}}) J ( θ 0 , θ 1 ) θ 0 {{\theta }_{0}} θ 0 θ 1 {{\theta }_{1}} θ 1 ∂ J ( θ 0 , θ 1 ) ∂ θ 0 = 2 ⋅ 1 2 m ∑ i = 1 m ( θ 0 + θ 1 ⋅ x i − y i ) = 1 m ∑ i = 1 m ( f ( x i ) − y i )
\frac{\partial J({{\theta }_{0}},{{\theta }_{1}})}{\partial {{\theta }_{0}}}=2\cdot \frac{1}{2m}\sum\limits_{i=1}^{m}{({{\theta }_{0}}+{{\theta }_{1}}\cdot {{x}_{i}}-{{y}_{i}})=}\frac{1}{m}\sum\limits_{i=1}^{m}{(f({{x}_{i}})-{{y}_{i}})}
∂ θ 0 ∂ J ( θ 0 , θ 1 ) = 2 ⋅ 2 m 1 i = 1 ∑ m ( θ 0 + θ 1 ⋅ x i − y i ) = m 1 i = 1 ∑ m ( f ( x i ) − y i )
∂ J ( θ 0 , θ 1 ) ∂ θ 1 = 2 ⋅ 1 2 m ∑ i = 1 m ( x i ( θ 0 + θ 1 ⋅ x i − y i ) ) = 1 m ∑ i = 1 m ( x i ⋅ ( f ( x i ) − y i ) )
\frac{\partial J({{\theta }_{0}},{{\theta }_{1}})}{\partial {{\theta }_{1}}}=2\cdot \frac{1}{2m}\sum\limits_{i=1}^{m}{({{x}_{i}}({{\theta }_{0}}+{{\theta }_{1}}\cdot {{x}_{i}}-{{y}_{i}}))=}\frac{1}{m}\sum\limits_{i=1}^{m}{({{x}_{i}}\cdot (f({{x}_{i}})-{{y}_{i}})})
∂ θ 1 ∂ J ( θ 0 , θ 1 ) = 2 ⋅ 2 m 1 i = 1 ∑ m ( x i ( θ 0 + θ 1 ⋅ x i − y i ) ) = m 1 i = 1 ∑ m ( x i ⋅ ( f ( x i ) − y i ) )
至此，等号右边就没有了未知参数，就是说可以通过计算获取偏导。另外还记得上面说的1 2 \frac{1}{2} 2 1
上面的函数只有两个参数，我们继续扩展到n n n
此时函数表达式为：f ( x 0 , x 1 , … , x n ) = θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n
f({{x}_{0}},{{x}_{1}},\ldots ,{{x}_{n}})={{\theta }_{0}}+{{\theta }_{1}}\cdot {{x}_{1}}+{{\theta }_{2}}\cdot {{x}_{2}}+\ldots +{{\theta }_{n}}\cdot {{x}_{n}}
f ( x 0 , x 1 , … , x n ) = θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n KaTeX parse error: No such environment: align at position 8:
\begin{̲a̲l̲i̲g̲n̲}̲
J({{x}_{0}},{{…
∂ J ( θ 0 , θ 1 , … , θ n ) ∂ θ k = ∂ ∂ θ k 1 2 m ∑ i = 1 m ( θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i ) 2 = 1 2 m ∑ i = 1 m 2 ⋅ ( θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i ) ⋅ ∂ ∂ θ k ( θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i )
\frac{\partial J({{\theta }_{0}},{{\theta }_{1}},\ldots ,{{\theta }_{n}})}{\partial {{\theta }_{k}}}=\frac{\partial }{\partial {{\theta }_{k}}}\frac{1}{2m}\sum\limits_{i=1}^{m}{{{({{\theta }_{0}}+{{\theta }_{1}}\cdot {{x}_{1}}+{{\theta }_{2}}\cdot {{x}_{2}}+\ldots +{{\theta }_{n}}\cdot {{x}_{n}}-{{y}_{i}})}^{2}}} \\
=\frac{1}{2m}\sum\limits_{i=1}^{m}{2\cdot ({{\theta }_{0}}+{{\theta }_{1}}\cdot {{x}_{1}}+{{\theta }_{2}}\cdot {{x}_{2}}+\ldots +{{\theta }_{n}}\cdot {{x}_{n}}-{{y}_{i}})\cdot }\frac{\partial }{\partial {{\theta }_{k}}}({{\theta }_{0}}+{{\theta }_{1}}\cdot {{x}_{1}}+{{\theta }_{2}}\cdot {{x}_{2}}+\ldots +{{\theta }_{n}}\cdot {{x}_{n}}-{{y}_{i}}) \\
∂ θ k ∂ J ( θ 0 , θ 1 , … , θ n ) = ∂ θ k ∂ 2 m 1 i = 1 ∑ m ( θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i ) 2 = 2 m 1 i = 1 ∑ m 2 ⋅ ( θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i ) ⋅ ∂ θ k ∂ ( θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i ) θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i {{\theta }_{0}}+{{\theta }_{1}}\cdot {{x}_{1}}+{{\theta }_{2}}\cdot {{x}_{2}}+\ldots +{{\theta }_{n}}\cdot {{x}_{n}}-{{y}_{i}} θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i θ k ⋅ x k {{\theta }_{k}}\cdot {{x}_{k}} θ k ⋅ x k θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i {{\theta }_{0}}+{{\theta }_{1}}\cdot {{x}_{1}}+{{\theta }_{2}}\cdot {{x}_{2}}+\ldots +{{\theta }_{n}}\cdot {{x}_{n}}-{{y}_{i}} θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i θ k {{\theta }_{k}} θ k ∂ J ( θ 0 , θ 1 , … , θ n ) ∂ θ k = 1 2 m ∑ i = 1 m 2 ⋅ ( θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i ) ⋅ θ k = 1 m ∑ i = 1 m ( f ( x i ) − y i ) ⋅ θ k
\frac{\partial J({{\theta }_{0}},{{\theta }_{1}},\ldots ,{{\theta }_{n}})}{\partial {{\theta }_{k}}}=\frac{1}{2m}\sum\limits_{i=1}^{m}{2\cdot ({{\theta }_{0}}+{{\theta }_{1}}\cdot {{x}_{1}}+{{\theta }_{2}}\cdot {{x}_{2}}+\ldots +{{\theta }_{n}}\cdot {{x}_{n}}-{{y}_{i}})\cdot }{{\theta }_{k}} \\
=\frac{1}{m}\sum\limits_{i=1}^{m}{(f({{x}_{i}})-{{y}_{i}})\cdot }{{\theta }_{k}} \\
∂ θ k ∂ J ( θ 0 , θ 1 , … , θ n ) = 2 m 1 i = 1 ∑ m 2 ⋅ ( θ 0 + θ 1 ⋅ x 1 + θ 2 ⋅ x 2 + … + θ n ⋅ x n − y i ) ⋅ θ k = m 1 i = 1 ∑ m ( f ( x i ) − y i ) ⋅ θ k
这就是更一般化的求偏导公式
知道怎么求偏导，我们就可以获得在不同位置下的梯度，进一步的，就可以进行梯度更新，还是先以上面说过的一元线性回归为例，假设本次参数初始取值为θ 0 {{\theta }_{0}} θ 0 θ 1 {{\theta }_{1}} θ 1 θ ′ 0 {{{{\theta }'}}_{0}} θ ′ 0 θ ′ 1 {{{{\theta }'}}_{1}} θ ′ 1 θ ′ 0 = θ 0 - β ∂ J ( θ 0 , θ 1 ) ∂ θ 0 = θ 0 − β m ∑ i = 1 m ( f ( x i ) − y i )
{{{{\theta }'}}_{0}}\text{=}{{\theta }_{0}}\text{-}\beta \frac{\partial J({{\theta }_{0}},{{\theta }_{1}})}{\partial {{\theta }_{0}}}\text{=}{{\theta }_{0}}-\frac{\beta }{m}\sum\limits_{i=1}^{m}{(f({{x}_{i}})-{{y}_{i}})}
θ ′ 0 = θ 0 - β ∂ θ 0 ∂ J ( θ 0 , θ 1 ) = θ 0 − m β i = 1 ∑ m ( f ( x i ) − y i )
θ ′ 1 = θ 1 - β ∂ J ( θ 0 , θ 1 ) ∂ θ 1 = θ 1 − β m ∑ i = 1 m ( x i ( f ( x i ) − y i ) )
{{{{\theta }'}}_{1}}\text{=}{{\theta }_{1}}\text{-}\beta \frac{\partial J({{\theta }_{0}},{{\theta }_{1}})}{\partial {{\theta }_{1}}}\text{=}{{\theta }_{1}}-\frac{\beta }{m}\sum\limits_{i=1}^{m}{({{x}_{i}}(f({{x}_{i}})-{{y}_{i}}))}
θ ′ 1 = θ 1 - β ∂ θ 1 ∂ J ( θ 0 , θ 1 ) = θ 1 − m β i = 1 ∑ m ( x i ( f ( x i ) − y i ) )
然后通过上面的两个公式不断迭代更新参数θ 0 {{\theta }_{0}} θ 0 θ 1 {{\theta }_{1}} θ 1
那么，**上面两个式子中的β \beta β β \beta β 学习率，用于控制下降的速度。还是用下山问题来解释，偏导可以告诉我们，哪个方向最陡，而且偏导的大小就意味着朝这个方向迈一步可以走多远，如果你觉得这一步的的距离满足不了你，那么你可以让 β \beta β β \beta β β \beta β β \beta β
是不是β \beta β
是不是β \beta β β \beta β 陷入局部最优 。
所以，β \beta β
更一般化的，我们将上述梯度更新公式应用到更多维的情况。应用到多维上也是一样的，只不过计算量更大，因为每一维度都要先求偏导，然后通过下面公式更新参数：θ ′ k = θ k - β ∂ J ( θ 0 , θ 1 ) ∂ θ k = θ k − β m ∑ i = 1 m ( x k ( f ( x i ) − y i ) )
{{{{\theta }'}}_{k}}\text{=}{{\theta }_{k}}\text{-}\beta \frac{\partial J({{\theta }_{0}},{{\theta }_{1}})}{\partial {{\theta }_{k}}}\text{=}{{\theta }_{k}}-\frac{\beta }{m}\sum\limits_{i=1}^{m}{({{x}_{k}}(f({{x}_{i}})-{{y}_{i}}))}
θ ′ k = θ k - β ∂ θ k ∂ J ( θ 0 , θ 1 ) = θ k − m β i = 1 ∑ m ( x k ( f ( x i ) − y i ) )
以上是梯度下降法的一种理解方式，当然，也可以通过泰勒公式对目标函数进行展开推倒得到。
同步更新问题：
https://www.cnblogs.com/chenhuabin/p/11166726.html
