梯度下降在深度学习中的作用

提及梯度，那就一定要知道导数的作用。
$f(x)=3x^2+2x+2$，假设有这样的函数，想要求出使得这个函数达到最小值的$x$的值。

$f'(x)=6x+2$
初始值$x_0=3$
$x_{i+1}=x_i+\theta f'(x_i)$这个式子就是更新迭代的公式，$\theta$就是所说的学习率。注意这里为了简明用的是导数，而实际上要用的是梯度。
假设$\theta$＝0.01,沿着导数相反的方向函数值下降最快，那么$x_2=3-0.01*20=2.8$。
以此类推直到$x_i=-0.3333333$时，$f'(x_i)=0$，此时$x_{i+1}=x_{i}$，
那么$x=1/3$时函数值$f(1/3)$是最小的。

在深度学习中，$f$就是损失函数$Loss function$，它的意义就是神经网络的预测值与实际标签之间的误差。我们的目的就是求出相应的预测值，使得预测值与真实标签的误差最小，即寻找损失函数的最小值。也就正对应着刚才的例子，自变量$x$就是预测值。

来源：CSDN

作者：m0_45478865

链接：https://blog.csdn.net/m0_45478865/article/details/104135815