我们知道梯度是一个向量，即是一个矢量，是有方向的，某一点它的梯度方向的指向是该点函数值变化最快的方向，因此要想找到极值就沿着该方向前进是最快的到达极值点的方法。
至于下降，指的是函数图像的某点处梯度向量的模在寻找极值点的路途的过程中逐渐减小，可以想象一下一个3D图像，在逼近它的极值点的过程中经过的点处的梯度向量的模是一直减小的。（因为梯度向量的模为
，
表示函数在x轴方向的变化率，
表示函数在y轴方向的变化率，在逼近极值点的过程中函数图像逐渐变得平缓，函数在x、y方向变化变慢和变小，函数在任意方向变化速度（方向导数）变得逐渐减慢，即梯度向量的模逐渐减小，即梯度下降。）