当f'(x)=0时，导数无法提供往哪个方向移动的信息。f'(x)=0的点称为临界点或驻点。一个局部极小值意味着这个点在f(x)小于所有邻近点，因此不可能通过移动无穷小的步长来减小f(x)。一个局部极大点意味着这个点的f(x)大于所有邻近点，一次不可能通过移动无穷小的步长增大f(x)。有些临界点(斜率为0的点)既不是最小点也不是最大点，这些点称为鞍点。
xuTxf(x)。为了最小化f，找到使f下降最快的方向，计算方向导数：
minuTxf(x)=min||xxxf(x))，并选择其中能产生最小目标函数值的ε。这种策略为线搜索。
总结：
文章来源: 机器学习实战----梯度下降