自动微分

﹥>﹥吖頭↗ 提交于 2019-12-11 02:54:35

一、前言

  梯度下降法(Gradient Descendent)是机器学习的核心算法之一,自动微分则是梯度下降法的核心;

  梯度下降法用于求损失函数的最优值,梯度下降是通过计算参数与损失函数的梯度并在梯度的方向不断迭代求得极值;但是在机器学习、深度学习中很多求导往往是很复杂的,手动使用链式法则求导很容易出错,借助于计算机也只能是硬编码;

这时候就需要借助于自动微分了,求导主要有这么四种:

  • 手动微分法
  • 数值微分法
  • 符号微分法

这里分别说说这几种求导方法;

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!