机器学习数学基础之微分

导数

定义

$f(x)$在$x_0$附近有定义，且存在极限$\lim_{x\rightarrow x_0}{{f(x)-f(x_0)}\over {x-x_0}}=L$
那么$f(x)$在$x_0$处可导，导数$f^\prime(x)=L$。

用无穷小量表述：线性逼近

如果存在实数$L$,使得$f(x)=f(x_0)+L(x-x_0)+o(x-x_0),x\rightarrow x_0$
那么$f(x)$在$x_0$处可导，导数$f^\prime(x_0)=L$。
思想重点：在$x_0$附近，可以用$f(x_0)+L(x-x_0)$的线性函数表示，其误差为$o(x-x_0)$,当$x$越接近于$x_0$时，误差就很小很小。

多元函数微分

假设多元函数$f(x,y)$是无穷可微，存在$L_x$和$L_y$,使得
$f(x，y)=f(x_0,y_0)+L_x(x-x_0)+L_y(y-y_0)+o(|x-x_0|+|y-y_0|),x\rightarrow x_0,y\rightarrow y_0$
即用线性函数对$f(x,y)$在$(x_0,y_0)$附近进行逼近，其中$L_x$和$L_y$分别为函数在$(x_0,y_0)$处对$x$和$y$的偏导数。
更为准确的逼近，可以用二阶偏导数和二次函数进行逼近，
$f(x，y)=f(x_0,y_0)+L_x(x-x_0)+L_y(y-y_0)+L_xL_y(x-x_0)(y-y_0)+{1\over 2}L_{x^2}(x-x_0)^2+{1\over 2}L_{y^2}(y-y_0)^2+o(|x-x_0|^2+|y-y_0|^2),x\rightarrow x_0,y\rightarrow y_0$
其中$L_x$,$L_y$,$L_{x^2}$,$L_{y^2}$,分别为函数的一阶和二阶偏导数。
微分的核心思想：就是用简单的线性函数去拟合复杂函数在某一点的函数，当复杂函数的一阶导函数也很复杂时，就继续研究其二阶导，如此往下，用到高阶导数。

泰勒级数

假设$f(x)$无穷可微（在实际工程应用中，都认为是这样的，基本都可以认为研究的函数都是满足条件），则在某一点处$x_0$附近，可以用一个多项式来近似表示。
$f(x)=f(x_0)+f^\prime(x_0)(x-x_0)+{1\over 2!}f^{(2)}(x-x_0)^2+\cdots+{1\over n!}f^{(n)}(x-x_0)^n+o((x-x_0)^n)$
注意：只在$x_0$附近可以用此公式近似，不是对整个函数做近似。目的就是为了将复杂的函数用简单的多相似表示，方便研究。
当在0附近展开，即$x_0=0$时，就变成麦克劳林级数，
$f(x)=f(0)+f^\prime(0)x+{1\over 2!}f^{(2)}x^2+\cdots+{1\over n!}f^{(n)}x^n+o(x^n)$
麦克劳林级数简单点，一般情况下将函数展开成麦克劳林级数。

来源：https://blog.csdn.net/lsjmax/article/details/101024949