导数

作者简介：白朔天，前滴滴算法专家，中科院博士，拉勾教育专栏作者。本文选自专栏： 《机器学习入门21讲》 。 你好，我是白朔天，今天给大家分享到的，是机器学习的必备基础，也就是数学基础。本课时我们主要学习极值，以及如何通过梯度下降法求解极值。 毋庸置疑， 人工智能技术可以让机器帮助人类做出更正确的决策。 而在做决策的时刻，机器就必然会面对在多个决策之间进行抉择的情形。这个决策通常是在有某些限定条件下的选择取舍。 例如，小明在填写高考志愿时，需要在多所目标高校中选择最合适自己的那所。假设在这个过程中，小明的决策依据是学校综合实力和被录取可能性的求和。对于北大、北理工、北大青鸟，三所学校的综合实力排名是递减的关系；而对于小明而言，他被录取的可能性是递增的关系。因此， 在决策志愿时，就需要综合考虑这两个因素，以保证自己的考学利益最大化。 此时，这个问题就是一个最优化决策的数学问题。 本文选自专栏：《机器学习入门21讲》 这个例子非常简单，可能简单扫一眼，人们就能得到最优决策的结果。能够快速决策的一个重要原因是它的决策变量只有选择某个学校这一个。而对于更加复杂的最优化决策问题，假设其决策变量有成千上万个，而决策结果受这成千上万个变量的共同影响时， 人们作出最优决策将会变得非常困难。此时就是人工智能发挥作用的重要场景。 不管是简单还是复杂的最优化决策，其本质都是个数学问题

在解放前和解放初期，导数不叫导数，叫微商，即微量之商；导数是后来改叫的名。 因为导数是函数的瞬时变化率。若导数>0，则表明函数的值是增加的；若导数<0, 表明函数的值是减少的；所以顾名思义，导数有引导或指导函数变化趋势的能力， 故取名导数也。所以导数比微商，更能反映函数的本质属性。 来源： https://www.cnblogs.com/liuys635/p/11150544.html

导数的概念： 导数意义：瞬间速度、切线的斜率 来源： https://www.cnblogs.com/liming19680104/p/10947412.html

洛必达法则的 理解 \[\frac{0}{0}型 \] 准备：构造关键函数 即定义 \(u(x)\big(f(x), g(x)\big)\) \(u\) 这个函数 \(x=a\) 处导数可求 \(\frac{f'(a)}{g'(a)}\) 原点线斜率为 \(\frac{f(x)}{g(x)}\) 待建立的相等关系是： \[\lim\limits_{x\to x_0}\frac{f(x)}{g(x)}\xlongequal{割线的极限是切线}u'(x_0)=\frac{f'(x_0)}{g'(x_0)}\xlongequal{利用u'在x=x_0的连续性}\lim\limits_{x\to x_0}\frac{f'(x)}{g'(x)} \] 对于 \(\frac{\infty}{\infty}\) 型，不便用这样的方法解决。 极、最值点、驻点需要考虑点集之间的关系 极值点与最值点 （极值点）：开区间内部导数为零的点和不可导点 （最值点）：（极值点）+闭区间端点 极值点与驻点 可导函数的极值点都是驻点。但如果没有给该点可导，则极值点不一定是驻点。 驻点左右单调性可以相同，所以不一定是极值点。 导数应用小专题 求极值点和拐点、求渐近线 见part 3 方程求根 零点定理；如果不能用就用 罗尔定理 零点定理结合单调性可以确定方程根的个数 不等式的证明 高中构造函数，利用单调性

空间滤波器主要包括平滑滤波器和锐化滤波器，下面从理论和实践两个部分阐述。 理论 空间滤波的公式如下： 空间滤波的过程也就是不断用一个filter（一般为3X3）在图像上与同样大小的局部patch作用，作用结果更新在中心点上，所以需要m,n为奇数。 在2维时域信号上做卷积与此公式稍有不同，如下： 可以看到，空间滤波公式中两个+变成了-，对应于空间滤波中的filter旋转180度之后的filter相作用，所以当filter为对角线对称的时候，空间滤波与2维卷积是一样的，而通常filter是对角线对称的。区别于卷积，一般将空间滤波描述为correlation，即看filter和图片上local patch的相关性。 1、平滑滤波器 平滑滤波器的两个主要作用是模糊化和降噪（如美颜相机中的磨皮操作） 分母除以一个数保证变换后强度不会大增。 1.1 线性滤波 常用的线性滤波有均值滤波（频域上的低通滤波器）和高斯滤波。下图分别是均值滤波器（左）和高斯滤波器（右）示例： 一个例子就是处理如下左图，只想保留较大的点，通过平滑过滤器模糊化，将小点融合，该地方有个trick就是因为该图对比度比较明显，可以通过加阈值来截断亮点和暗点。 1.2 非线性滤波 常用的线性滤波有中值滤波和最大值滤波。 中值滤波器： 从上式很容易看出中值滤波就是在输入图像的patch上用中值代替该点。中值滤波器适用于突变的噪声点

梯度消失和梯度爆炸: 梯度消失和梯度爆炸可以从同一个角度来解释, 根本原因是神经网络是根据链式求导法, 根据损失函数指导神经元之间的权重经行更新, 神经元的输入在经过激活函数激活, 通常, 如果我们选择sigmoid为激活函数: 通常，若使用的激活函数为sigmoid函数，其导数为: 这样可以看到，如果我们使用标准化初始w，那么各个层次的相乘都是0-1之间的小数，而激活函数f的导数也是0-1之间的数，其连乘后，结果会变的很小，导致梯度消失。若我们初始化的w是很大的数，w大到乘以激活函数的导数都大于1，那么连乘后，可能会导致求导的结果很大，形成梯度爆炸。 如何解决? 更换激活函数,如Relu, Tanh, 但Tanh的导数也是小于1的, 也有可能发生梯度消失/爆炸 由上图可知，ReLU函数的导数，在正值部分恒为1，因此不会导致梯度消失或梯度爆炸问题。 另外ReLU函数还有一些优点： 计算方便，计算速度快 解决了梯度消失问题，收敛速度快 参数阶段, 将w截取到一个范围内, wgan就是这样做的 残差连接 BN 正则化,惩罚参数项目 https://blog.csdn.net/weixin_39853245/article/details/90085307 来源： https://www.cnblogs.com/zhouyc/p/12505364.html

求偏导数partial derivative 利用Sympy库 SymPy是一个符号计算的Python库。它的目标是成为一个全功能的计算机代数系统，同时保持代码简洁、易于理解和扩展。它完全由Python写成，不依赖于外部库。 SymPy支持符号计算、高精度计算、模式匹配、绘图、解方程、微积分、组合数学、离散数学、几何学、概率与统计、物理学等方面的功能。 程序代码 >> > from sympy import symbols , diff >> > x , y = symbols ( 'x y' , real = True ) >> > diff ( x ** 2 + y ** 3 , y ) 3 * y ** 2 >> > diff ( x ** 2 + y ** 3 , y ) . subs ( { x : 3 , y : 1 } ) 3 先将所求变量（x，y）符号化。否则会提示为定义错误： NameError: name 'y' is not defined 。之后利用 diff 函数求对应函数偏导数。 求出偏导数之后，若想求具体的值，可利用 subs 属性进行变量的替换，便可自动求出对应值。 参考链接： https://docs.sympy.org/latest/index.html 来源： CSDN 作者： Jichao Zhao 链接： https://blog.csdn

梯度下降法（Gradient Descent，GD）是一种常见的一阶（first-order）优化方法，是求解 无约束优化问题 最简单、最经典的方法之一。，在最优化、统计学以及机器学习等领域有着广泛的应用。 所谓的一阶方法就是仅使用目标函数的一阶导数，不利用其高阶导数。 那什么是无约束优化问题呢？举个例子，在一元函数法 f ( x ) f(x) f ( x ) 的图像中，求无约束最优化问题，即不对定义域或值域做任何限制的情况下，求解函数 f ( x ) f(x) f ( x ) 的最小值。 1、场景假设 梯度下降法的基本思想可以类比为一个下山的过程。 假设这样一个场景：一个人需要从红色山顶得 某处 开始下山， 尽快 到达蓝色得山底。在下山之前他需要确认两件事： 下山的方向 下山的距离 按照梯度下降算法的思想，它将按如下操作达到最低点： 第一步，明确自己现在所处的位置 第二步，找到相对于该位置而言下降最快的方向（ 下山的方向 ） 第三步， 沿着第二步找到的方向走一小步（ 下山的距离 ），到达一个新的位置，此时的位置肯定比原来低 第四部， 回到第一步，重复执行这个过程，直到到达山底 这一过程形象的描述了梯度下降法求解无约束最优化问题的过程，下面我们将例子里的关键信息与梯度下降法中的关键信息对应起来： 山代表了需要优化的函数表达式； 山的最低点就是该函数的最优值，也就是我们的目标；

课程名称 | 零基础入门深度学习 授课讲师 | 孙高峰 百度深度学习技术平台部资深研发工程师 授课时间 | 每周二、周四晚20:00-21:00 编辑整理 | 孙高峰 内容来源 | 百度飞桨深度学习集训营 出品平台 | 百度飞桨 01 导读 本课程是百度官方开设的零基础入门深度学习课程，主要面向没有深度学习技术基础或者基础薄弱的同学，帮助大家在深度学习领域实现从0到1+的跨越。从本课程中，你将学习到： 深度学习基础知识 numpy实现神经网络构建和梯度下降算法 计算机视觉领域主要方向的原理、实践 自然语言处理领域主要方向的原理、实践 个性化推荐算法的原理、实践 本周为开讲第三周，百度深度学习技术平台部资深研发工程师孙高峰，开始讲解深度学习在计算机视觉方向实践应用。今天为大家带来的是卷积神经网络基础之池化和Relu。 02 池化（Pooling） 池化是使用某一位置的相邻输出的总体统计特征代替网络在该位置的输出，其好处是当输入数据做出少量平移时，经过池化函数后的大多数输出还能保持不变。比如：当识别一张图像是否是人脸时，我们需要知道人脸左边有一只眼睛，右边也有一只眼睛，而不需要知道眼睛的精确位置，这时候通过约化某一片区域的像素点来得到总体统计特征会显得很有用。由于池化之后特征图会变得更小，如果后面连接的是全连接层，能有效的减小神经元的个数，节省存储空间并提高计算效率。如 图10 所示

极值点的判定，在高中和大学高数中都是一个不太清晰的地方，一般有三条充分条件可以判定一个点是否为极值 这个定理，是高中最常使用的判定极值点的定理，这个定理要判断f’(x)在x0附近的情况，但有时候判断f'(x）在x0左右的情况并不容易，所以在高中往往后求二阶导师，然后通过二阶导数单调性在判断f'(x）在x0附近的情况，这实际上暗含了极值的第二个充分条件 这个定理其实十分好用，因为实际上只要知道f'(x0)=0, 并且f''(x0) >0 ,就可以判定极小值，并不需要任何x0附近的信息。但问题来了，如果二阶导数也为0怎么办？，有没有高效的方法？ 极值存在的第三充分定理。 来看一道例子 、 这道题目第一问其实就暗示了当a=0时，x=0，f(x)其实不是极值点。 我们知道，一个多项式多项式在0处有极值，且f(0)=0, 其一定是偶数项多项式，即偶函数。（这个很容易证明），即奇数次幂的系数要为0。我们取ln(1+x）的三阶泰勒展开 令x^3 系数为0， 立即得到 a = -1/6 这种方法的令一种解释：我们想知道f(x) 在0处的n阶导数值有以下做法 1. 直接暴力求导，令x=0即可 2. 利用泰勒展开式(在x=0处展开） 以上展开并不需要直接计算导数得到，可以通过已知展开函数的多项式运算得到。上面的等式中，通过展开ln(1+x)间接计算了f(x)的在0处的n阶导数。在根据极值的第三充分条件