梯度

http://blog.csdn.net/lwzkiller/article/details/54633670 关于角点的应用在图像处理上比较广泛，如图像匹配(FPM特征点匹配)、相机标定等。网上也有很多博客对Harris角点检测原理进行描述，但基本上只是描述了算法流程，而其中相关细节并未作出解释，这里我想对有些地方做出补充说明，正所谓知其然知其所以然，如有不对，还望指正。 关于角点的应用在图像处理上比较广泛，如图像匹配(FPM特征点匹配)、相机标定等。网上也有很多博客对Harris角点检测原理进行描述，但基本上只是描述了算法流程，而其中相关细节并未作出解释，这里我想对有些地方做出补充说明，正所谓知其然知其所以然，如有不对，还望指正。 1. 何为角点？ 下面有两幅不同视角的图像，通过找出对应的角点进行匹配。 再看下图所示，放大图像的两处角点区域： 我们可以直观的概括下角点所具有的特征： >轮廓之间的交点； >对于同一场景，即使视角发生变化，通常具备稳定性质的特征； >该点附近区域的像素点无论在梯度方向上还是其梯度幅值上有着较大变化； 2. 角点检测算法基本思想是什么？ 算法基本思想是使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该窗口中存在角点。 3

预备知识 一、正定和半正定矩阵 半正定矩阵包括了正定矩阵 。 不定矩阵：特征值有正有负 半正定 矩阵： 所有特征值为 非负 。 半负定矩阵：所有特征值为非正。 二、牛顿法和拟牛顿法（二阶优化方法） 由于我主要是做NLP，机器学习方面基本功扎实后，更加偏机器学习的方法浅尝辄止即可， 面试的时候知道有这些东西即可。这里只提一提。 牛顿法（Newton method）和拟牛顿法（quasi Newton method）是 求解无约束最优化问题的常用方法 ，有收敛速度快的优点。 牛顿法是迭代算法，每一步都需求解目标函数的海塞矩阵 （Hessian Matrix），计算比较复杂。 拟牛顿法通过正定矩阵近似海塞矩阵的逆矩阵或海塞矩阵 ，简化了这一计算过程。 1 牛顿法 ： 2 拟牛顿法 ： 拟牛顿法主要常见有DFP法（逼近Hession的逆）、BFGS（直接逼近Hession矩阵）、 L-BFGS（可以减少BFGS所需的存储空间）。均是用不同的构造方法来近似海塞矩阵或其逆。 3 牛顿法和梯度下降法 ： 4 牛顿法和深度学习 ： 三、海塞矩阵 四、鞍点问题 高维非凸优化问题之所以困难，是因为 存在大量的鞍点而不是局部极值 。 神经网络优化问题中的 鞍点即一个维度向上倾斜且另一维度向下倾斜的点 。 鞍点和局部极值的区别： 鞍点和局部极小值， 相同 的是，在该点处的 梯度都等于零 ， 不同在于

1. 不同视域情况对应的视神经电信号 首先，是全黑色对应的情况： 上面是图形，下面是电信号；中间区域是注意力的中心。 下面，点亮中间区域，可以看到电信号频率变高，变得更加活跃 接着，视域中心变黑，视域周边变亮： 电信号竟然遭到了压制。 最后，中心和周围都变亮 与全黑的情况类似。 由此，我们认为我们的人眼感知的更多的是变化量，可以得到如下结论： 我们的人眼更多的是一个边缘检测算子。 即对于光亮度Luminance L,我们观察到的实际是dL/dx, 即L关于位置的梯度。这就是 人眼的梯度特性 。 2. 举例 Q1： 下面箱子的上下两边哪个亮？ 大多数答案：下面亮。 正确答案：一样亮。将中间边缘处挡住即可： 解释：我们的视觉系统更容易被差异较大的边缘吸引，并会夸张这一差异，箱子上下交界处的强对比的边缘影响了我们的判断。 还有很多例子可以说明人眼的梯度特性，很多幻视现象也可以用人眼的梯度特性进行解释。 参考： 《可视数据分析》ppt及上课内容 来源： CSDN 作者： R.X. NLOS 链接： https://blog.csdn.net/qazwsxrx/article/details/104650335

卷积神经网络组成 ： input--CONV--ReLU--pooling--FC 输入层--卷积层--激活函数--池化层--全连接层 在这里需要指出的是：--卷积层--激活函数--池化层--全连接层，它的组合不唯一，也可以看一下关于卷积神经网络的 概括 ： 由于它们的组合可以作出相应的改变，所以使得卷积神经网络有很多不同的表达，尤其是在深度上的提高。 卷积层 卷积层一般是由3x3或5x5,甚至是11x11的卷积核与传入数据进行卷积得到的，下图是3x3Filter与绿色的图像做卷积的过程，粉红色的图是卷积之后的结果。 局部感受野 ：上图中的3x3卷积核，先与图像中的左上角的 3x3局部感受野 做点积并将所有的结果进行加和才得到粉色图像中的第一个数字4，接着每移动一列进行一次内积并作加和，直到所有的 局部感受野 处理完毕为止。就得到了第一个卷积特征图。在这里面的移动步长S为1。补充一下：卷积核的行列值一般都是奇数。上图的计算过程中不难发现，输入图的矩阵的四个边只利用到了一次，如果想要充分利用边上的特征就需要扩边。在下图中就是对一个RGB图进行了边的扩充，当然RGB是三维的，所以可以利用三个卷积核对每一维进行卷积，然后将所有的卷积结果进行相加，即图中的绿色输出的第一个图的左上角数字5是由，w0三个卷积核分别对不同维度做卷积后的结果的总和。 权值共享 ：在我看来

一.杂论 1.1 训练集，验证集，测试集的区别 训练集:利用标签不断的进行网络参数（权重）的更新，但是每次训练都有一定的训练参数（学习率等） 验证集:用来选择训练集中最好的训练参数（学习率等） 测试集:用来真实的评价模型或者参数的结果 1.2 max函数的梯度: 其中一个为零梯度，另一个为正常梯度计算 1.3 卷积维度的计算： 卷积输出的维度=（输入维度+增补维度-卷积核维度）/步幅+1 1.4 硬件使用 CPU 核数较少，但运算很快，操作数很多，并且可以单独运行，适合做通信处理。 GPU 核数很多，但运算慢，操作有限，不能单独运行，适合进行高度并行的处理（矩阵运算） FPGA:可编程门阵列. ASIC:特定用途集成电路 1.5全连接模块 全连接模块会产生大量的参数，可以用池化替代 1.6 跨卷积与反向跨卷积 跨卷积：调整卷积核的步幅 反向跨卷积：将卷积得到的结果再乘上卷积核，并移动一定的步长（相乘结果） 两者可以使用步长比来命名 1.7 目标函数 将最终的目标作为目标函数可以更加有效的得到对应的结果 1.8 忽略细节 不准确的说，人们往往只知道某项技术可以达到怎样的功能，但是产生这样效果的原因却尚未没解开 1.9 减小模型复杂度 剪枝： （1）降低模型的复杂度 （2）防止过拟合 （3）先训练神经网络，再去除连接，再训练。 权值共享：对一些接近的权值，使用一个近似进行表示，学习

1.概述 GBDT基于GB算法。GB算法的主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数是评价模型性能(一般为拟合程度+正则项)，认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT再此基础上，基于负梯度(当损失函数为均方误差的时候，可以看作是残差)做学习。 2.原理 类似于随机森林回归，随机森林使用的bagging,gdbt使用的是boosting方式， 通过不断迭代真实值与预测值的残差来产生新的回归树， 公式： vm表示权重，这里是固定超参数，预测时只要做反运算即可，公式： 过程： (1).对于样本{X,Y}，首先生成截距b(可以是Y均值)，对所有样本Y0=Y-b (2).以Y0为预测值生成回归树t0,Y1 = Y0 - learningRate*tree0.predict(X)，以Y1为预测值生成下一棵树,得出以下迭代公式： Yi+1 = Yi - learningRate*treei.predict(X) (3).重复步骤二，直至树的数目足够多为止 来源： https://www.cnblogs.com/yangyang12138/p/12406165.html

1、Model representation（模型表达） 模型表达就是给出输入和输出之间的函数关系式。当然这个函数是由前提假设的，里面可以含有参数。此时如果有许多训练样本的话，同样可以给出训练样本的平均相关的误差函数，也称作 损失函数 （Loss function）。我们的目标是求出模型表达中的参数，这是通过最小化损失函数来求得的。一般最小化损失函数是通过梯度下降法（即先随机给出参数的一组值，然后更新参数，使每次更新后的结构都能够让损失函数变小，最终达到最小即可）。在梯度下降法中，目标函数其实可以看做是参数的函数，因为给出了样本输入和输出值后，目标函数就只剩下参数部分了，这时可以把参数看做是自变量，则目标函数就变成了参数的函数了。梯度下降每次都是更新每个参数，且每个参数更新的形式是一样的，即用前一次该参数的值减掉学习率和目标函数对该参数的偏导数。（如果只有1个参数的话，就是导数），为什么要这样做呢？通过取不同点处的参数可以看出，这样做恰好可以使原来的目标函数值变低，因此符合我们的要求（即求函数的最小值）。即使当学习速率固定(但不能太大)，梯度下降法也是可以收敛到一个局部最小点的，因为梯度值会越来越小，它和固定的学习率相乘后的积也会越来越小。在线性回归问题中我们就可以用梯度下降法来求回归方程中的参数。有时候该方法也称为批量梯度下降法

1.图像梯度 图像梯度是指图像某像素在x和y两个方向上的变化率（与相邻像素比较），是一个二维向量，由2个分量组成，X轴的变化、Y轴的变化 。 其中X轴的变化是指当前像素右侧（X加1）的像素值减去当前像素左侧（X减1）的像素值。 同理，Y轴的变化是当前像素下方（Y加1）的像素值减去当前像素上方（Y减1）的像素值。 计算出来这2个分量，形成一个二维向量，就得到了该像素的图像梯度。取反正切arctan，可得到梯度角度。 这个求图像梯度的过程可以通过一个卷积核来实现：[-1,0,1] 图像梯度的绝对值为 图像梯度的角度为 python代码 import numpy as np import scipy . signal as sig data = np . array ( [ [ 0 , 105 , 0 ] , [ 40 , 255 , 90 ] , [ 0 , 55 , 0 ] ] ) G_x = sig . convolve2d ( data , np . array ( [ [ - 1 , 0 , 1 ] ] ) , mode = 'valid' ) G_y = sig . convolve2d ( data , np . array ( [ [ - 1 ] , [ 0 ] , [ 1 ] ] ) , mode = 'valid' ) 2.扩展版图像梯度（Sobel）

梯度下降法（Gradient Descent，GD）是一种常见的一阶（first-order）优化方法，是求解 无约束优化问题 最简单、最经典的方法之一。，在最优化、统计学以及机器学习等领域有着广泛的应用。 所谓的一阶方法就是仅使用目标函数的一阶导数，不利用其高阶导数。 那什么是无约束优化问题呢？举个例子，在一元函数法 f ( x ) f(x) f ( x ) 的图像中，求无约束最优化问题，即不对定义域或值域做任何限制的情况下，求解函数 f ( x ) f(x) f ( x ) 的最小值。 1、场景假设 梯度下降法的基本思想可以类比为一个下山的过程。 假设这样一个场景：一个人需要从红色山顶得 某处 开始下山， 尽快 到达蓝色得山底。在下山之前他需要确认两件事： 下山的方向 下山的距离 按照梯度下降算法的思想，它将按如下操作达到最低点： 第一步，明确自己现在所处的位置 第二步，找到相对于该位置而言下降最快的方向（ 下山的方向 ） 第三步， 沿着第二步找到的方向走一小步（ 下山的距离 ），到达一个新的位置，此时的位置肯定比原来低 第四部， 回到第一步，重复执行这个过程，直到到达山底 这一过程形象的描述了梯度下降法求解无约束最优化问题的过程，下面我们将例子里的关键信息与梯度下降法中的关键信息对应起来： 山代表了需要优化的函数表达式； 山的最低点就是该函数的最优值，也就是我们的目标；

什么是边缘？ 简单的回答：灰度不连续处 物体的边界 不同材料性质的边界 光照的边界 边缘的类型（一维剖面） 边缘可以根据灰度剖面来建模 阶跃边缘 Step edge：图像灰度突然从不连续一侧的一个值变为另一侧的另一个值 斜坡边缘 Ramp edge：灰度变化不是瞬间的而是在有限距离内发生的一种阶跃边缘 例子 边缘的类型（一维剖面） 山脊边缘 Ridge edge：图像灰度值突然变化，然后在很短的距离内回到开始的值；通常由图像中的线产生 例子 边缘的类型（一维剖面） 屋顶边缘：灰度变化不是瞬间的而是在有限距离内发生的一种山脊边缘；通常在曲面相交处产生 例子 阶跃/斜坡边缘术语 边缘描述子 —— 边缘法向 ：最大灰度变化方向的单位矢量。 —— 边缘方向 ：沿着边缘的单位矢量（垂直于边缘法线）。 —— 边缘位置/中心 ：边缘所在图像中的位置 —— 边缘强度/幅值 ：沿着边缘法向的局部图像对比度 重点：所有这些信息都可以从梯度向量场计算出来！！ 梯度的总结 边缘像素是在梯度幅值局部最大的地方 梯度方向垂直于边缘方向 梯度向量： 幅值： 方向： 来源： CSDN 作者： USRL所长 链接： https://blog.csdn.net/u010307048/article/details/104550540