最优化方法

今天要扫盲的知识点是原始问题和对偶问题，这个知识点主要牵涉拉格朗日乘数法。整理这个知识点，主要是为理解下一个知识点（ 支持向量机 ）做准备的！ 文章目录 引言 原始问题 最优化问题 拉格朗日乘数法 举个栗子 拉格朗日求解原始问题 对偶问题 两者关系 Karush Kuhn-Tucher条件，KKT 举个栗子 原始-对偶问题转换求解 总结 引言 原问题，又称原线性规划问题，是指每一个线性规划的原始问题，每个原问题均可以转化为与其对称的对偶问题。原问题与对偶问题是相对的，二者为同类型的规划，构成对偶规划的一般规则如下： 若原问题是极大化问题，那么对偶问题就是极小化问题；若原问题是极小化问题，那么对偶问题就是极大化问题。 在原问题与对偶问题中，约束右端向量与目标函数中系数恰好对换。 对于极小化问题的“≥ ”型约束(极大化问题的“≤ ”型约束)，相应的对偶变量有非负限制；对于极小化问的“≤ ”型约束(极大化问题的“≥ ”型约束)，相应的对偶变量有非正限制；对于原问题的“=”型约束，相应的对偶变量无正负限制。 对于极小化问题的具有非负限制的变量(极大化问题的具有非正限制的变量)，在其对偶中相应的约束为“≤ ”型不等式；对于极小化问题的具有非正限制的变量(极大化问题的具有非负限制的变量)，在其对偶问题中相应的约束为“≥ ”型不等式； 对于原问题中无正负限制的变量，在其对偶问题中相应的约束为等式

一.线搜索技术之黄金分割法 1.什么是线搜索技术 最优化问题中，线搜索是一种寻找目标函数的局部最小值 的近似方法。 它是最基础的迭代近似方法之一，另一种是置信域方法。 线搜索近似首先找到一个使目标函数 下降的方向，然后计算应该沿着这个方向移动的步长。下降方向可以通过多种方法计算，比如梯度下降法，牛顿法和拟牛顿法。 维基百科 搜索技术在寻找目标函数局部极小值得时候，有两步操作： 找到目标函数下降的方向 确定步长，使初始点不断接近局部极小值点，使目标函数的值也近似为局部最小值第二步是确定步长。 线搜索技术解决问题的范围： 目标函数为 线性收敛 线搜索技术的分类 精确线搜索技术： 求步长x，使得目标函数f沿方向d达到极小 （精度高） 非精确线搜索技术： 求步长x，使得目标函数沿方向d达到可接受范围的下降量 （精度小一点） 2.什么是黄金分割法(0.616法） 黄金分割法 ：通过对试探点函数值得比较，使得包含极小值的区间不断缩小，每次区间缩小0.616倍 1 通常在采用黄金分割法求局部极小值时，首先要确定一个单峰区间[a,b]如下图所示： 单峰区间确定的方法有进退法 1 ： 3.通过MATLAB代码求解一道题 题目：用0.616法求解 min ⁡ f ( z ) = x 2 − x − 1   . \min f(z) = x^{2}-x-1\,. min f ( z ) = x 2 − x

本节是cs231n笔记：最优化，并介绍了梯度下降方法，然后应用到逻辑回归中。 引言 在上一节线性分类器中提到，分类方法主要有两部分组成： 1. 基于参数的评分函数 。能够将样本映射到类别的分值。 2. 损失函数 。用来衡量预测标签和真实标签的一致性程度。 这一节介绍第三个重要部分： 最优化（optimization）。 损失函数能够让我们定量的评估得到的权重w的好坏，而最优化的目标就是找到一个w，使得损失函数的值最小。工作流程如下图： （x,y）是给定的数据集，w是权重矩阵，通过初始化得到。向前传递到评分函数中得到类别的评分值并存储在向量f中。损失函数计算评分函数值f与类标签y的差值，正则化损失只是一个关于权重的函数。在梯度下降过程中，我们计算权重的梯度，然后使用梯度更新权重。一旦理解了这三个部分的关系，我们可以使用更加复杂的评分函数来代替线性映射，比如神经网络、甚至卷积神经网络等，而损失函数和优化过程这两部分则相对保持不变。 梯度下降 　　梯度下降的思想是，要寻找某函数的最值，最好的方法是沿着函数的梯度方向寻找，移动量的大小称为步长。梯度下降的公式如下： 　　我们常常听说过梯度上升、梯度下降，那么两者的区别又是什么呢？其实这两者是一样的，只是公式中的减法变成加法，因此公式是： 梯度上升是用来求函数的最大值，而梯度下降是用来求最小值。普通的梯度下降版本如下： # 普通的梯度下降

---恢复内容开始--- http://www.zhihu.com/question/19723347 引自知乎 牛顿法是二阶收敛，梯度下降是一阶收敛 ， 所以牛顿法就更快 。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。 根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。 wiki上给的图很形象： <img src="https://pic4.zhimg.com/365e99bcf8d2e1ef1986e09c795caef7_b.jpg" data-rawwidth="220" data-rawheight="253" class="content_image" width="220">红色的牛顿法的迭代路径，绿色的是梯度下降法的迭代路径。 红色的牛顿法的迭代路径，绿色的是梯度下降法的迭代路径。 作者：金秉文 链接：http:/

本节是cs231学习笔记： 最优化 ，并介绍了梯度下降方法，然后应用到逻辑回归中 引言 　　在上一节 线性分类器 中提到，分类方法主要有两部分组成：1.基于参数的评分函数。能够将样本映射到类别的分值。2.损失函数。用来衡量预测标签和真是标签的一致性程度。这一节介绍第三个重要部分： 最优化 （optimization）。损失函数能让我们定量的评估得到的权重W的好坏，而最优化的目标就是找到一个W，使得损失函数最小。工作流程如下图： (x,y) 是给定的数据集， W 是权重矩阵，通过初始化得到。向前传递到评分函数中得到类别的评分值并存储在向量 f 中。损失函数计算评分函数值 f 与类标签 y 的差值，正则化损失只是一个关于权重的函数。在梯度下降过程中，我们计算权重的梯度，然后使用梯度更新权重。一旦理解了这三个部分的关系，我们可以用更加复杂的评分函数来代替线性映射，比如神经网络、甚至卷积神经网络等，而损失函数和优化过程这两部分则相对保持不变。 梯度下降 　　梯度下降的思想是:要寻找某函数的最值，最好的方法就是沿着函数的梯度方向寻找，移动量的大小称为步长。梯度下降的公式如下： 我们常常听说过梯度上升、梯度下降，那么两者的区别又是什么呢？其实这两者是一样的，只是公式中的减法变成加法，因此公式为： 梯度上升是用来求函数的最大值，而梯度下降是用来求最小值。普通的梯度下降版本如下： #

作者：杜客 链接：https://zhuanlan.zhihu.com/p/21360434 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 译者注：本文 智能单元 首发，译自斯坦福CS231n课程笔记 Optimization Note ，课程教师 Andrej Karpathy 授权翻译。本篇教程由 杜客 翻译完成， 堃堃 和 李艺颖 进行校对修改。译文含公式和代码，建议PC端阅读。 原文如下 内容列表： 简介 损失函数可视化 最优化 策略#1：随机搜索 策略#2：随机局部搜索 策略#3：跟随梯度 译者注：上篇截止处 梯度计算 使用有限差值进行数值计算 微分计算梯度 梯度下降 小结 简介 在上一节中，我们介绍了图像分类任务中的两个关键部分： 基于参数的 评分函数。 该函数将原始图像像素映射为分类评分值（例如：一个线性函数）。 损失函数 。该函数能够根据分类评分和训练集图像数据实际分类的一致性，衡量某个具体参数集的质量好坏。损失函数有多种版本和不同的实现方式（例如：Softmax或SVM）。 上节中，线性函数的形式是 ，而SVM实现的公式是： 对于图像数据 ，如果基于参数集 做出的分类预测与真实情况比较一致，那么计算出来的损失值 就很低。现在介绍第三个，也是最后一个关键部分： 最优化Optimization

回顾上一节中，介绍了图像分类任务中的两个要点： 假设函数。 该函数将原始图像像素映射为分类评分值。 损失函数 。该函数根据分类评分和训练集图像数据实际分类的一致性，衡量某个具体参数集的质量好坏。 现在介绍第三个要点，也是最后一个关键部分： 最优化Optimization 。最优化是寻找能使得损失函数值最小化的参数 W 的过程，一旦理解了这三个部分是如何相互运作的，我们将会回到第一个要点，然后将其拓展为一个远比线性函数复杂的函数：首先是神经网络，然后是卷积神经网络。而损失函数和最优化过程这两个部分将会保持相对稳定。 损失函数可视化 ： 本节讨论的损失函数一般都是定义在高维度的空间中（比如，在 CIFAR-10 中一个线性分类器的权重矩阵大小是 $[10 \times 3073]$ ，就有 30730 个参数），这样要将其可视化就很困难。然而办法还是有的，在 1 个维度或者 2 个维度的方向上对高维空间进行切片，就能得到一些直观感受。例如，随机生成一个权重矩阵 W ，将其看做向量，该矩阵就与高维空间中的一个点对应。然后沿着某个维度方向前进的同时记录损失函数值的变化。换句话说，就是生成一个随机的方向 $W_1$ 并且沿着此方向计算损失值，计算方法是根据不同的 $a$ 值来计算 $L(W + aW_1)$ 。这个过程将生成一个图表，其 $x$ 轴是 $a$ 值，$y$ 轴是损失函数值

1、方法很多，但是还是有类别的，可以根据问题 推荐用什么方法求解。 2、要么有无约束，要么是否整数。 3、先看无约束的优化。可以用fermat（费马）定理搞定，意思是如果想要求解一个问题的最优解，根据导数==0的性质 （不是很严谨），找到最优解。 看截图： 4、其实，可以自己模拟几类例子，来说明一下最优化的问题，当然，包括怎么求解的。这就需要积累，需要一定的时间。 5、 来源： CSDN 作者： ninekwll0791 链接： https://blog.csdn.net/weixin_40493805/article/details/103681991

梯度下降：实现梯度下降、线性回归中的梯度下降 随机梯度下降：相关代码即调用 本文参考：公众号《数据科学家联盟》文章 转自： https://www.cnblogs.com/huangyc/p/9801261.html#_label1_0 一、概念 梯度下降(Gradient Descent, GD)不是一个机器学习算法，而是一种基于搜索的最优化方法。梯度下降(Gradient Descent, GD)优化算法，其作用是用来对原始模型的损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小。我么需要 从损失值出发，去更新参数，且要大幅降低计算次数 。 梯度下降算法作为一个聪明很多的算法，抓住了参数与损失值之间的导数，也就是能够计算梯度（gradient）， 通过导数告诉我们此时此刻某参数应该朝什么方向，以怎样的速度运动，能安全高效降低损失值，朝最小损失值靠拢。 1、步长（Learning rate）：步长又称 学习率 ，决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。用上面下山的例子，步长就是在当前这一步所在位置沿着最陡峭最易下山的位置走的那一步的长度。 2、损失函数（loss function）：为了评估模型拟合的好坏，通常用损失函数来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。在线性回归中

梯度下降：实现梯度下降、线性回归中的梯度下降 随机梯度下降：相关代码即调用 本文参考：公众号《数据科学家联盟》文章 转自： https://www.cnblogs.com/huangyc/p/9801261.html#_label1_0 一、概念 梯度下降(Gradient Descent, GD)不是一个机器学习算法，而是一种基于搜索的最优化方法。梯度下降(Gradient Descent, GD)优化算法，其作用是用来对原始模型的损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小。我么需要 从损失值出发，去更新参数，且要大幅降低计算次数 。 梯度下降算法作为一个聪明很多的算法，抓住了参数与损失值之间的导数，也就是能够计算梯度（gradient）， 通过导数告诉我们此时此刻某参数应该朝什么方向，以怎样的速度运动，能安全高效降低损失值，朝最小损失值靠拢。 1、步长（Learning rate）：步长又称 学习率 ，决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。用上面下山的例子，步长就是在当前这一步所在位置沿着最陡峭最易下山的位置走的那一步的长度。 2、损失函数（loss function）：为了评估模型拟合的好坏，通常用损失函数来度量拟合的程度。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。在线性回归中