拉格朗日方程

今天要扫盲的知识点是原始问题和对偶问题，这个知识点主要牵涉拉格朗日乘数法。整理这个知识点，主要是为理解下一个知识点（ 支持向量机 ）做准备的！ 文章目录 引言 原始问题 最优化问题 拉格朗日乘数法 举个栗子 拉格朗日求解原始问题 对偶问题 两者关系 Karush Kuhn-Tucher条件，KKT 举个栗子 原始-对偶问题转换求解 总结 引言 原问题，又称原线性规划问题，是指每一个线性规划的原始问题，每个原问题均可以转化为与其对称的对偶问题。原问题与对偶问题是相对的，二者为同类型的规划，构成对偶规划的一般规则如下： 若原问题是极大化问题，那么对偶问题就是极小化问题；若原问题是极小化问题，那么对偶问题就是极大化问题。 在原问题与对偶问题中，约束右端向量与目标函数中系数恰好对换。 对于极小化问题的“≥ ”型约束(极大化问题的“≤ ”型约束)，相应的对偶变量有非负限制；对于极小化问的“≤ ”型约束(极大化问题的“≥ ”型约束)，相应的对偶变量有非正限制；对于原问题的“=”型约束，相应的对偶变量无正负限制。 对于极小化问题的具有非负限制的变量(极大化问题的具有非正限制的变量)，在其对偶中相应的约束为“≤ ”型不等式；对于极小化问题的具有非正限制的变量(极大化问题的具有非负限制的变量)，在其对偶问题中相应的约束为“≥ ”型不等式； 对于原问题中无正负限制的变量，在其对偶问题中相应的约束为等式

在 paper: Bounded Biharmonic Weights for Real-Time Deformation 中第一次接触到 Euler-Lagrange 方程，简单记录一下。 泛函的定义 定义一： 泛函（functional）通常是指 定义域为函数集，而值域为实数或者复数的映射。 换而言之，泛函是从由函数组成的一个向量空间到标量域的映射。 定义二： 设 \(\boldsymbol{C}\) 是函数（形式）的集合， \(\boldsymbol{B}\) 是实数集合；如果对 \(\boldsymbol{C}\) 中的任一个元素 \(y(x)\) ，在 \(\boldsymbol{B}\) 中都有一个元素 \(\boldsymbol{J}\) 与之对应，则称 \(\boldsymbol{J}\) 为 \(y(x)\) 的泛函，记为 \(\boldsymbol{J}[y(x)]\) 。 泛函是函数的函数，以函数为自变量，而非普通变量 最短路径： \(\boldsymbol{L} = \boldsymbol{L}[y(x)]\) \(J[y(x)] = \int_a^b \sqrt{1 + y'^{2}} dx\) 最简泛函： 满足以下关系的泛函称为最简泛函 \(J[y(x)] = \int_a^b F(x, y, y') dx\) 其中， \(F(x, y, y')\)

在 paper: Bounded Biharmonic Weights for Real-Time Deformation 中第一次接触到 Euler-Lagrange 方程，简单记录一下。 泛函的定义 定义一： 泛函（functional）通常是指 定义域为函数集，而值域为实数或者复数的映射。 换而言之，泛函是从由函数组成的一个向量空间到标量域的映射。 定义二： 设 \(\boldsymbol{C}\) 是函数（形式）的集合， \(\boldsymbol{B}\) 是实数集合；如果对 \(\boldsymbol{C}\) 中的任一个元素 \(y(x)\) ，在 \(\boldsymbol{B}\) 中都有一个元素 \(\boldsymbol{J}\) 与之对应，则称 \(\boldsymbol{J}\) 为 \(y(x)\) 的泛函，记为 \(\boldsymbol{J}[y(x)]\) 。 泛函是函数的函数，以函数为自变量，而非普通变量 最短路径： \(\boldsymbol{L} = \boldsymbol{L}[y(x)]\) \(J[y(x)] = \int_a^b \sqrt{1 + y'^{2}} dx\) 最简泛函： 满足以下关系的泛函称为最简泛函 \(J[y(x)] = \int_a^b F(x, y, y') dx\) 其中， \(F(x, y, y')\)

在数学最优 问题 中，拉格朗日乘数法（以数学家 约瑟夫·路易斯·拉格朗日 命名）是一种寻找变量受一个或多个条件所限制的 多元函数 的 极值 的方法。这种方法将一个有n 个变量与k 个 约束条件 的 最优化问题 转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的 线性组合 里每个向量的系数。 [1] 此方法的证明牵涉到偏微分， 全微分 或链法，从而找到能让设出的 隐函数 的微分为零的未知数的值。 设给定二元函数z=ƒ(x,y)和附加条件φ(x,y)=0，为寻找z=ƒ(x,y)在附加条件下的 极值点 ，先做 拉格朗日函数 ，其中λ为参数。 令F(x,y,λ)对x和y和λ的一阶 偏导数 等于零，即 F' x =ƒ' x (x,y)+λφ' x (x,y)=0 F' y =ƒ' y (x,y)+λφ' y (x,y)=0 F' λ =φ(x,y)=0 由上述 方程组 解出x,y及λ，如此求得的(x,y)，就是函数z=ƒ(x,y)在附加条件φ(x,y)=0下的可能 极值点 。 若这样的点只有一个，由实际问题可直接确定此即所求的点。 来源： https://www.cnblogs.com/HYun/p/11924135.html

https://blog.csdn.net/u011630575/article/details/78916747 SVM SVM：Support Vector Machine 中文名：支持向量机 学习模型 有监督学习：需要事先对数据打上分类标签，这样机器就知道数据属于哪一类。 无监督学习：数据没有打上分类标签，有可能因为不具备先验知识，或打标签的成本很高，需要机器代替我们部分完成改工作，比如将数据进行聚类，方便后人工对每个类进行分析。 SVM 是有监督的学习模型：可以进行模式识别、分类以及回归分析。 SVM工作原理 示例： 桌面上有两种颜色混乱的小球，我们将这两种小球来区分开，我们猛拍桌子小球会腾起，在腾空的那一刹那，会出现一个水平切面，将两种颜色的球分开来。 原因： 二维平面无法找出一条直线来区分小球颜色，但是在三位空间。我们可以找到一个平面来区分小球颜色，该平面我们叫做超平面。 SVM计算过程： 就是帮我们找到一个超平面的过程，该超平面就是 SVM分类器。 分类间隔 我们在示例中，会找到一个决策面来将小球颜色分离，在保证决策面C不变，且分类不产生错误的情况下，我们可以移动决策面，来产生两个极限位置：决策面A和决策面B，分界线C就是最优决策面，极限位置到最优决策面的距离就是 分类间隔 。 我们可以转动最优决策面，会发现存在多个最优决策面，它们都能把数据集正确分开