非线性规划

定义 如果目标函数或约束条件中包含非线性函数，就称这种规划问题为非线性规划问 题。 非线性规划目前还没有适于各种问题的一般算法，各个方法都有自己特定的适用范围。 一般形式: 线性规划与非线性规划的区别 如果线性规划的最优解存在，其最优解只能在其可行域的边界上达到（特别是可行域的顶点上达到）；而非线性规划的最优解（如果最优解存在）则可能在其可行域的任意一点达到。 极值约束问题 二次规划 若某非线性规划的目标函数为自变量x的二次函数，约束条件又全是线性的，就称 这种规划为二次规划。 Matlab 中二次规划的数学模型可表述如下： Matlab 中求解二次规划的命令是: [x,fval]=quadprog(H,f,A,b,Aeq,Beq,lb,ub,x0,options) 例: 求解二次规划 h=[4,-4;-4,8]; f=[-6;-3]; a=[1,1;4,1]; b=[3;9]; [x,value]=quadprog(h,f,a,b,[],[],zeros(2,1)) 罚函数法 利用罚函数法，可将非线性规划问题的求解，转化为求解一系列无约束极值问题， 因而也称这种方法为序列无约束小化技术，简记为 SUMT . 罚函数法求解非线性规划问题的思想是，利用问题中的约束函数作出适当的罚函 数，由此构造出带参数的增广目标函数，把问题转化为无约束非线性规划问题。主要有两种形式，一种叫外罚函数法

非线性规划，图与网络 非线性规划 图形化界面解法 图与网络流 非线性规划   下面只针对MATLAB解法做出介绍。在MATLAB中非线性规划的标准型为 m i n f ( x ) min \quad f(x) m i n f ( x ) s . t A x ≤ B s.t\quad Ax\leq B s . t A x ≤ B A e q x ≤ B e q A_{eq}x \leq B_{eq} A e q ​ x ≤ B e q ​ C ⋅ x ≤ 0 C \cdot x \leq0 C ⋅ x ≤ 0 C e q ⋅ x ≤ 0 C_{eq}\cdot x\leq 0 C e q ​ ⋅ x ≤ 0 非线性约束要单独成立一个函数文件。例如: function [c ceq]=nonlcon(x) %body end *fmincon( ) 函数所求最小值均为参数 x 0 x_0 x 0 ​ 附近的局部最小值。对于无约束优化可使用 fminunc( ) 可求得 x 0 x_0 x 0 ​ 附近的局部无约束最小值。对于带约束的优化过程中可返回函数的梯度来提高准确的程度。对于目标函数为二次型的规划，可以使用 quadprog( )*进行二次规划。 图形化界面解法 直接调用优化工具箱中的 optimtool 命令进行图形化操作，但是在未来的版本中优化工具箱可能被移除。 图与网络流

一.理论基础 1.非线性规划 1.非线性规划 研究一个n元函数在一组等式或不等式的约束条件下的极值问题，在信赖域法、稀疏拟牛顿法、并行计算、内点法和有限存储法等领域研究。 2.非线性规划函数 matlab中的 fmincon 基本用法 :x=fmincon(fun,x0,A,b,Aeq,beq,lb,ub);其中， fun 是用M文件定义的函数f(x),代表了(非)线性目标函;x0是x的初始值; A,b,Aeq,beq 定义了线性约束 ,如果没有线性约束，则A=[],b=[],Aeq=[],beq=[]; lb和ub 是变量x的下界和上界，如果下界和上界没有约束，则lb=[],ub=[],也可以写成lb的各分量都为 -inf,ub的各分量都为inf。 3.优缺点 经典非线性规划算法大多采用梯度下降的方法求解，局部搜索能力较强，但是全局搜索能力较弱。 2.遗传算法的思想 1.简介 适者生存”是自然界的一大规律，优胜劣汰，顾名思义，遗传算法可用来解决最优的问题。遗传算法就是一个优胜劣汰的过程，最终选择出最好的群体。非常适用于处理传统搜索算法难以解决的复杂和非线性优化问题。目前，遗传算法广泛应用于组合优化、机器学习、信号处理、自适应控制和人工生命等领域。 2.核心思想 就是对一定数量个体组成的生物种群进行选择、交叉、变异等遗传操作,最终求得 最优解或近似最优解 。在进行遗传操作时

非线性规划 eg1 投资决策问题 n个项目，至少投资一个，总资金A，花费ai，收益bi xi=0/1(投资) sigma如何打出 0 < ∑ i = 0 n a i ∗ x i ≤ A 0\lt \sum_{i=0}^n a_i*x_i \le A 0 < ∑ i = 0 n ​ a i ​ ∗ x i ​ ≤ A xi(1-xi)=0 数学模型： m a x Q = ∑ i = 0 n b i ∗ x i ∑ i = 0 n a i ∗ x i maxQ=\frac{ \sum_{i=0}^nb_i*x_i}{ \sum_{i=0}^na_i*x_i} m a x Q = ∑ i = 0 n ​ a i ​ ∗ x i ​ ∑ i = 0 n ​ b i ​ ∗ x i ​ ​ s t . { 0 < ∑ i = 0 n a i ∗ x i ≤ A x i ∗ ( 1 − x i ) = 0 st. \begin{cases} 0\lt \sum_{i=0}^n a_i*x_i \le A\\ xi*(1-xi)=0 \end{cases} s t . { 0 < ∑ i = 0 n ​ a i ​ ∗ x i ​ ≤ A x i ∗ ( 1 − x i ) = 0 ​ matlab中用法 [x,fval]=fmincon(fun,x0,A,b,Aeq,beq,lb,ub

Matlab 中非线性规划的数学模型写成以下形式 Matlab 中的命令是 X=FMINCON(FUN,X0,A,B,Aeq,Beq,LB,UB,NONLCON,OPTIONS) NONLCON 是用 M 文件定义的非线性向量函数C 、Ceq 为了不计算二阶导数矩阵及其逆阵，我们设法构造另一个矩阵H，用它来逼近二阶导数矩阵的逆阵，这一类方法也称拟牛顿法（Quasi-Newton Method）。 通常，我们取第一个H 为单位阵。 在 Matlab 工具箱中，用于求解无约束极值问题的函数有 fminunc 和 fminsearch 二次规划 若某非线性规划的目标函数为自变量 x 的二次函数，约束条件又全是线性的，就称 这种规划为二次规划。 Matlab 中二次规划的形式： H 是实对称矩阵， b， f 是列向量， A 是相应维数的矩阵。 Matlab 中求解二次规划的命令是 [X,FVAL]= QUADPROG(H,f,A,b,Aeq,beq,LB,UB,X0,OPTIONS) 返回值 X 是决策向量 x 的值，返回值 FVAL 是目标函数在 x 处的值。 罚函数法 利用罚函数法，可将非线性规划问题的求解，转化为求解一系列无约束极值问题。 形式： Matlab 中可以直接利用 max 、 min 和 sum 函数。

一个很好的例子，列出优化模型和里面的约束条件 求解： 示例 求解结果 (x取（1,1）时获得最小值10) >> main Local minimum found that satisfies the constraints. Optimization completed because the objective function is non-decreasing in feasible directions, to within the default value of the optimality tolerance, and constraints are satisfied to within the default value of the constraint tolerance. < stopping criteria details > x = 1.0000 1.0000 y = 10.0000 % 主函数 options=optimset; [x,y]=fmincon('func1',rand(2,1),[],[],[],[],zeros(2,1),[],'func2',options) %目标函数 function f=func1(x); f=x(1).^2+x(2).^2+8; %非线性向量函数（非线性约束） function [g,h]=func2(x);

目录 一、SVM学习回顾 1 线性可分支持向量机与硬间隔最大化 1.1 线性可分支持向量机 1.2 函数间隔和几何间隔 1.3 间隔最大化 （1） 最大间隔分离超平面 （2） 支持向量和间隔边界 1.3 学习的对偶算法 2 线性支持向量机与软间隔最大化 2.1 线性支持向量机 2.2 学习的对偶算法 2.3 支持向量 2.4 合页损失函数 3 非线性支持向量机与核函数 3.1 核技巧 （1） 非线性分类问题 （2） 核函数的定义 （3） 核技巧在支持向量机中的应用 3.2 正定核 3.3 常用核函数 3.4 非线性支持向量机 4 序列最小最优化算法 二、补充 备注 备注1 凸二次规划 备注2 拉格朗日对偶性和KKT条件 备注3 为什么要转化为对偶问题求解 备注4 欧式空间和希尔伯特空间 其他问题 为什么高斯核可以将原始维度映射到无穷维 线性可分SVM、线性SVM和非线性SVM三者的b是否唯一 前言 第一次写博客，有不好的地方请各位多加指教；之前对SVM进行了一些学习，每次学习的时候又感觉很多东西都忘掉了；之前暑假的时候又进行了一次较为详细的学习，想着记录一下，一些笔记也都准备好了，由于若干原因（主要是拖延症晚期）一直拖到现在；本次总结主要是以李航老师的统计学习方法为参考，对书中的思路做一个梳理（因此想要了解或者回顾SVM的话，本文会有一点帮助，如果想仔细学习的话还是要结合