二次规划

qpoases 这个库函数本来被设计来作为MPC的应用，但是也是一个可靠的QP算法求解方案。作为求解参数二次规划的有效集算法。 使用说明书 QP问题 二次规划问题 带有二次型目标函数和约束条件的最优化问题。 基础概念 二次型：函数中最高次为2次的函数。用矩阵可以记为 f = x T ⋅ A ⋅ x f=x^T \cdot A \cdot x f = x T ⋅ A ⋅ x ; 正定矩阵 Positive Definite Matrix：，设在二次型 f = x T ⋅ A ⋅ x f=x^T \cdot A \cdot x f = x T ⋅ A ⋅ x 中，对于任何 x ≠ 0 x\ne0 x  ​ = 0 ,都有 f ( x ) > 0 f(x)>0 f ( x ) > 0 ,称 f f f 为正定二次型，称对称矩阵A为正定的;如果对于任何 x ≠ 0 x\ne0 x  ​ = 0 ,都有 f ( x ) < 0 f(x)<0 f ( x ) < 0 ,称 f f f 为负定二次型，称对称矩阵A为负定的。 Hesse矩阵（海塞矩阵）：常用于牛顿法解决最优化问题。是一个类似与雅可比矩阵的概念，不过其是二阶导数的矩阵，但是雅可比矩阵是一阶导数的矩阵。如果函数f是连续的，则它的Hesse矩阵一定是对称阵。 得到函数f的Hesse矩阵有什么用呢？Hesse可以用于多元函数极值的判定

matlab一般求解方式 示例 可以看出 1 2 x T H x = 2 x 1 2 4 x 1 x 2 + 4 x 2 2 \frac12x^THx=2x_1^2-4x_1x_2+4x_2^2 2 1 x T H x = 2 x 1 2 4 x 1 x 2 + 4 x 2 2 即 [ x 1 x 2 ] [ a b c d ] [ x 1 x 2 ] = a x 1 2 + ( b + c ) x 1 x 2 + d x 2 2 = 4 x 1 2 8 x 1 x 2 + 8 x 2 2 \left[ \begin{matrix} x_1 & x_2 \\ \end{matrix} \right] \left[ \begin{matrix} a&b \\ c&d \\ \end{matrix} \right] \left[ \begin{matrix} x_1 \\ x_2 \\ \end{matrix} \right]=ax_1^2+(b+c)x_1x_2+dx_2^2=4x_1^2-8x_1x_2+8x_2^2 [ x 1 x 2 ] [ a c b d ] [ x 1 x 2 ] = a x 1 2 + ( b + c ) x 1 x 2 + d x 2 2 = 4 x 1 2 8 x 1 x 2 + 8 x 2 2 即 { a = 4 d = 8 b + c = 8

matlab一般求解方式 示例 可以看出 1 2 x T H x = 2 x 1 2 − 4 x 1 x 2 + 4 x 2 2 \frac12x^THx=2x_1^2-4x_1x_2+4x_2^2 2 1 ​ x T H x = 2 x 1 2 ​ − 4 x 1 ​ x 2 ​ + 4 x 2 2 ​ 即 [ x 1 x 2 ] [ a b c d ] [ x 1 x 2 ] = a x 1 2 + ( b + c ) x 1 x 2 + d x 2 2 = 4 x 1 2 − 8 x 1 x 2 + 8 x 2 2 \left[ \begin{matrix} x_1 & x_2 \\ \end{matrix} \right] \left[ \begin{matrix} a&b \\ c&d \\ \end{matrix} \right] \left[ \begin{matrix} x_1 \\ x_2 \\ \end{matrix} \right]=ax_1^2+(b+c)x_1x_2+dx_2^2=4x_1^2-8x_1x_2+8x_2^2 [ x 1 ​ ​ x 2 ​ ​ ] [ a c ​ b d ​ ] [ x 1 ​ x 2 ​ ​ ] = a x 1 2 ​ + ( b + c ) x 1 ​ x 2 ​ + d x 2 2 ​ = 4 x 1 2 ​ − 8

目录 一、SVM学习回顾 1 线性可分支持向量机与硬间隔最大化 1.1 线性可分支持向量机 1.2 函数间隔和几何间隔 1.3 间隔最大化 （1） 最大间隔分离超平面 （2） 支持向量和间隔边界 1.3 学习的对偶算法 2 线性支持向量机与软间隔最大化 2.1 线性支持向量机 2.2 学习的对偶算法 2.3 支持向量 2.4 合页损失函数 3 非线性支持向量机与核函数 3.1 核技巧 （1） 非线性分类问题 （2） 核函数的定义 （3） 核技巧在支持向量机中的应用 3.2 正定核 3.3 常用核函数 3.4 非线性支持向量机 4 序列最小最优化算法 二、补充 备注 备注1 凸二次规划 备注2 拉格朗日对偶性和KKT条件 备注3 为什么要转化为对偶问题求解 备注4 欧式空间和希尔伯特空间 其他问题 为什么高斯核可以将原始维度映射到无穷维 线性可分SVM、线性SVM和非线性SVM三者的b是否唯一 前言 第一次写博客，有不好的地方请各位多加指教；之前对SVM进行了一些学习，每次学习的时候又感觉很多东西都忘掉了；之前暑假的时候又进行了一次较为详细的学习，想着记录一下，一些笔记也都准备好了，由于若干原因（主要是拖延症晚期）一直拖到现在；本次总结主要是以李航老师的统计学习方法为参考，对书中的思路做一个梳理（因此想要了解或者回顾SVM的话，本文会有一点帮助，如果想仔细学习的话还是要结合