机器学习-SVM理论

理论知识

SVM是在神经网络模型及CNN出现之前很火的一种分类模型。它有很好的泛化能力。

线性可分支持向量机:当data线性可分时使用

如果两类数据是线性可分的，那么如果垂直n维超平面做一个投影面，则这两类数据一定可以投影到低维空间中且还是可分的。

线性可分SVM中不会出现在分割面上及支撑面和分割面之间的缓冲部分（人造词汇，不是专业名称），最多出现在支撑面上。但是在线性SVM中是可能的。

硬间隔最大化（hard margin maximization)

硬间隔

硬间隔支持向量机

线性支持向量机：当data不是线性的，但是可以在一定错误率下线性分开

软间隔最大化(soft margin maximization)

软间隔

软间隔支持向量机

非线性支持向量机:在线性可分或线性的基础上加上核函数，实现非线性分类的效果

核函数kernel function

对于高斯核函数，c越大，过渡带越窄；γ越大，分割界面的非线性程度越大（当γ倾向于无穷大时，SVM就退化为

注意，我们一般把向量定义为列向量，这里的w和x都是这样的

将一个点带入，如果式子大于0，表示是在法向量的同方向；小于0，表示是在法向量的逆方向。如果这么来看，最严谨的标法应该是把上图中w的方向换一下，即**法向量w永远指向以直线划分的大于0的方向。之后其实没必要对这个太过于纠结，只要按照几何间隔的定义来就一定是恒正的，再分析就是不涉及到符号的分析了。

支撑向量：确定超平面w向量的向量

在间隔边界上的点称为支撑向量，这就是支撑向量机的由来

我们就是要通过“将最短几何间隔最大化”这个目标来确定超平面的相关参数

SVM得到的分类器的分类误差会比较小

注意这里有一个特征映射：

特征映射可以提高特征的阶数并且增加特征的数量，可以根据实际情况选择一个合适最高阶数的映射

注意，这里谈的不是点到直线的距离，而仅仅只是函数值y，函数值y是可以通过成比例改变w和b而改变的，但是点到直线的距离是不会的。我们只约束了函数值的绝对值≥1，也就是函数间隔≥1，并没有要求几何间隔。所以这是一定能办得到的。

从平面几何的角度来看，我们想做的就是使得离直线最近的点（支撑向量）离我们的直线几何距离最远，办法就是调整直线的斜率和截距。而限制函数间隔为1也是为了我们讨论的方便，否则变量太多。当然，这样的假设对于我们最后模型的表现也是有影响的，这个看上面那个模型对比图就能看出来，也可以从下面看：

这是我们转化后的问题，显然如果我们的前提不一样（第二行那个就是我们的前提），求得的最小值w也不一样，因此选择一个合适的函数距离也是调参的一部分。注意这里不是1个约束，而是n个约束，是在这n个约束的条件下求最小值。

怎么做呢？

关于拉格朗日乘子法和KKT条件，可以参考这篇文章：

来源：https://www.cnblogs.com/mo-wang/p/4775548.html

　在求解最优化问题中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。

　　我们这里提到的最优化问题通常是指对于给定的某一函数，求其在指定作用域上的全局最小值(因为最小值与最大值可以很容易转化，即最大值问题可以转化成最小值问题)。提到KKT条件一般会附带的提一下拉格朗日乘子。对学过高等数学的人来说比较拉格朗日乘子应该会有些印象。二者均是求解最优化问题的方法，不同之处在于应用的情形不同。

一般情况下，最优化问题会碰到一下三种情况：

（1）无约束条件

　　这是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于0的点可能是极值点。将结果带回原函数进行验证即可。

（2）等式约束条件

设目标函数为f(x)，约束条件为h_k(x)，形如:

　　s.t. 表示subject to ，“受限于”的意思，l表示有l个约束条件。

　　　　　　　　

　　　则解决方法是消元法或者拉格朗日法。消元法比较简单不在赘述，这里主要讲拉格朗日法，因为后面提到的KKT条件是对拉格朗日乘子法的一种泛化。

　　　例如给定椭球:

　　　　　　　　　　

　　求这个椭球的内接长方体的最大体积。这个问题实际上就是条件极值问题，即在条件下，求的最大值。

　　当然这个问题实际可以先根据条件消去 z (消元法)，然后带入转化为无条件极值问题来处理。但是有时候这样做很困难，甚至是做不到的，这时候就需要用拉格朗日乘数法了。

　　首先定义拉格朗日函数F(x)：

　　　　　　　　（其中λk是各个约束条件的待定系数。）

然后解变量的偏导方程：

　　　　......,

　　　如果有l个约束条件，就应该有l+1个方程（因为把每个约束的、不同的λ也算进去了）。求出的方程组的解就可能是最优化值（高等数学中提到的极值），将结果带回原方程验证就可得到解。

　　　回到上面的题目，通过拉格朗日乘数法将问题转化为

　　　　

　　　对求偏导得到

　　　

　　　联立前面三个方程得到和，带入第四个方程解之

　　　　

　　　带入解得最大体积为：

　　　　

　　　至于为什么这么做可以求解最优化？维基百科上给出了一个比较好的直观解释。

　举个二维最优化的例子：

　　　　 min f(x,y)

　　　　　 s.t. g(x,y) = c

　这里画出z=f(x,y)的等高线（函数登高线定义见百度百科）：

　　　　　　　　　　　　　　　　　　　　

绿线标出的是约束g(x,y)=c的点的轨迹。蓝线是f(x,y)的等高线。箭头表示斜率，和等高线的法线平行。从梯度的方向上来看，显然有d1>d2。绿色的线是约束，也就是说，只要正好落在这条绿线上的点才可能是满足要求的点。如果没有这条约束，f(x,y)的最小值应该会落在最小那圈等高线内部的某一点上。而现在加上了约束，最小值点应该在哪里呢？显然应该是在f(x,y)的等高线正好和约束线相切的位置，因为如果只是相交意味着肯定还存在其它的等高线在该条等高线的内部或者外部，使得新的等高线与目标函数的交点的值更大或者更小，只有到等高线与目标函数的曲线相切的时候，可能取得最优值。

　　如果我们对约束也求梯度∇g(x,y)，则其梯度如图中绿色箭头所示。很容易看出来，要想让目标函数f(x,y)的等高线和约束相切，则他们切点的梯度一定在一条直线上(f和g的斜率平行)。

　　也即在最优化解的时候：∇f(x,y)=λ（∇g(x,y)-C) （其中∇为梯度算子; 即：f(x)的梯度 = λ* g(x)的梯度，λ是常数,可以是任何非0实数，表示左右两边同向。）

即：▽[f(x,y)+λ(g(x,y)−c)]=0λ≠0

　　那么拉格朗日函数： F(x,y)=f(x,y)+λ(g(x,y)−c) 在达到极值时与f(x,y)相等，因为F(x,y)达到极值时g(x,y)−c总等于零。

　　min( F(x,λ) )取得极小值时其导数为0，即▽f(x)+▽∑ni=λihi(x)=0，也就是说f(x)和h(x)的梯度共线。

　　简单的说，在F(x,λ)取得最优化解的时候，即F(x,λ)取极值（导数为0，▽[f(x,y)+λ(g(x,y)−c)]=0）的时候，f(x)与g(x) 梯度共线，此时就是在条件约束g(x)下，f(x)的最优化解。

（3）不等式约束条件

设目标函数f(x)，不等式约束为g(x)，有的教程还会添加上等式约束条件h(x)。此时的约束优化问题描述如下：

　　　　　　　　

则我们定义不等式约束下的拉格朗日函数L，则L表达式为：

　　　　　　　　

其中f(x)是原目标函数，hj(x)是第j个等式约束条件，λj是对应的约束系数，gk是不等式约束，μk是对应的约束系数。

　　常用的方法是KKT条件，同样地，把所有的不等式约束、等式约束和目标函数全部写为一个式子L(a, b, x)= f(x) + ag(x)+bh(x)，这里的a和b都是大于等于0的。

　　KKT条件是说最优值必须满足以下条件：

　　　　1）L(a, b, x)对x求导为零；这个是对整体的要求

　　　　2）h(x) =0;这个是等式自身的性质，不算是要求

　　　　3）μ*g(x) = 0;这个就是不等式的条件

　　求取这些等式之后就能得到候选最优值。其中第三个式子非常有趣，因为g(x)<=0，如果要满足这个等式，必须μ=0或者g(x)=0. 这是SVM的很多重要性质的来源，如支持向量的概念。

　　接下来主要介绍KKT条件，推导及应用。详细推导过程如下：

参考：

　　【1】拉格朗日乘数法

　　【2】KKT条件介绍

　　【3】深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

　　【4】拉格朗日乘子法和KKT条件

上面的那个推导，我又细化了一下：

SVM与凸优化

用对偶问题来解决原始问题。上面两张图片中就说明了，在一定的条件（KKT条件）下，原问题和对偶问题的解是相同的。

SVM中用到的凸优化是只包括不等式约束、不包括等式约束的。

为什么我们要求关于α的最大值呢？因为我们L的第二部分，除α之外的部分是大于等于0的，算上负号是小于等于0的，所以α越大整体才会越小。再者说了，这个α是我们在构建拉格朗日乘数法的时候引入的，怎么也需要想办法消去才能得到结果啊

我们对对偶问题进行求解

先对L求w的偏导数，然后L对b求偏导数，分别设这两个偏导数为0，就得到了两个等式。

将其代入L式可以得到一个只和α相关的式子，之后再对α求最大值就好了。

具体推导见这篇博客：

来源:https://blog.csdn.net/luoshixian099/article/details/51073885

回顾原始问题：

写成拉格朗日函数，由于只有不等式约束所以只包含拉格朗日乘子αiαi：

原始问题最优解p∗=minw,b maxαL(w,b,α)p∗=minw,b maxαL(w,b,α);对偶问题的最优解d∗=maxα minw,bL(w,b,α)d∗=maxα minw,bL(w,b,α)
对偶问题先求关于参数w,b的最小值，再求关于参数αα的最大值。
首先，分别对w,b求偏导数并令为0，得：

把上述结果带入拉格朗日函数L(w,b,α)L(w,b,α)

上面这一步不够清晰，我又计算了一遍：

20191015_152211621_iOS

注意到上述是只关于参数αα的函数，记为W(α)W(α),由对偶函数，下一步即最大化W(α)W(α)

注：向量的内积定义

下面的目的是解决上述优化问题，通常采用SMO算法
————————————————
版权声明：本文为CSDN博主「勿在浮砂筑高台」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/luoshixian099/article/details/51073885

求出α后再反代求出w和b，这样就能确定超平面了。有了超平面、构造好决策函数之后就能用于分类了。