支持向量机

文章目录 机器学习————SVM支持向量机 支持向量机的损失函数 由逻辑回归的损失函数改进至支持向量机的损失函数 向量内积性质的复习 SVM的核函数：用来使SVM能够处理非线性分类 如何选择标记点呢？ 机器学习————SVM支持向量机 支持向量机的损失函数 由逻辑回归的损失函数改进至支持向量机的损失函数 向量内积性质的复习 SVM的核函数：用来使SVM能够处理非线性分类 给定了x后，通过计算和l1,l2,l3的相近距离，来确定f1, f2, f3 如何选择标记点呢？ 在给出的所有点中，选择每一个点当作标记点 （x(1), y(1)）, （x(2), y(2)）, （x(3), y(3)）, （x(m), y(m)） l(1) = x(1) , l(2) = x(2) , l(3) = x(3) , l(m) = x(m) f1 = similarity(x, l(1)) f2 = similarity(x, l(2)) … 来源： https://blog.csdn.net/weixin_41460135/article/details/99293657

https://blog.csdn.net/u011630575/article/details/78916747 SVM SVM：Support Vector Machine 中文名：支持向量机 学习模型 有监督学习：需要事先对数据打上分类标签，这样机器就知道数据属于哪一类。 无监督学习：数据没有打上分类标签，有可能因为不具备先验知识，或打标签的成本很高，需要机器代替我们部分完成改工作，比如将数据进行聚类，方便后人工对每个类进行分析。 SVM 是有监督的学习模型：可以进行模式识别、分类以及回归分析。 SVM工作原理 示例： 桌面上有两种颜色混乱的小球，我们将这两种小球来区分开，我们猛拍桌子小球会腾起，在腾空的那一刹那，会出现一个水平切面，将两种颜色的球分开来。 原因： 二维平面无法找出一条直线来区分小球颜色，但是在三位空间。我们可以找到一个平面来区分小球颜色，该平面我们叫做超平面。 SVM计算过程： 就是帮我们找到一个超平面的过程，该超平面就是 SVM分类器。 分类间隔 我们在示例中，会找到一个决策面来将小球颜色分离，在保证决策面C不变，且分类不产生错误的情况下，我们可以移动决策面，来产生两个极限位置：决策面A和决策面B，分界线C就是最优决策面，极限位置到最优决策面的距离就是 分类间隔 。 我们可以转动最优决策面，会发现存在多个最优决策面，它们都能把数据集正确分开

一、概念 1、分离超平面：空间内能够将数据分为不同类别的平面 2、线性可分：不同类别数据能够被一个超平面完全分开 3、损失项：模型在数据上违反自身分类原则的程度（是一个求和项） 4、损失系数：损失项的系数（是一个超参数，由模型给定） 5、损失函数L = min (1/2*(||w||)2) + C*max(Σi max(0,1-y(i)*(w.x(i) +c)) 6、预测损失：损失函数的第二项（称作 hinge loss） 7、惩罚项：损失函数的第一项 （在svm中，惩罚项的初衷是最大化margin(两个分类之间的距离)） 8、hard margin : C比较大，此时margin较小，模型更注重靠近超平面的异常点 9、soft margin :C比较小，此时margin较大，模型更注重靠近类别中心的点 10、核函数：机器学习重要的数据处理技巧，通过核函数将原空间中的非线性数据映射为高维（或者无限维）空间中近似线性关系的数据，机器学习模型搭载核函数的方法大体一致。 常用的核函数: 1、线性核函数（linear kernel） 2、多项式核函数（ploynomial kernel） 3、S型核函数（sigmoid kernel) 4、拉普拉斯核函数（laplacian kernel） 5、高斯核函数（RBF kernel） 常用的核函数选择方法： 1、网格搜寻 （grid

学习策略：间隔最大化（解凸二次规划的问题） 对于上图，如果采用感知机，可以找到无数条分界线区分正负类，SVM目的就是找到一个margin 最大的 classifier，因此这个分界线（超平面）一定是固定。 假设a是正类，b是负类，那么a和b直接的距离就是ob-oa在直线l上的映射。 我们假设a，b所在的那条直线的方程为： a: W T X+b=1 b: W T X+b=1 那么根据两条平行线之间的距离公式，我们可以算出，平行线之间的间隔为：2/||w||。那么SVM便可以变为求解约束的最优化问题，如下： 对于这种约束问题，作为一个凸优化问题（二次优化问题，目标函数时二次的，约束条件是线性的），我们可以使用现成的QP优化包进行求解。但是呢，由于这个优化问题的特殊结构，我们可以通过 Lagrange Duality 变换到对偶变量 (dual variable) 的优化问题，这样就可以更加方便进行求解了。 原始问题为求解如下的优化问题： 假设y(wx+b)-1!=0,那么我们可以通过调节相应的a使得L趋于负无穷。显然这不是我们要的情况，因此我们定义如下一个函数： 我们可以观察到当a>=0时，该函数等于L。因此求解问题可以写成如下形式： 一般来说： 但是假设满足传说中的KTT条件，那么： 正好，我们的问题符合这个条件（这边不做说明）。这时候我们就可以固定ª,ß对w,b进行求偏导