目录 支持向量机(SVM) 1、基本原理 2、软间隔 3、核函数 4、sklearn实现SVM 5、SVM多分类 4.1多分类原理 4.2sklearn实现SVM多分类 前言 :参考《机器学习》,对偶问题没看懂。。。。(我只是一个代码的搬运工。。。) 机器学习专栏 : 机器学习——线性回归(预测) 机器学习——逻辑回归(分类) 机器学习——特征缩放 机器学习——正则化 机器学习——支持向量机(SVM) 支持向量机(SVM) 1、基本原理 现给定数据集 \(D={((x^{(1)},y^{(i)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)}))},y^{(i)}\in\{-1,1 \}\) ,我们现在的目的就是找一个 超平面 将这两个类别的样本点分开。 在样本空间中,划分超平面可以由线性方程表示为: \[w^Tx+b=0\] 则样本点 \(x^{(i)}\) 到超平面 \((w,x)\) 的距离为: \[r=\frac{|w^Tx^{(i)}+b|}{||w||}\] 其中, \(||w||\) 表示范数,这是空间的一个性质,一般指欧式范数。到原点距离的意思,超平面可以理解为平面中的直线、空间中的平面的推广到更高维度,但是作用都是划分。 一个超平面 \((w,x)\) 可以将它所在的空间分为两半, 它的法向量指向的那一半对应的一面是它的正面,