西瓜书笔记-支持向量机-1
ω支持向量机简介 支持向量机(Support Vector Machine, SVM)是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier),其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)(百度百科) 间隔和支持向量 因为分类学习的基本想法就是在训练集D{(x1,y1),(x2,y2),...,(xm,ym)}的样本空间中找到一个划分超平面将不同类别的样本分开。因此我们的目的就是在众多划分超平面中找到一个最好的划分平面(如下图)。 图1 : 存在多个划分超平面将两类训练样本分开 从上图可以看出红色的划分超平面应该是效果最好的,因为该划分超平面对样本局部扰动的“容忍”性最好。因为由于训练集的局限性或噪声的因素,训练集之外的样本可能更加接近两个类的分隔界,这就会使得许多的划分超平面出现错误,而红色的超平面影响最小,也就是说这个划分超平面所产生的分类结果是最“鲁棒”的,泛化能力最强的。 鲁棒性(Robust):强壮和健壮的意思,在这里是指训练后的模型对异常数据进行分类仍然能够得到较好的结果 泛化能力:学得模型适用于没在训练集中出现的样本的新样本的能力,称为泛化能力 在样本空间中,划分超平面可以用如下线性方程来描述: ωTx + b =