机器学习之支持向量机（SVM）小结

1. 分类

支持向量机包含三种：

1. 线性可分支持向量机：当训练数据线性可分时，可通过硬间隔最大化，学习一个线性的分类器，叫线性可分支持向量机，也称硬间隔支持向量机
2. 线性支持向量机：当训练数据近似线性可分时，可通过软间隔最大化，也学习一个线性的分类器，叫线性支持向量机，也称为软间隔支持向量机
3. 非线性支持向量机：当训练数据线性不可分时，通过使用核函数技巧及软间隔最大化，学习一个非线性的支持向量机

2. 公式理解及推导

2.1. 线性可分支持向量机：

线性可分支持向量机原来及公式推导

2.2. 线性支持向量机：

相较于1的基础上，加入了松弛变量和惩罚参数C,其目标函数变成：

最小化目标函数包含两层含义：使 $\frac{1}{2}\left \| w \right \|^{2}$ 的值尽量小即间隔尽量大，同时使误分类点的个数尽量小，C是调和二者的系数。其他推导类似1的过程，线性支持向量机公式推导参考

2.3. 非线性支持向量机：

相较于2的基础上，加入了核技巧，通过一个非线性变换将输入空间（高维）对应于一个特征空间（低维），使得在输入空间中的非线性模型对应于特征空间的线性模型，再进一步去求解。推导过程类似2，只需将其中对偶形式中的內积换成核函数即可。

2.3.1. 常用的核函数及选取规则：

常用的核：Linear核与RBF核
选取规则：

1. 如果Feature的数量很大，跟样本数量差不多，这时候选用LR或者是Linear Kernel的SVM
2. 如果Feature的数量比较小，样本数量一般，不算大也不算小，选用SVM+Gaussian Kernel
3. 如果Feature的数量比较小，而样本数量很多，需要手工添加一些feature变成第一种情况

来源：CSDN

作者：一只帅气的小菜鸡

链接：https://blog.csdn.net/weixin_42028608/article/details/103804605