支持向量机

支持向量机

简要介绍

支持向量机（support vector machine），又称SVM，是一种常见的数据分类学习算法，目的是求得参数建立函数$f(X)=W^TX+b$，将样本代入，大于0的与小于0的为不同类别，求得参数有两种方法，其一，满足一个条件，即$f(X)=0$分开的两个类别间隔要最大化，所以SVM亦称为最大间隔算法，见图一，另外一种方法是类似对数几率回归一样，即使得损失函数最小化，损失函数比较特殊，此处建议观看吴恩达老师的课程支持向量机一章，下文对第一种方法推导。

具体原理

两个类别的最大间距为${2}\over{||w||}$，最大化间距即最小化$||w||$，即我们最终要求
$求参数w,b使得\\ \frac{1}{2}||w||^2最小\\ 约束条件:y_i(w^Tx_i+b)\ge 1，i=1,2,\cdots,m$
约束条件即为要满足这条直线（或者平面或者更高维的东东）能够完全分开数据，这是SVM的硬间隔，当然也有软间隔，即不需要完全分开数据，能够承受一定的误差，则能够减少噪声样本的影响，我们还是回到硬间隔上。

上面的公式是不等约束条件的优化问题，用拉格朗日乘子法：
$L(w,b,\alpha)=\frac{1}{2}||w||^2+\sum_{i=1}^m\alpha_i(1-(y_i(w^Tx_i+b))).\\ \frac{\partial L}{\partial w}=0\space \space \rightarrow w=\sum_{i=1}^m\alpha_iy_ix_i\space\space\space\space(1)\\ \frac{\partial L}{\partial b}=0\space \space \rightarrow \sum_{i=1}^m\alpha_iy_i=0\space\space\space\space(2)$
将（1）式代入拉格朗日函数中，经过复杂的化简，过程见图

即最终得到
$W(\alpha)=\sum_{i=1}^N\alpha_i-\frac{1}{2}(\sum_{i,j=1}^N\alpha_i\alpha_jy_iy_jx_i^Tx_j)$
现在求参数$\alpha$的值使得上述式子有最大值，从而可以求得$w$和$b$，不过上述式子还有约束条件
$\alpha_i\ge0\\ y_i(w^Tx_i+b)\ge 1，i=1,2,\cdots,m\\ \alpha_i(1-y_i(w^Tx_i+b))=0，i=1,2,\cdots,m$
关于为什么求$\frac{1}{2}||w||^2$最小等价于求$W(\alpha)$最大，并且还有不同的约束条件，这就涉及到拉格朗日乘子法中不等式约束条件的做法了，即求对偶问题和KKT条件，这里不多述

然而这么多$\alpha_i$，又怎么求呢？这里就用到SMO（序列最小化算法）

其核心思想是

• 选取两个合适的$\alpha_i,\alpha_j$，将其他变量看作常数
• 这就变成了双变量的优化问题，约束条件为$\alpha_iy_i+\alpha_jy_j=C$
• 重复步骤1直至达到终止循环条件

有两个问题：1，如何选取$\alpha_i,\alpha_j$，2，循环终止条件是什么

1. $\alpha_i$应该要遍历所有的$\alpha$都要取一遍，$\alpha_j$的选取与$\alpha_i$有关，其标准为两个$\alpha$所对应的预测误差值之差的绝对值最大

2. 当所有$\alpha$不能被更新，即收敛后则终止循环

最大

2. 当所有$\alpha$不能被更新，即收敛后则终止循环

来源：CSDN

作者：Ylimevoli

链接：https://blog.csdn.net/weixin_45606655/article/details/104202982