机器学习基础——支持向量机1

间隔与支持向量

给定训练样本集$D=\{(x_1,y_1),(x_2,y_2)\cdots, (x_n,y_n)\},y_i\in \{-1, +1\}$，分类学习的最基本的思想就是基于样本空间中找个一个划分超平面，将不同类别的样本分开，但是超平面可能有很多种

直观上应该找最中间的划分超平面，因为该超平面对训练样本局部的扰动的容忍最好的。由于训练集的局限性或噪声的因素，训练集外的样本可能更接近两个类的分隔界，这个划分超平面所产生的分类结果是最鲁棒的，对未见的示例泛化能力最强。

超平面的线性方程描述：
${\rm\pmb{\omega}}^Tx + b = 0$
其中$\pmb\omega=(\omega_1;\omega_2;\cdots;\omega_d)$为法向量，决定超平面的方向，$b$为位移项，决定了超平面与原点之间的距离。

样本空间中任意点$x$到超平面$(\omega,b)$的距离可写成：
$r = \frac{|\rm \omega^Tx +b|}{||\omega||}$
假设超平面$(\omega ,b)$能将训练样本正确分类，即对于$(x_i,y_i)\in D$，若$y_i=+1$，则有$\pmb{w^Tx_i}+b>0$，若$y_i=-1$，则有$\pmb{\omega^Tx_i}+b<0$
$\begin{cases} \pmb{\omega^Tx_i}+b \ge +1 & y_i=+1\\ \pmb{\omega^Tx_i} + b \le -1 & y_i=-1 \end{cases}$
推导：

假设这个超平面是$\omega^{'T}x+b^{'}=0$，则对于$(x_i,y_i)\in D$，有：
$\begin{cases} \omega^{'T}x_i+b^{'}> 0 & y_i=+1 \\ \omega^{'T}x_i+b^{'}< 0 & y_i=-1 \end{cases}$
根据几何间隔，将以上关系修正为
$\begin{cases} \omega^{'T}x_i+b^{'}\ge +\zeta & y_i=+1 \\ \omega^{'T}x_i+b^{'}\le -\zeta & y_i=-1 \end{cases}$
其中$\zeta$为某个大于零的常数，两边同时除以$\zeta$，再次修改以上关系
$\begin{cases} \frac{1}{\zeta}\omega^{'T}x_i+\frac{1}{\zeta}b^{'}\ge +1 & y_i=+1 \\ \frac{1}{\zeta}\omega^{'T}x_i+\frac{1}{\zeta}b^{'}\le -1 & y_i=-1 \end{cases}$
令$\omega = \frac{1}{\zeta}\omega^{'},b=\frac{b^{'}}{\zeta}$，就可以得到公式。

距离超平面最近的这几个训练样本使等号成立，它们称之为支持向量（support vector）,两个异类支持向量到超平面的距离之和为
$\gamma = \frac{2}{||\pmb{\omega}||}$

找到具有最大间隔的划分超平面，就要找到满足条件参数的$\omega$和$b$，使$\gamma$最大
$\underset{w,b}{\max} \frac{2}{||w||}\\ s.t. \ y_i(\pmb{w^Tx_i}+b) \ge 1,i=1,2,\cdots,m$
为了最大化间隔，仅需要最大化$||w||^{-1}$，这等价于最下化$||w||^2$
$\underset{w,b}{\min} \frac{1}{2} ||w||^2 \\ s.t. \ y_i(\pmb{w^Tx_i} + b) \ge 1,i=1,2,\cdots,m$

对偶问题

对于最大间隔划分超平面对应的模型
$f(\pmb{x}) = \pmb{w^Tx} + b$
这是一个凸二次规划（convex quadratic programming）问题

使用拉格朗日乘子法可以得到其对偶问题，对于每个约束添加拉格朗日乘子$\alpha_i \ge 0$，则该问题是拉格朗日函数为：
$L(\pmb{\omega},b,\alpha) = \frac{1}{2}||\pmb{w}||^2 + \sum_{i=1}^m \alpha_i(1-y_i(w^Tx_i+b))$
其中$\pmb{\alpha}=(\alpha_1,\alpha_2,\cdots,\alpha_m)$。令$L(\pmb\omega,b,\alpha)$对$\pmb\omega$和$b$的偏导为零可得
$\pmb\omega = \sum_{i=1}^m \alpha_iy_i\pmb{x_i}\\ 0 = \sum_{i=1}^m \alpha_iy_i$
推导：
$\begin{aligned} L(\pmb w,b,\alpha) & =\frac{1}{2}||w||^2 + \sum_{i=1}^m \alpha_i(1-y_i(w^tx_i+b)) \\ &=\frac{1}{2} ||w||^2 + \sum_{i=1}^m(\alpha_i - \alpha_iy_iw^Tx_i - \alpha_iy_ib)\\ &= \frac{1}{2} \omega^T\omega + \sum_{i=1}^m \alpha_i-\sum_{i=1}^m\alpha_iy_iw^Tx_i -\sum_{i=1}^m \alpha_iy_ib \end{aligned}$
对$\omega$和$b$分别求偏函数并令等于0
$\frac{\partial L}{\partial \pmb w} = \omega + 0 -\sum_{i=1}^m a_iy_ix_i-0 =0\Rightarrow \pmb w = \sum_{i=1}^m \alpha_iy_ix_i \\ \frac{\partial L}{\partial b} = 0+0-0-\sum_{i=1}^{m} \alpha_iy_i=0\Rightarrow \sum_{i=1}^m \alpha_iy_i=0$
可以得到对偶问题
$\underset{\alpha}{\max} \sum_{i=1}^m \alpha_i - \frac{1}{2} \sum_{i=1}^m \sum_{j=1}^m \alpha_i\alpha_j y_iy_jx_i^Tx_j \\ s.t. \ \sum_{i=1}^m \alpha_iy_i=0 \\ \alpha_i \ge 0, i=1,2,\cdots,m$
推导：
$\begin{aligned} \underset{w,b}{\min} L(w,b,\alpha) &= \frac{1}{2}w^w + \sum_{i=1}^m \alpha_i - \sum_{i=1}^m \alpha_iy_iw^Tx_i - \sum_{i=1}^m \alpha_iy_ib \\ &= \frac{1}{2}\omega^T\sum_{i=1}^m \alpha_iy_ix_i -w^T\sum_{i=1}^m \alpha_i y_ix_i + \sum_{i=1}^m \alpha_i - b\sum_{i=1}^m \alpha_iy_i \\ &=-\frac{1}{2} w^T\sum_{i=1}^m \alpha_i y_i x_i + \sum_{i=1}^m \alpha_i - b\sum_{i=1}^m \alpha_iy_i \end{aligned}$
由于$\sum_{i=1}^m \alpha_iy_i=0$，所以
$\begin{aligned} \underset{w,b}{\min} L(w,b,\alpha) & = -\frac{1}{2}w^T\sum_{i=1}^m \alpha_iy_ix_i + \sum_{i=1}^m \alpha_i \\ &=-\frac{1}{2}(\sum_{i=1}^m \alpha_iy_ix_i)^T(\sum_{i=1}^m \alpha_iy_ix_i) + \sum_{i=1}^m \alpha_i \\ & = -\frac{1}{2} (\sum_{i=1}^m \alpha_iy_ix_i^T)(\sum_{i=1}^m \alpha_iy_ix_i) + \sum_{i=1}^m \alpha_i \\ &=\sum_{i=1}^m \alpha_i - \frac{1}{2} \sum_{i=1}^m \sum_{j=1}^m \alpha_i\alpha_j y_iy_jx_i^Tx_j \end{aligned}$
所以
$\underset{\alpha}{\max}\underset{w,b}{\min} = \underset{\alpha}{\max}\sum_{i=1}^m \alpha_i - \frac{1}{2} \sum_{i=1}^m \sum_{j=1}^m \alpha_i\alpha_j y_iy_jx_i^Tx_j$
解出$\alpha$后，求出$w,b$即可得到模型

上述过程需要满足KKT(Karush-Kuhn-Tucker)条件，即要求
$\begin{cases} \alpha_i \ge 0 \\ y_if(x_i)-1\ge 0 \\ \alpha_i(y_if(x_i)-1) = 0 \end{cases}$
对于任意训练样本$(x_i,y_i)$，总有$\alpha_i=0$或$y_if(x_i)=1$，若$\alpha_i=0$，则这样的样本不会出现在求和中，对$f(x)$有任何影响。若$\alpha_i >0$，则必有$y_if(x_i)=1$，则对应的样本点在于最大分隔边界上，是一个支持向量。

如何求解呢，这是一个二次规划问题，可以使用通用的二次规划算法来求解，其中高效的算法有很多，其中SMO（Sequential Minimal Optimization）是其中一个著名的代表。

SMO的基本思想是先管你的固定$\alpha_i$之外的所有参数，然后求$\alpha_i$上的极限。。由于存在约束$\sum_{i=1}^m \alpha_iy_i=0$，若固定$\alpha_i$之外的其他变量，则$\alpha_i$可由其他变量导出。于是，SMO每次选择两个变量$\alpha_i$和$\alpha_j$，并固定其他参数。

• 选择一对需要更新的变量$\alpha_i$和$\alpha_j$
• 固定$\alpha_i$和$\alpha_j$以外的参数，求解更新后的$\alpha_i$和$\alpha_j $

注意到只需选取的$\alpha_i$和$\alpha_j$中有一个不满足KKT条件，目标函数就会在迭代后减少，于是，SMO先选取违背KKT条件的最大的变量，第二个变量应选择一个使目标函数值减少最快的变量，但是比较各变量所对应的目标函数值减少幅度复杂度过高，因此SMO采用了一个启发式：使选择的两变量所对应样本之间的间隔最大，一种直观解释就是，这样的两个变量有很大的差别，与对两个相似的变量进行更新相比，对他们更新会给目标函数值更大的变化。

SMO算法值所以高效，由于在固定其他参数后，优化两个参数的过程能够非常有效。具体来说，仅考虑$\alpha_i$和$\alpha_j$时，约束可以重新写成：
$\alpha_iy_i+a_jy_j = c , \alpha_i \ge 0, \alpha_j \ge 0$
其中
$c = -\sum_{k\ne i,j} a_ky_k$
消去$\alpha_j$，则得到一个关于$\alpha_i$的单变量二次规划问题，仅有约束$\alpha_i \ge 0$ 。这样的二次规划问题具有闭式解，于是不必调用数值优化算法即可高效的计算出更新后的$\alpha_i$和$\alpha_j$

对于$y_Sf(\pmb{x_S}=1)$
$y_s(\sum_{i\in S}\alpha_iy_i\pmb{x_i^Tx_s}+b)=1$
其中$S = \{i|\alpha_i>0,i=1,2,3,\cdot,m\}$所支持向量的下标集。
$b = \frac{1}{|S|} \sum_{s\in S} (y_s-\sum{\alpha_iy_i\pmb{x_i^Tx_s}})$

核函数

异或问题的非线性映射

在实际的任务中，原始样本空间内也许不存在一个能正确划分两类样本的超平面，对于这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。

令$\phi(\pmb{x})$表示将$\pmb{x}$映射后的特征向量，于是，在特征空间中划分超平面所对应的模型可表示为
$f(\pmb{x}) = \pmb{w}^T\phi(\pmb{x}) +b$
其中$\pmb{w}$和$b$是参数模型
$\underset{\pmb{w},b}{\min} \frac{1}{2} ||\pmb{w}||^2 \\ s.t. \ y_i(\pmb{w}^T\phi(\pmb{x_i})+b) \ge 1,i=1,2,\cdots,m$
对偶问题是：
$\underset{\alpha}{\max} \sum_{i=1}^m \alpha_i - \frac{1}{2}\sum_{i=1}^m \sum_{j=1}^m \alpha_i \alpha_j y_i y_j \phi(\pmb{x_i})^T\phi(\pmb{x_j}) \\ s.t. \ \sum_{i=1}^m \alpha_iy_j = 0, \alpha_i \ge 0,i=1,2,3\cdots,m$
设计到计算$\phi(\pmb{x_i})^T\phi(\pmb{x_j})$,由于映射后的特征空间维数可能很高，甚至可能是无穷维的，因此直接计算$\phi(\pmb{x_i})^T\phi(\pmb{x_j})$通常是困难的。可以设想这样的一个函数
$\kappa(\pmb{x_i,x_j}) = \langle \phi(\pmb{x_i}),\phi(\pmb{x_j}) \rangle =\phi(\pmb{x_i})^T\phi(\pmb{x_j})$
于是$x_i$与$x_j$在特征空间的内积等于他们在原始样本空间中通过函数$\kappa$来计算的结果。
$\underset{\alpha}{\max} \sum_{i=1}^m \alpha_i - \frac{1}{2} \sum_{i=1}^m\sum_{j=1}^m \alpha_i\alpha_j y_iy_j\kappa(\pmb{x_i,x_j}) \\ s.t. \ \sum_{i=1}^m \alpha_iy_i=0 , \alpha_i \ge 0, i=1,2,\cdots,m$
求解后可得到
$\begin{aligned} f(x) &= \pmb{w}^T\phi(\pmb{x})+b \\ &= \sum_{i=1}^m \alpha_i y_i\phi(\pmb{x_i})^T\phi(\pmb{x_i}) + b \\ &= \sum_{i=1}^m \alpha_i y_i \kappa(\pmb{x_i,x_j}) + b \end{aligned}$
这里的$\kappa$就是核函数，显示出来的模型最优解可通过训练样本的核函数展开，称为支持向量展式

核函数

令$\mathcal{X}$为输入空间，$\kappa(\cdot, \cdot)$是定义在$\mathcal{X}\times \mathcal{X}$上的对称函数，则$\kappa$是核函数当且仅当对于任意数据$D=\{\pmb{x_1,x_2,,\cdots,x_m}\}$。核矩阵$\pmb{K}$总是半正定的
$\pmb{K} = \begin{bmatrix} \kappa(\pmb{x_1,x_1}) & \cdots & \kappa(\pmb{x_1,x_j}) & \cdots & \kappa(\pmb{x_1,x_m}) \\ \vdots & \ddots & \vdots & \ddots & \vdots \\ \kappa(\pmb{x_i,x_1}) & \cdots & \kappa(\pmb{x_i,x_j}) &\cdots & \kappa(\pmb{x_i,x_m}) \\ \vdots & \ddots & \vdots & \ddots & \vdots \\ \kappa(\pmb{x_m,x_1}) & \cdots & \kappa(\pmb{x_m,x_j}) & \cdots & \kappa(\pmb{x_m,x_m}) \end{bmatrix}$
表明只要一个对称函数所对应的的核矩阵半正定，就能作为核函数使用。任何一个核函数都隐式地定义一个称为再生核希尔伯特空间(Reproducing Kernel Hilbert Sapce,RKHS)的特征空间。

常用的核函数

名称	表达式	参数
线性核	$\kappa(x_i,x_j)=x_i^Tx_j$
多项式核	$\kappa(x_i,x_j)=(x_i^Tx_j)^d$	$d\ge 1$为多项式的次数
高斯核	$\kappa(x_i,x_j)=\exp(-\frac{
拉普拉斯核	$\kappa(x_i,x_j)=\exp(-\frac{
Sigmoid核	$\kappa(x_i,x_j)=\tanh(\beta jx_i^Tx_i+\theta)$	$\tanh$为双曲正切函数，$\beta>0,\theta <0$

还可以通过函数组合通过

• 若$\kappa_1$和$\kappa_2$为核函数，则对于任意整数$\gamma_1,\gamma_2$其线性组合为
  $\gamma_1\kappa_1 + \gamma_2 \kappa_2$
  也是核函数

• 若$\kappa_1$和$\kappa_2$是核函数，则核函数的直积
  $\kappa_1\otimes\kappa_2(x,z) =\kappa_1(x,z)\kappa_2(x,z)$
  也是核函数

• 若$\kappa_1$为核函数，则对于任意函数$g(x)$
  $\kappa(x,z) = g(x)\kappa_1(x,z)g(z)$

来源：https://blog.csdn.net/huayunhualuo/article/details/101349212