第七章支持向量机（二）

7.3非线性支持向量机

1.非线性问题

XR2$X{R}^2$，x=(x1,x2)T∈X$x=(x^1,x^2{)}^T\in X$，新线性空间为ZR2$Z{R}^2$，z=(z1,z2)T∈Z$z=(z^1,z^2{)}^T\in Z$。定义从原空间到新空间的变换（映射）：z=(x)$z=(x)$。原空间的点相应地变换为新空间中的点，原空间的椭圆变换为新空间中的直线。在变换后的新空间里，直线可以把变换后的正负实例正确分开。这样，原空间的非线性可分问题就变成了新空间的线性可分问题。
Rn$R^n$中的超曲面模型对应于特征空间H中的超平面模型（支持向量机）。这样，分类问题的学习任务通过在特征空间中求解线性支持向量机可以完成。

2.核函数的定义
Rn$R^n$的子集或离散集合），又设H为特征空间（希尔伯特空间），如果存在一个从X到H的映射，(x):X→H$(x):X\to H$，使得对所有x,z∈X$x,z\in X$,函数K(x,z)$K(x,z)$满足条件K(x,z)=(x)(z)$K(x,z)=(x)(z)$，则称K(x,z)$K(x,z)$为核函数，(x)$(x)$为映射函数，式中(x)(z)$(x)(z)$Ϊ(x)$(x)$和(z)$(z)$的内积。
K(x,z)$K(x,z)$，而不显式地定义映射函数$$。通常，直接计算K(x,z)$K(x,z)$比较容易，而通过(x)$(x)$和(z)$(z)$计算K(x,z)$K(x,z)$并不容易。注意，$$是输入空间Rn$R^n$到特征空间H的映射，特征空间H一般是高维的，甚至是无穷维的。可以看到，对于给定的核K(x,z)$K(x,z)$，特征空间H和映射函数$$的取法并不唯一，可以取不用的特征空间，即便是在同一特征空间里也可以取不同的映射。

3.核技巧在支持向量机中的应用
xixj$x_i{x}_j$可以用核函数K(xi,xj)=(xi)(xj)$K(x_i,x_j)=(x_i)(x_j)$来代替。此时对偶问题的目标函数成为W(α)=12∑i=1N∑j=1NαiαjyiyjK(xi,xj)∑i=1Nαi$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)\sum _{i=1}^N{\alpha }_i$。同样，分类决策函数中的内积也可以用核函数代替，而分类决策函数式成为f(x)=sign(∑i=1Nsaiyi(xi)(x)+b)=sign(∑i=1NsaiyiK(xi,x)+b)$f(x)=sign(\sum _{i=1}^{N_s}{a}_i^{}{y}_i(x_i)(x)+b^{})=sign(\sum _{i=1}^{N_s}{a}_i^{}{y}_{i}K(x_i,x)+b^{})$
$$将原来的输入空间变换到一个新的特征空间，将输入空间中的内积xixj