ML- 核函数(Kernel) 的 SVM

☆樱花仙子☆ 提交于 2019-12-05 22:37:57

Why 核函数

目的是为了解决线性不可分问题.

核心思想是升维. 当样本点在低维空间不能很好地分开的时候, 可以考虑将样本通过某种映射(就是左乘一个矩阵) 到高维空间中, 然后在高维空间就容易求解一个平面 \(w^Tx +b\) 将其分开了.

想法是很美滋滋, 但立马就有一个问题,计算量大, 升到几百几千维, 内存怕是受不了. 这就立马联想到PCA 降维. 我在上大学的时候, 做客户细分,和用户画像(ps, 我是市场营销专业嘛), 通常是会用到降维技术, 然后提取主成分或做因子分析, 目的都是为了降维和使数据具有可解释性. 结果核函数却要升维度, 感觉是费力费力搞了半天, 又回去了.

低高维

  • 维度的理解应从向量空间去理解(构成该空间的基是几个),要从数学概念上理解. 这个什么"三维空间, 四维时间" 的物理概念是不一样的. 千万不要混淆什么时间,空间, 还有举个栗子, 如果连基本的抽象思维都没有, 那确实有些尴尬

映射(变换)

  • 数据的值大小肯定跟原来的是不一样了呀. 在形式上就是左乘一个矩阵, \(X' = PX\), 可理解矩阵本质是一个特殊的函数, 特殊在于它更像是咱们写代码时 自定义函数 可以完成咱自定义的功能, 如对样本进行 旋转, 拉伸(特征分解), 或拉伸旋转(SVD 分解) 等. 这些内部代码, 就封装在你定义的矩阵中.

PCA降维

  • 就是对原输入样本X(矩阵) 左乘一个旋转矩阵P, 是的 PX 的方差尽可能逼近 X, 即丢掉一些方差贡献小的维度,这样就降维了呀( 注: PX 是对原X 进行线性组合了呀(加和数乘) 数据也改变了, 已经不是原来的狗子哦

真的要在高维度中进行计算?

不存在的. 天才的人类哦, 想出了所谓的 kernel trick, 核心思想是大致这样的:

在低维和高维的关系上, 构造出一一个函数, 这个函数满足, 在低维空间下对样本进行计算的结果 跟在高维中计算的结果是相近的, 果然是小小的核(壳), 大大的梦想!

这简直不要太美, 真的是事半功倍呀. 能满足这样的函数, 就是我们平时谈的核函数, 过然很 trick 呀.

进入正题, 根据之前推导出的 SVM 的dual 形式:

\(max_w \ f(a) = \sum \limits _{i=1}^n a_i - \frac {1}{2} \sum \limits_{i=1}^n \sum \limits_{j=1}^n y_i y_j a_i a_j <x_i, x_j> \\ s.t.\)

\(0<= a_i \le C \\ \sum \limits_{i=1}^n a_i y_i = 0​\)

我们引入一个函数 k, 用 \(K(x_i, x_j)\) 代替 \(<x_i, x_j>\)

于是原来的dual变为了:

\(max_w \ f(a) = \sum \limits _{i=1}^n a_i - \frac {1}{2} \sum \limits_{i=1}^n \sum \limits_{j=1}^n y_i y_j a_i a_j K(x_i, x_j)\)

这就叫做带核函数的SVM, 跟之前的区别在于,样本在做点积的时候经过了一个函数去映射, 当然, 其实对应的a_i 跟原来不带核的也是变化了的.

\(k(x_i, y_j) = <\phi(x_i), \phi(x_j)>\)

将原始特征映射到更高维

假设升维的映射是:

\(\Phi: \ X \rightarrow X' = \Phi (X) = X^2\)

则:

\(\Phi([x_{i1}, x_{i2}]) = [x_{i1}, x_{i2}, x_{i1} x_{i2}, x_{i1}^2, x_{i2}^2]\)

这样就升高维度了哦.

Kernel Function

支持向量机通过某非线性变换 φ( x) ,将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算,而在低维输入空间又存在某个函数 K(x, x′) ,它恰好等于在高维空间中这个内积,即K( x, x′) =<φ( x) ⋅φ( x′) > 。那么支持向量机就不用计算复杂的非线性变换,而由这个函数 K(x, x′) 直接得到非线性变换的内积,使大大简化了计算。这样的函数 K(x, x′) 称为核函数。

Kernel 的 Mercer's Theorem

一个函数(矩阵) 要能成为核函数, 在数学上已经证明, 必须满足 Mercer 定理(后面再证吧)

Mercer 定理

如果函数是 \(R^n * R^n \rightarrow n\) 上的映射 , 该函数是核函数,当且仅当, 对于训练样本点 经过映射后的,值构成的矩阵是半正定的.

半正定

对于一个对称矩阵A, \(\forall \ x, 都满足 x^TAx \ge 0\) , 有很多优良的性质, 嗯,这里先空着吧, 后面专门来整整.

接着上面svm讨论:

\(K(x_i, x_j) = <\Phi(x_i), \Phi(x_j)>\)

需要计算一波称为 Gram 矩阵的东西:

\(G_{i,j} = K(x_i, x_j)\)

即样本 \(x_i, x_j\) 做了K映射后的值,作为矩阵 G 的第 i 行, 第 j 列元素值 , 必须满足:

  • G 是对称矩阵
  • G 是 半正定矩阵, 即( \(z^TGz \ge 0, \ z \in R^n\))

这样的话, K 就是一个核函数了.

常用的Kernel

就是为了方调 API提高工作效率, 当然是在前人的基础之上的. 不可能每个都去自己造轮子. 我也是, 基本上从不生产代码, 只是API的搬运工.

Polynomial Kernel (多项式核)

\(K(x_i, x_j) = (<x_i, x_j> +c)^d, \ 其中c,d 都为常量\)

  • 当 c = 0, d=1 时, 就成为线性核, 即无核SVM \(K(x_i, x_j) = <x_i, x_j>\)

c 用来控制低阶项的长度

case1: \(K(x_i, x_j) = (<x_i, x_j> +0)^2\)

原来样本: \(X_i = [x_{i1}, x_{i2}]^T , \ X_j = [x_{j1}, x_{j2}]^T\)

kernel: \(K(X_i, X_j) = <X_i, X_j)^2\)

\(=(x_{i1} x_{j1} + x_{i2} x_{j2})^2\)

\(= x_{i1}^2 x_{j1}^2 + x_{i2}^2 x_{j2}^2 + 2x_{i1} x_{j1} x_{i2} x_{j2} \\ =\ <\Phi(X_i), \Phi(X_j)>\)

其中, 样本的变换为:

\(\Phi(X_i) = [x_{i1}^2, x_{i2}^2, \sqrt {2} x_{i1} x_{i2}] \\ \Phi(X_j) = [x_{j1}^2, x_{j2}^2, \sqrt {2} x_{j1} x_{j2}\)

从本例,也就是说, 该 kernel 函数实现了等价的高维映射计算 & 包含的升维 是从 2维 -> 3维

高斯核(rbf)

Gaussian Kernel 也被称为 Radial Basis Function Kernel. (咋翻译呢? 嗯, 椭圆图?) 就是在调包时候的参数 'rbf'.

\(K(X_i, X_j) = e^(- \frac {||X_i - X_j||_2^2} {2 \sigma^2})\)

  • \(\sigma\) 可以用样本方差估计总体得出哦
  • \(X_i = X_j\) 时, 值为1
  • 随着 \(X_i 与 X_j\) 距离增加, 值倾向于0 (因为\(\sigma\) 变大了嘛, 钟图平缓了)

  • 使用高斯核之前需要先将特征标准化

case 高斯核svm

假设通过之前svm 的dual形式下训练出的 a 为:

\(a = [-0.5, 1,1, 1]\)

工作的原理就是, 通过新输入的一个样本x', 与其余样本看相似度

$y = a_0 + a_1K(x_1, x_2) + a_1K(x_1, x_2+a_2K(x_1, x_2)+a_3K(x_1, x_2)) $ 的正负号

假设 x' 距离x1 特别近(近1, 远0), 里其他相对远,则:

\(y= -0.5 + 1*1 + 1*0 + 1*0 + 1*0 = 0.5 \ge 0\) 则x'被分为 正类

Sigmoid Kernel

激活函数核

\(K(x_i, x_j) = arc \ tan(m x_i^T x_j + c)\)

此时的SVM就相等于一个没有隐含层(Hidden Layer) 的简单神经网络哦

Cosine Similarity Kernel

余弦相似度核

\(K(x_i, x_j) = \frac {x_i^T x_j}{||x_i|| ||x_j||}\)

常用于衡量两段文字的相似性. 文本处理嘛 ,首先就是要词向量化. "相似" 的计算, 其实就是计算两个词向量的向量夹角的余弦值, 越靠近,值越接近1嘛.

Chi-squared Kernel

卡方检验核 (哎呀, 是在是不知道怎么翻译, 就是统计里的 卡方检验嘛), 跟上面差不多的

\(K(x_i, x_j) = \frac {x_i^T x_j}{||x_i|| ||x_j||}\)

这个在图像处理可能会用, 用于衡量概率分布的相似性,ML我倒是没有用. 卡方检验 嗯, 在我上大三的时候, 就是市场调研的数据分析, 因为要经常做假设检验 会用得多一点, 在分类样本的相关性方面.

卡方检验

  • 统计样本的实际观测值与理论推断值之间的偏离程度.

  • 实际观测值与理论推断值之间的偏离程度就决定卡方值的大小,如果卡方值越大,二者偏差程度越大;

  • 二者偏差越小;若两个值完全相等时,卡方值就为0,表明理论值完全符合。

前面推导了这么多, 就是为了得到这么一个东西:

\(max_w \ f(a) = \sum \limits _{i=1}^n a_i - \frac {1}{2} \sum \limits_{i=1}^n \sum \limits_{j=1}^n y_i y_j a_i a_j K(x_i, x_j)\)

因此, 怎么理论落地, 用写代码的方式求解, 这就有点东西了, 其实, 写为上面的形式, 个人感觉就是为了写代码求解 a 做准备哦.

小结(svm)理论

  • convex (KKT)

  • max margin
  • svm primal
  • svm dual (lagrange)
  • slack svm
  • kernel svm

还有就是求解 smo , 多分类应用这些了.主要理论其实到这里感觉就差不多了.对于来说.

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!