线性可分SVM中线性规划问题的化简

假如想象 提交于 2019-12-04 09:40:15

在网上找了许多关于线性可分SVM化简的过程,但似乎都不是很详细,所以凭借自己的理解去详解了一下。

线性可分SVM的目标是求得一个超平面(其实就是求w和b),在其在对目标样本的划分正确的基础上,使得到该超平面最近的样本的几何间隔最远。写成线性规划问题即为

其中γ为最近点到超平面的几何间隔,特别的间隔γ^=||w||×几何间隔γ(间隔γ^与几何间隔γ是两种不同的概念),那么我们就可以将约束和条件改写为

 

而γ^是通过将离超平面最近的样本点代入超平面得到的,即γ^=yi(wxi+b),而对于xi是离超平面最近的一个已知的样本,所以我们可以通过调整w和b来使得y^为一个任意正实数(特别注意不为0,因为对于样本我们是已经得到了结果yi,但是如果y^为0,则与结果yi矛盾),而对于任意的已经确定的w和b我们便可以得到一个确定的γ^的值。即之前的式子γ^=yi(wxi+b),只不过此时,γ^变为了一个确定的值,两边同时除以γ^便得到了1=yi(wxi+b)/y^。而这里γ^=yi(wxi+b)与1=yi(wxi+b)/y^是等价的,因为就像高中所学的直线方程6X+8Y+4=0与3X+4Y+2=0是等价的一样,所以对于任意的正实数γ^都可以划成形如1=yi(wxi+b)/y^的式子。再优化得到1=yi(wxi/γ^+b/γ^)。之前提到了xi是离超平面最近的一个已知的样本,所以对于任意的已知样本带入yi(wx/γ^+b/γ^)都将大于1。而在这里我们用新的w和b代替w/γ^和b/γ^,所以相对应之前的约束变为了yi(wxi/γ^+b/γ^)-1>=0,目标函数γ/||w||我们变为了1/||w||,很简单的分式等价关系,在分母缩小n倍后分子也缩小n倍,则结果不变。

  网上还有一种想法是直接确定γ^(离超平面最近样本的间隔)为1,我觉得可能很多人理解不了这里的y^为什么是可以是一个定值,认为这里的y^与w和b的取值有关,我之前提到确定的w和b以及样本xi可以唯一确定γ^。但是反过来如果确定了一个γ和一个样本xi是否能够唯一确定w和b呢?当然显示是不能。还是拿直线方程举例子,如果已知一个点(2,3)带入ax+by+c结果为1,那么2a+3b+c=1结果有多少个呢?显然是无数个{a,b,c}的解集,所以并不能通过确定的γ^来求解确定的w和b。我之前也提到了对于任意确定的w和b算得的γ^式子可以化成1,相反,对于任意确定的在γ^=1的前提下算得的w和b我们通过放大他们的系数可以得到任意的正实数,拿回之前的2a+3b+c=1,其中的一个解集为a=3,b=-2,c=1。将a,b,c都放大两倍变为a=6,b=-4,c=2则得到结果γ^为2,以此类推,对于任意使得γ^为某一正实数的w和b我们都能在γ^=1时找到另一组w和b与之等价,而y^的取值会随着w和b成相同倍数的增加,这里我们的目标函数恰好是γ^/||w||,所以是否将γ^放大成另一个实数并不重要,因为倍数都被约了。所以我们只关心在y^在为一个正实数时,找到那么一个w使得目标函数最大,为了方便起见才取γ^为1,说了这么多其实就是想说明其实γ^取多少并不影响目标结果(影响w的取值是一定的,因为他改变了约束)。

  对于求1/||w||最大即为||w||2*1/2这一等价关系太简单了所以就不多说了

  综上便有了下面这样一个改写了的式子

  以上便是博主个人对于化简过程的理解,如有错误或者自己的想法欢迎交流。

 (°ー°〃)

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!