支持向量机SVM推导

天涯浪子 提交于 2019-12-28 03:25:30

样本(\(x_{i}\),\(y_{i}\))个数为\(m\):
\[\{x_{1},x_{2},x_{3}...x_{m}\}\]
\[\{y_{1},y_{2},y_{3}...y_{m}\}\]

其中\(x_{i}\)为\(n\)维向量:
\[x_{i}=\{x_{i1},x_{i2},x_{i3}...x_{in}\}\]

其中\(y_i\)为类别标签:
\[y_{i}\in\{-1,1\}\]

其中\(w\)为\(n\)维向量:
\[w=\{w_{1},w_{2},w_{3}...w_{n}\}\]

函数间隔\(r_{fi}\):
\[ r_{fi}=y_i(wx_i+b) \]

几何间隔\(r_{di}\):
\[ r_{di}=\frac{r_{fi}}{\left \| w \right \|} =\frac{y_i(wx_i+b)}{\left \| w \right \|} \]

最小函数间隔\(r_{fmin}\):
\[ r_{fmin}=\underset{i}{min}\{y_i(wx_i+b)\} \]

最小几何间隔\(r_{dmin}\):
\[ r_{dmin}=\frac{r_{fmin}}{\left \| w \right \|} =\frac{1}{\left \| w \right \|}*\underset{i}{min}\{y_i(wx_i+b)\} \]

目标是最大化最小几何间隔\(r_{dmin}\):
\[ max\{r_{dmin}\}= \underset{w,b}{max}\{\frac{1}{\left \| w \right \|}*\underset{i}{min}\{y_i(wx_i+b)\}\} \]

最小几何间隔的特点:等比例的缩放\(w,b\),最小几何间隔\(r_{dmin}\)的值不变。
因此可以通过等比例的缩放\(w,b\),使得最小函数间隔\(r_{fmin}\)=1,即:
\[ \underset{i}{min}\{y_i(wx_i+b)\}=1 \]
此时会产生一个约束条件:
\[ y_i(wx_i+b)\geq 1 \]

最终优化目标为:
\[ \left\{\begin{matrix} \underset{w,b}{max}\frac{1}{\left \| w \right \|} \\ y_i(wx_i+b)\geq 1 \end{matrix}\right. = \left\{\begin{matrix} \underset{w,b}{min}\frac{1}{2}{\left \| w \right \|}^2 \\ y_i(wx_i+b)\geq 1 \end{matrix}\right. \]

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!