超平面

支持向量机(Support Vector Machines, SVM)：是一种机器学习算法。 支持向量(Support Vector)就是离分隔超平面最近的那些点。 机(Machine)就是表示一种算法，而不是表示机器。 基于训练集样本在空间中找到一个划分超平面，将不同类别的样本分开。 SVM 工作原理 在样本空间中，划分超平面可通过如下线性方程来描述： 来源： https://www.cnblogs.com/wanglinjie/p/11729786.html

感知机 1、感知机的原理 感知机是二分类的线性模型，其输入是实例的特征向量，输出的是事例的类别，分别是+1和-1，属于判别模型。 假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练数据集 正实例点和负实例点完全正确分开的分离超平面 。如果是非线性可分的数据，则最后无法获得超平面 1.1超平面的概念 超平面是在空间 R d Rd中的一个子空间 R d − 1 Rd−1。 在2维空间中的超平面是一条线，在3维空间中的超平面是一个平面。 2、感知机的几个公式 2.1求直线到点的距离公式 直线的公式为Ax+By+C=0，设点为D（x1，y1）； d =（Ax1+By1+C）/（A*A+B*B）^1/2 2.2求样本到超平面的距离 超平面为h=w*x+b,其中的w=(w0,w1,w2....wn),x=（x0,x1,x2,x3....xn),样本点x‘到超平面的距离公式为d=（w*x'+b）/||w|| 3、感知机的模型 感知机从输入空间到输出空间的模型如下： f ( x ) = s i g n ( w ⋅ x + b ) f(x)=sign(w⋅x+b) − 1 x < 0 s i g n ( x ) = 1 x ≥ 0 3.1感知机的损失函数 损失函数的优化目标， 就是期望使误分类的所有样本，到超平面的距离之和最小 。 L ( w , b ) = − 1 | | w | |

关于软间隔SVM和非线性SVM，在学习过程中，估计有很多入门的同学会好奇软间隔和硬间隔的区别有没有更合理的解释？软间隔中引入的松弛变量到底是什么？软间隔的优化函数和硬间隔的优化函数化简之后，为什么长得这么类似？有没有更形象的方式来划分软间隔中的支持向量，噪声点和误分类的点？软间隔SVM的代价函数，硬间隔SVM的代价函数和合页损失函数是一致的吗？以及核函数是个什么玩意？核函数的优点到底怎么解释？ 下面我将用EM算法的思想去解释软间隔和硬间隔的区别，并用通俗易懂的语言解释松弛变量的几何含义，以及系数C对支持变量的影响。用一张图解释软间隔是怎样区分支持向量，噪声点和误分类的点。对软间隔SVM的代价函数，硬间隔SVM的代价函数和合页损失函数的一致性进行了推导。 之后对特征空间和核函数的核心idea进行了阐述，并分析了核函数的形式来历和那句让人捉摸不透的优点。最后简要介绍了一下几个重要的核函数。 由于文章当中包含很多自己理解的部分，如有不当之处，请多多指正！！！ 线性分类SVM面临的问题 在上次课中，我们对线性可分SVM的算法的原理和流程进行了总结，如下图所示，为线性可分的数据集，我们可以采用线性可分的支持向量机，也称为硬间隔支持向量机。 当数据集中参杂了一些噪声，如下图所示，由于参杂了一个红色的噪声点，导致模型学习到的决策边界由下图中的粗虚线移动到了粗实线。 Q1

间隔与支持向量 给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) ⋯   , ( x n , y n ) } , y i ∈ { − 1 , + 1 } D=\{(x_1,y_1),(x_2,y_2)\cdots, (x_n,y_n)\},y_i\in \{-1, +1\} D = { ( x 1 ​ , y 1 ​ ) , ( x 2 ​ , y 2 ​ ) ⋯ , ( x n ​ , y n ​ ) } , y i ​ ∈ { − 1 , + 1 } ，分类学习的最基本的思想就是基于样本空间中找个一个划分超平面，将不同类别的样本分开，但是超平面可能有很多种 直观上应该找最中间的划分超平面，因为该超平面对训练样本局部的扰动的容忍最好的。由于训练集的局限性或噪声的因素，训练集外的样本可能更接近两个类的分隔界，这个划分超平面所产生的分类结果是最鲁棒的，对未见的示例泛化能力最强。 超平面的线性方程描述： ω T x + b = 0 {\rm\pmb{\omega}}^Tx + b = 0 ω ω ω T x + b = 0 其中 ω = ( ω 1 ; ω 2 ; ⋯   ; ω d ) \pmb\omega=(\omega_1;\omega_2;\cdots;\omega_d) ω ω ω = ( ω 1 ​ ; ω 2 ​ ; ⋯ ; ω d

目录 一、SVM学习回顾 1 线性可分支持向量机与硬间隔最大化 1.1 线性可分支持向量机 1.2 函数间隔和几何间隔 1.3 间隔最大化 （1） 最大间隔分离超平面 （2） 支持向量和间隔边界 1.3 学习的对偶算法 2 线性支持向量机与软间隔最大化 2.1 线性支持向量机 2.2 学习的对偶算法 2.3 支持向量 2.4 合页损失函数 3 非线性支持向量机与核函数 3.1 核技巧 （1） 非线性分类问题 （2） 核函数的定义 （3） 核技巧在支持向量机中的应用 3.2 正定核 3.3 常用核函数 3.4 非线性支持向量机 4 序列最小最优化算法 二、补充 备注 备注1 凸二次规划 备注2 拉格朗日对偶性和KKT条件 备注3 为什么要转化为对偶问题求解 备注4 欧式空间和希尔伯特空间 其他问题 为什么高斯核可以将原始维度映射到无穷维 线性可分SVM、线性SVM和非线性SVM三者的b是否唯一 前言 第一次写博客，有不好的地方请各位多加指教；之前对SVM进行了一些学习，每次学习的时候又感觉很多东西都忘掉了；之前暑假的时候又进行了一次较为详细的学习，想着记录一下，一些笔记也都准备好了，由于若干原因（主要是拖延症晚期）一直拖到现在；本次总结主要是以李航老师的统计学习方法为参考，对书中的思路做一个梳理（因此想要了解或者回顾SVM的话，本文会有一点帮助，如果想仔细学习的话还是要结合

一 超平面 超平面定义为： ，对向量W归一化得： ，其中， ，归一化处理可简化后续一些计算。 超平面单位法向量为w，证明如下： 设 为超平面上得点，则有： ， ，向量w与超平面上任意方向线段垂直，则w为超平面单位法向量。 原点到超平面距离为b，证明如下： 过原点O作到超平面距离垂线，设OM=-kw，代入超平面得： ， 则原点O到超超平面距离为 。 任意点N到超平面距离为 ，证明如下： 点N在OM为： ，任意点N到超平面作垂线向量为： ，则距离为： 。 来源： https://www.cnblogs.com/luofeiju/p/11411263.html

支持向量机分类原理概述 支持向量机（SVMs）是一组相关的监督学习方法，用于分析数据和识别模式，用于分类和回归分析。 最初的SVM算法是由弗拉基米尔。弗尼克发明的，目前的标准化身（软利润）是由科琳娜科尔特斯和弗拉迪米尔。瓦尼克提出的。 支持向量机在高或无限维度空间中构造超平面或超平面，可用于分类、回归或其他任务。 超平面与任何类最近的训练数据点之间的距离最大，因此，这是一个很好的分离，因为一般来说，越大的边界越低，分类器的泛化误差就越低。 我们想要找到最大的边缘超平面，它把有yi=1的点和yi=-1分开。 任何超平面都可以写成满足点的集合。 我们想要选择w和b来最大化边缘，或者在平行的超平面之间的距离，在分离数据的同时，尽可能地分开。 来源： https://www.cnblogs.com/277223178dudu/p/9513596.html

文章目录 SVM介绍 SVM理论 线性可分性（linear separability） 损失函数（loss function） 经验风险（empirical risk）与结构风险（structural risk） 核方法 常见的核函数 核函数与松弛变量 问题描述 解答与分析 SVM算法步骤 问题 解答与分析 其他扩展问题 其他参考 SVM（Support Vector Machine, 支持向量机）是众多监督式学习方法中十分出色的一种，几乎所有的讲述经典机器学习方法的教材都会介绍。 SVM介绍 支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类（binary classification）的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane)。 SVM使用铰链损失函数（hinge loss）计算经验风险（empirical risk）并在求解系统中加入了正则化项以优化结构风险（structural risk），是一个具有稀疏性和稳健性的分类器。SVM可以通过核方法（kernel method）进行非线性分类，是常见的核学习（kernel learning）方法之一

SVM的目的 是寻找区分两类的超平面(hyper plane)，使边际(margin)最大。该超平面到一侧最近点的距离等于到另一侧最近点的距离，两侧的两个超平面平行。 线性可区分 （linear separable）：映射到直角平面坐标系就是可以直接用直线将其区分 线性不可区分 （linear inseparable）：映射到直角平面坐标系就是不可以直接用直线将其区分 定义与公式建立： W：weight vectot n是特征值的个数 反应在二维平面，其方程可写为： 则平面上方的样本满足： 则平面下方的样本满足： 调整weight,使超平面定义边际的两边： for for 即对二分类，定义超平面上方的样本标签都为+1，超平面下方的样本标签都为-1。 由两式可得： ,对所有i都成立 （1） 所有的坐落在两边的边际超平面上的点被称为支持向量(support vectors) 两边任意超平面上的点到中间超平面的距离为： 其中： 是向量的范数 if than 所以最大边际距离为： 如何求超平面(MMH)？ 1、公式（1）可以变为有限制的凸规划问题 2、利用KKT条件和拉格朗日公式，可以推出MMK可以被表示为以下决定边界： 其中 是支持向量点 (support vector)的类别标记(class label)，取+1或-1， 是要测试的实例， 和 都是单一数值型参数， 是支持向量的个数。

https://blog.csdn.net/u011630575/article/details/78916747 SVM SVM：Support Vector Machine 中文名：支持向量机 学习模型 有监督学习：需要事先对数据打上分类标签，这样机器就知道数据属于哪一类。 无监督学习：数据没有打上分类标签，有可能因为不具备先验知识，或打标签的成本很高，需要机器代替我们部分完成改工作，比如将数据进行聚类，方便后人工对每个类进行分析。 SVM 是有监督的学习模型：可以进行模式识别、分类以及回归分析。 SVM工作原理 示例： 桌面上有两种颜色混乱的小球，我们将这两种小球来区分开，我们猛拍桌子小球会腾起，在腾空的那一刹那，会出现一个水平切面，将两种颜色的球分开来。 原因： 二维平面无法找出一条直线来区分小球颜色，但是在三位空间。我们可以找到一个平面来区分小球颜色，该平面我们叫做超平面。 SVM计算过程： 就是帮我们找到一个超平面的过程，该超平面就是 SVM分类器。 分类间隔 我们在示例中，会找到一个决策面来将小球颜色分离，在保证决策面C不变，且分类不产生错误的情况下，我们可以移动决策面，来产生两个极限位置：决策面A和决策面B，分界线C就是最优决策面，极限位置到最优决策面的距离就是 分类间隔 。 我们可以转动最优决策面，会发现存在多个最优决策面，它们都能把数据集正确分开