超平面

主要记录了SVM思想的理解,关键环节的推导过程,主要是作为准备面试的需要. 1.准备知识-点到直线距离 点 \(x_0\) 到超平面(直线) \(w^Tx+b=0\) 的距离,可通过如下公式计算: \[ d = \frac{w^Tx_0+b}{||w||}\] 因为公式分子部分没有带绝对值,因此计算得到的d有正负之分.因为超 \(w^Tx+b=0\) 将空间分为两部分(以2维为例,直线 \(w_1x+w_2y+b=0\) ,将二维空间划分为上下两部分),其中一部分d大于0,另一部分d小于0. 上面距离公式的简单推导过程如下: 超平面 \(w^Tx+b=0\) 的一个法向量为 \(w\) : 因为对于超平面上任意不同的两点 \(x_0,x_1\) ,他们所构成的向量 \((x_1-x_0)\) ,与 \(w\) 的内积为: \[\begin{align} w^T(x_1-x_0) &= w^Tx_1-w^Tx_0\\ &= -b-(-b)\\ &= 0 \end{align}\] 即, \(w\) 与超平面上任意向量(直线)正交,即 \(w\) 为超平面的法向量, \(\frac{w}{||w||}\) 为超平面的单位法向量. 点 \(x_0\) 到超平面 \(w^Tx+b=0\) 的距离等于,平面上任意一点 \(x_1\) 与点 \(x_0\) 构成的向量在单位法向量上的投影,即:

感知机模型 感知机由输入空间到输出空间的函数为： 其中，w和b为感知机模型参数，w∊R n 叫作权值（weight）或权值向量（weight vector），b∊R叫作偏置（bias），w·x表示w和x的内积。sign是符号函数。 感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型（linear classification model）或线性分类器， 即函数集合{f|f(x)＝w·x+b}。 感知机的几何解释，线性方程 w·x+b=0 对应于特征空间的一个超平面S 该超平面将特征空间划分为两部分，称为分离超平面（二维时退化为直线） 感知机学习策略 数据集的线性可分性 如果存在某个超平面S能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，则称数据集T为线性可分数据集 。 感知机学习策略 损失函数的一个自然选择是误分类点的总数。但是，这样的损失函数不是参数w,b的 连续可导 函数，不易优化。 损失函数的另一个选择是误分类点到超平面S的总距离，这是感知机所采用的： 误分类点x i 到超平面 S的距离： 感知机sign(w·x+b)学习的损失函数定义为： 其中M为误分类点的集合。该损失函数就是感知机学习的经验风险函数。 感知机学习的策略是在假设空间中选取使上述损失函数最小的模型参数 w，b，即感知机模型。 感知机学习算法

1. 决策树 根据一些 feature 进行分类，每个节点提一个问题，通过判断，将数据分为两类，再继续提问。这些问题是根据已有数据学习出来的，再投入新数据的时候，就可以根据这棵树上的问题，将数据划分到合适的叶子上。 如果你觉得这篇文章看起来稍微还有些吃力，或者想要更系统地学习人工智能，那么推荐你去看床长人工智能教程。非常棒的大神之作，教程不仅通俗易懂，而且很风趣幽默。点击 这里 可以查看教程。 2. 随机森林 视频 在源数据中随机选取数据，组成几个子集 S 矩阵是源数据，有 1-N 条数据，A B C 是feature，最后一列C是类别 由 S 随机生成 M 个子矩阵 这 M 个子集得到 M 个决策树 将新数据投入到这 M 个树中，得到 M 个分类结果，计数看预测成哪一类的数目最多，就将此类别作为最后的预测结果 3. 逻辑回归 视频 当预测目标是概率这样的，值域需要满足大于等于0，小于等于1的，这个时候单纯的线性模型是做不到的，因为在定义域不在某个范围之内时，值域也超出了规定区间。 所以此时需要这样的形状的模型会比较好 那么怎么得到这样的模型呢？ 这个模型需要满足两个条件 大于等于0，小于等于1 大于等于0 的模型可以选择 绝对值，平方值，这里用 指数函数，一定大于0 小于等于1 用除法，分子是自己，分母是自身加上1，那一定是小于1的了 再做一下变形，就得到了 logistic