特征函数

● 分层抽样的适用范围 参考回答： 分层抽样利用事先掌握的信息,充分考虑了保持样本结构和总体结构的一致性,当总体由差异明显的几部分组成的时候,适合用分层抽样。 ● LR的损失函数 参考回答： M为样本个数, 为模型对样本i的预测结果, 为样本i的真实标签。 ● LR和线性回归的区别 参考回答： 线性回归用来做预测,LR用来做分类。线性回归是来拟合函数,LR是来预测函数。线性回归用最小二乘法来计算参数,LR用最大似然估计来计算参数。线性回归更容易受到异常值的影响,而LR对异常值有较好的稳定性。 ● 生成模型和判别模型基本形式，有哪些？ 参考回答： 生成式：朴素贝叶斯、HMM、Gaussians、马尔科夫随机场 判别式：LR，SVM，神经网络，CRF，Boosting 详情：支持向量机 ● 核函数的种类和应用场景。 参考回答： 线性核、多项式核、高斯核。 特征维数高选择线性核 样本数量可观、特征少选择高斯核（非线性核） 样本数量非常多选择线性核（避免造成庞大的计算量） 详情：支持向量机 ● 分类算法列一下有多少种？应用场景。 参考回答： 单一的分类方法主要包括：LR逻辑回归，SVM支持向量机，DT决策树、NB朴素贝叶斯、NN人工神经网络、K-近邻；集成学习算法：基于Bagging和Boosting算法思想，RF随机森林,GBDT，Adaboost,XGboost。 ●

一.线性回归 线性回归就是将输入项分别乘以一些常量，在将结果加起来得到输出。 假定输入数据存放在矩阵 x 中，而回归系数存放在向量 w 中。 那么预测结果可以通过Y=X的转置*W得出。所以我们求解线性回归模型的核心就在于求解w，如何求呢？首先，我们一定是希望预测出来的值和实际值之间的误差越小越好，所以我们评判w好坏，就可以采用实际值与真实值之差表示，但是这个差有正有负，为了避免正负相互抵消的情况，我们采用平方误差（也就是最小二乘法） 平方误差，我们也可以叫他损失函数。我们现在就是要以w为变量求解损失函数的最小值。 我们可以对w进行求导，令其为0，可得到我们所要求解w所需的计算公式。 局部加权线性回归 线性回归的一个问题是有可能出现欠拟合现象，因为它求的是具有小均方误差的无偏估 计。显而易见，如果模型欠拟合将不能取得好的预测效果。所以有些方法允许在估计中引入一 些偏差，从而降低预测的均方误差。 其中的一个方法是局部加权线性回归。在该算法中，我们给待预测点附近的每个点赋予一定的权重；在这个子集上基于 小均方差来进行普通的回归。 局部加权线性回归的基本思想：设计代价函数时，待预测点附近的点拥有更高的权重，权重随着距离的增大而缩减——这也就是名字中“局部”和“加权”的由来。 权重如何求取： 区别在于此时的代价函数中多了一个权重函数W，这个W要保证，越靠近待测点附近权值越大

Deep Learning on Point Sets for 3D Classification and Segmentation https://github.com/charlesq34/pointnet PointNet 摘要(Abstract) 点云是一种非常重要的几何数据结构类型。因为它的格式不规则，许多的研究人员通常会将点云数据转换为规则的3D体素网格或者图像集合。然而，这会造成大量的不必要的数据，并且很容易带来问题。在本文中，我们设计了一个直接以点云为输入的神经网络模型，这一模型很好的遵循了输入点的排列不变性。我们的网络模型叫做PointNet，它提供了一种从目标分类、零件分割到场景语义分析的通用模型结构。虽然它很简单，但PointNet非常高效而且有效。从经验上讲，它的效果甚至超过了目前最先进的水平。我们从理论上分析了PointNet学到了什么和为什么PointNet在输入有所干扰和损坏时有很强的鲁棒性。 1.引言(Introduction) 在本文中，我们探讨了能够处理点云或者网格等3D几何数据的深度学习结构。通常，为了实现权重共享和内核优化，卷积结构对输入数据的格式有非常高的要求。由于点云或网格的格式不规则，大多数研究人员通常在将这些数据输入到深度网络之前，会将其转换为规则的3D体素网格或图像集合（如视图）。然而，这种数据表示转换会导致大量不必要的数据

　　 决策树 是一种基本的分类与回归方法。决策树模型呈树形结构，可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括3个步骤： 特征选择 、 决策树的生成 和 决策树的修剪 。 　　 定义（决策树）： 决策树由结点（node）和 有向边（directed edge）组成。结点有两种类型：内部结点（internal node）和叶节点（leaf node）。内部结点表示一个特征或属性，叶节点表示一个类。 　　决策树的路径或其对应的if-then规则集合具有一个重要的性质：互斥并且完备。这就是说，每一个实例都被一条路径或一条规则所覆盖，而且只被一条路径或一条规则所覆盖。 　　决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。决策树学习算法包括 特征选择 、 决策树生成 与 决策树的剪枝 过程。决策树学习常用的算法有 ID3 、 C4.5 与 CART 。 　　 特征选择 　　 通常特征选择的准则是 信息增益 或 信息增益比 。 　　 特征增益 　　在信息论与概率统计中，熵（entropy）是表示随机变量不确定性的度量

一、解决问题 如何将特征融合与知识蒸馏结合起来，提高模型性能 二、创新点 支持多子网络分支的在线互学习 子网络可以是相同结构也可以是不同结构 应用特征拼接、depthwise+pointwise，将特征融合和知识蒸馏结合起来 三、实验方法和理论 1.Motivation DML (Deep Mutual Learning) 算法思想： ​ 用两个子网络（可以是不同的网络结构）进行在线互学习，得到比单独训练性能更好的网络 损失函数： ​ 传统监督损失函数： ​ 模仿性的损失函数： ​ 单个网络的损失函数： ONE (On-the-FlyNative Ensemble) 算法思想: ​ 通过在网络深层次构造多分支结构，每个分支作为学生网络，融合logit分布，生成更强的教师网络，进而通过学生/教师网络的共同在线学习，互相蒸馏，训练得性能优越的单分支或多分支融合模型。 logit融合 (Gate Module：FC、BN、ReLU、Softmax)： 损失函数： DualNet 算法思想： ​ 通过融合两个互补parallel networks生成的特征，使得融合后的性能比单独训练的性能更好 损失函数： 启发 ：结合DML、ONE和DualNet的思想，构造一个支持（相同或者不同的）多个子网络分支进行特征融合的网络结构，进而让融合分类器和分类器进行在线互学习，互蒸馏的方式

PCA主成分分析原理分析和Matlab实现方法（三） 【 尊重 原创，转载请注明出处 】http://blog.csdn.net/guyuealian/article/details/68487833 网上关于PCA（主成分分析）原理和分析的博客很多，本博客并不打算长篇大论推论PCA理论，而是用最精简的语言说明鄙人对PCA的理解，并在最后给出用Matlab计算PCA过程的三种方法，方便大家对PCA的理解。 PS：本博客所有源代码，都可以在附件中找到 下载 ： http://download.csdn.net/detail/guyuealian/9799160 关于PCA原理的文章，可参考： [1]http://blog.csdn.net/guyuealian/article/details/68483384 [2]http://blog.csdn.net/guyuealian/article/details/68483213 [3] 张铮的《精通Matlab数字图像处理与识别 》 一、 PCA原理简要说明 PCA算法主要用于降维，就是将样本数据从高维空间投影到低维空间中，并尽可能的在低维空间中表示原始数据。 PCA的几何意义可简单解释为： 0维-PCA：将所有样本信息都投影到一个点，因此无法反应样本之间的差异；要想用一个点来尽可能的表示所有样本数据，则这个点必定是样本的均值。 1维

框架如下： 1. 树的构造： 加载数据 loadDataSet() 根据最佳的特征与特征值对数据进行二元切分 binSplitDataSet(): 对叶节点点进行定义 regLeaf() 定义度量误差的标准 regErr() 获得用来切分数据的最佳的特征与特征值 chooseBestSplit() 构造回归树 createTree() 2. 树的剪枝: 对当前处理的节点进行判断,是否是叶节点 isTree() 对两个叶节点计算均值 getMean() 对树进行后剪枝 prune() codes: # -*- coding: utf-8 -*- """ Created on Mon Dec 9 19:17:55 2019 @author: buu """ import numpy as np def loadDataSet ( filename ) : ''' 函数说明: 加载数据,并将数据都转化为float类型 参数说明: 无 函数返回: dataMat: list, 包含许多小列表,一个小列表为一个样本 ''' dataMat = [ ] with open ( filename , 'r' ) as f : for line in f . readlines ( ) : curLine = line . strip ( ) . split ( '\t' ) fltLine =

目录 简介 关于关系抽取 Pipline模型 Model 1: Relation Classification via Convolutional Deep Neural Network Model 2: Relation Extraction: Perspective from Convolutional Neural Networks Model 3: Classifying Relations by Ranking with Convolutional Neural Networks Model 4: Bidirectional Long Short-Term Memory Networks for Relation Classification Model 5: Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification Model 6: Relation Classification via Multi-Level Attention CNNs Model 7: Bidirectional Recurrent Convolutional Neural Network for Relation Classification 简介 信息抽取

PointConv：Deep Convolutional Networks on 3D Point Clouds 摘要 传统的卷积是作用在二维图像数据上，图像数据通常可以表示成密集的网格形式。在CNN中，每个滤波器被限制在一个小的局部区域内，例如3×3；5×5等。在每个局部区域内，不同像素之间的相对位置总是固定的，如图（a）所示。并且我们可以容易地将滤波器离散化，成为具有局部区域内的每个位置的实值权重的总和。 三维数据通常是以点云的形式表示，就是一组无序的三维点，一组点云集合可以表示为一组3D点的集合{p_i|i=1，…，n}，其中每个点包含一组位置向量(x,y,z)或其它信息如颜色、表面切线等。不同于图像，点云的表示形式更灵活。在坐标系p=(x,y,z)∈R^3中，一个点的坐标不会限制在一个固定网格里，而是有可能取任意的连续值（如图（b）和（c）所示，一个点云在不同的局部区域内的顺序和相对位置都是不同的）。因此，每个局部区域中不同点的相对位置是不同的。栅格化的图像上的传统离散卷积滤波器不能直接应用于点云，因此，在点云数据上使用卷积是困难的。 介绍 3D CNN网络上的大多数工作都将3D点云转换为2D图像或3D体积网格，然后应用2D、3D卷积网络进行处理。最新的有将点云直接作为输入处理的工作，例如： (1) PointNet：Deep Learning on Point Sets

在LeNet提出后的将近20年里，神经⽹络⼀度被其他机器学习⽅法超越，如支持向量机。虽然LeNet可以在早期的⼩数据集上取得好的成绩，但是在更大的真实数据集上的表现并不尽如人意。⼀⽅面，神经⽹络计算复杂。虽然20世纪90年代也有过⼀一些针对神经网络的加速硬件，但并没有像之后GPU那样⼤量普及。因此，训练⼀个多通道、多层和有大量参数的卷积神经网络在当年很难完成。另⼀方面，当年研究者还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域，导致复杂的神经网络的训练通常较困难。 我们在上一节看到，神经网络可以直接基于图像的原始像素进行分类。这种称为端到端(end-to- end)的⽅法节省了很多中间步骤。然而，在很长⼀段时间里更流行的是研究者通过勤劳与智慧所设计并⽣成的⼿工特征(特征工程)。这类图像分类研究的主要流程是: 1）获取图像数据集 2）使用已有的特征提取函数生成图像的特征 3）使用机器学习模型对图像的特征分类 当时认为的机器学习部分仅限最后这一步。如果那时候跟机器学习研究者交谈，他们会认为机器学习既􏰁重要又优美。优雅的定理证明了许多分类器的性质。机器学习领域生机勃勃、严谨⽽且极其有用。然而，如果跟计算机视觉研究者交谈，则是另外⼀一幅景象。他们会告诉你图像识别⾥“不可告⼈”的现实是:计算机视觉流程中真正􏰁重要的是数据和特征。也就是说，使用较⼲净的数据集和较有效的特征甚⾄