下采样

非平衡数据处理方式与评估

自作多情 提交于 2020-01-31 22:42:17
解决这一问题的基本思路是让正负样本在训练过程中拥有相同的话语权,比如利用采样与加权等方法。为了方便起见,我们把数据集中样本较多的那一类称为“大众类”,样本较少的那一类称为“小众类”。 解决方式分为: 一、相关方法总结 1、采样 采样方法是通过对训练集进行处理使其从不平衡的数据集变成平衡的数据集,在大部分情况下会对最终的结果带来提升。 采样分为上采样(Oversampling,过采样)和下采样(Undersampling, 欠采样),上采样是把小种类复制多份,下采样是从大众类中剔除一些样本,或者说只从大众类中选取部分样本。 随机采样最大的优点是简单,但缺点也很明显。上采样后的数据集中会反复出现一些样本,训练出来的模型会有一定的过拟合;而下采样的缺点显而易见,那就是最终的训练集丢失了数据,模型只学到了总体模式的一部分。 上采样会把小众样本复制多份,一个点会在高维空间中反复出现,这会导致一个问题,那就是运气好就能分对很多点,否则分错很多点。为了解决这一问题,可以在每次生成新数据点时加入轻微的随机扰动,经验表明这种做法非常有效。 ——这一方式会加重过拟合! 因为下采样会丢失信息,如何减少信息的损失呢? 第一种方法叫做EasyEnsemble,利用模型融合的方法(Ensemble):多次下采样(放回采样,这样产生的训练集才相互独立)产生多个不同的训练集,进而训练多个不同的分类器

paper reading:[第一代GCN] Spectral Networks and Deep Locally Connected Networks on Graphs

淺唱寂寞╮ 提交于 2020-01-31 00:10:42
paper reading - [第一代GCN] Spectral Networks and Deep Locally Connected Networks on Graphs 图卷积的一些知识: 图卷积网络概述 graph中卷积的实现 图卷积神经网络详述 知乎一个比较不错的回答 文章目录 paper reading - [第一代GCN] Spectral Networks and Deep Locally Connected Networks on Graphs @[toc] CNN在image和audio recognition表现出色的原因 : CNN的结构特点: 由于gird的性质,使得CNN可以有以下的特点: CNN的局限 CNN的适用范围以及GCN与GCN的联系: CNN适用范围: GCN与CNN的联系: two constructions of GCN spatial construction:hierarchical clustering of the domain 原理: 局部连接的实现: 下采样的实现: 下采样的本质: CNN的下采样: GCN的下采样: 深度局部连接的实现: 各变量的含义: 核心公式: 每层的计算结果(结合 Figure 2): 模型评价: 优点: 缺点: spectral construction:spectrum of the graph

温度记录仪之低温下ADC采样不准跳变问题

隐身守侯 提交于 2020-01-16 03:54:45
一、问题展示 本电工在做一款库房,医疗冷链用的温度记录仪产品,产品硬件方案不复杂,体现如下: STM8L+LCD+KEY+FLASH+NTC,供电方式为3V纽扣电池直接供电。 由于低功耗的需求,NTC直接用单片机IO口供电,以便于在睡眠的时候,关闭NTC电源。 产品出货挺稳定,最近遇到个专业的制药企业的客户,在测试我的产品时候,低于零下20℃后,产品开始出现问题,温度不准确,比实际温度要高4℃以上,这是整个方案的问题。 二、解决过程和方法 开始以为是纽扣电池问题,所以尝试用稳压源供电,然后至于低温下测试,结果温度还是不正确,电源方面的原因排除了。 接下来看NTC阻值表,以及我的二分法快速查表是否正确,将ADC值赋值几个固定值(这个值是零下20℃以下的采样值),几个cesium结果,查表法是没问题的,此因素排除。 根据多年温度产品经验,思路聚焦在供电IO口上,睡眠唤醒后,ADC采样前,NTC供电IO要给高电平,这个动作以后,才能采样,我是这么做的,没错。 但是!!!问题出在这了,之前delay10ms,在常温下,甚至零下10℃以上,是没问题的,很低的温度就不行了,我不断的加大延时时间,到1s左右,问题解决了,温度误差在1℃范围内。 三、结论 在低功耗温度产品,NTC用IO供电方案中,睡眠唤醒后,NTC供电IO给高电平的时间一定要充足,超低温下,IO电平要很长时间才能稳定下来

NSCT,非下采样Contourlet变换——学习笔记

我的梦境 提交于 2020-01-11 01:18:42
非下采样Contourlet变换(Nonsubsampled contourlet transform,NSCT) 类似小波变换,都是将源图像变换后对系数进行一些处理,再逆变换回目标图像。 NSCT是一种新型平移不变,多尺度,多方向性的快速变换。 NSCT是基于Nonsubsampled金字塔(NSP)和Nonsubsampled方向滤波器(NSDFB)的一种变换。首先由NSP对输入图像进行塔形分解,分解为高通和低通两个部分,然后由NSDFB将高频子带分解为多个方向子带,低频部分继续进行如上分解。 Nonsubsampled Pyramid(NSP): Nonsubsampled Pyramid(NSP)和Contourlet的Laplacian Pyramid(LP)多尺度分析特性不同。图像通过Nonsubsampled Pyramid(NSP)进行多尺度分解,NSP去除了上采样和下采样,减少了采样在滤波器中的失真,获得了平移不变性。NSP为具有平移不变性滤波结构的NSCT多尺度分析,可以得到与LP分解一样的多尺度分析特性。图2.4(a)处分为3个尺度。 Nonsubsampled方向滤波器(NSDFB) Nonsubsampled方向滤波器(NSDFB)是一个双通道的滤波器,将分布在同方向的奇异点合成NSCT的系数。方向滤波器(DFB)是Bamberger and

4、经典网络解读

拜拜、爱过 提交于 2019-11-26 13:07:15
4.1 LeNet-5 4.1.1 模型介绍 ​LeNet-5是由$LeCun$ 提出的一种用于识别手写数字和机器印刷字符的卷积神经网络(Convolutional Neural Network,CNN)$^{[1]}$,其命名来源于作者$LeCun$的名字,5则是其研究成果的代号,在LeNet-5之前还有LeNet-4和LeNet-1鲜为人知。LeNet-5阐述了图像中像素特征之间的相关性能够由参数共享的卷积操作所提取,同时使用卷积、下采样(池化)和非线性映射这样的组合结构,是当前流行的大多数深度图像识别网络的基础。 4.1.2 模型结构 ​ 图4.1 LeNet-5网络结构图 ​ 如图4.1所示,LeNet-5一共包含7层(输入层不作为网络结构),分别由2个卷积层、2个下采样层和3个连接层组成,网络的参数配置如表4.1所示,其中下采样层和全连接层的核尺寸分别代表采样范围和连接矩阵的尺寸(如卷积核尺寸中的$“5\times5\times1/1,6”$表示核大小为$5\times5\times1$、步长为$1​$且核个数为6的卷积核)。 ​ 表4.1 LeNet-5网络参数配置 | 网络层 | 输入尺寸 | 核尺寸 | 输出尺寸 | 可训练参数量 | | :-------------: | :------------------: | :----------------------