误差分析

在我们查看awr报告的时候总是会有一个关键指标需要注意，那就是DB time,这个指标一般都是通过awr报告来看到的。 比如我们得到的awr报告头部显示的下面的信息，我们就清楚的知道DB time是1502.06 mins，相对于Elapsed time来说，将近有20倍的压力。这个问题肯定需要关注。 Snap Id Snap Time Sessions Curs/Sess --------- ------------------- -------- --------- Begin Snap: 6219 21-Jul-15 22:00:08 583 2.5 End Snap: 6220 21-Jul-15 23:00:44 639 2.4 Elapsed: 60.61 (mins) DB Time: 1,502.06 (mins) 当然我们也不大可能一下子生成几十个awr报告，然后就为了得到这个DB time值。 在之前的博客中也分享过如何来结合shell脚本抓取数据库的负载信息。 http://blog.itpub.net/23718752/viewspace-1168027/ 比如得到的结果如下： DB_NAME BEGIN_SNAP END_SNAP SNAPDATE LVL DURATION_MINS DBTIME --------- ---------- --------

Aggregated Residual Transformations for Deep Neural Networks----2017ResNext Abstract 我们提出了一种用于图像分类的简单， 高度模块化 的网络体系结构。我们的网络是通过 重复构建模块 来构建的，该模块聚合具有相同拓扑的一组转换。我们的简单设计导致了同类的多分支架构，仅需设置几个超参数。 此策略提供了一个新维度，我们将其称为“基数”（转换集的大小），它是深度和宽度维度之外的一个重要因素。 在ImageNet-1K数据集上，我们根据经验表明，即使在保持复杂性的限制条件下， 增加基数也可以提高分类精度 。此外，当我们增加容量时，增加基数比深入或更广泛更有效。我们的模型名为 ResNeXt ，是我们进入2016年ILSVRC分类任务的基础，我们获得了第二名。我们进一步在ImageNet-5K集和COCO检测集上对ResNeXt进行了研究，其结果也比ResNet同类要好。该代码和模型可以在线公开获得1。 1.Introduction 视觉识别的研究正在经历从“功能工程”到“网络工程”的转变[25、24、44、34、36、38、14]。与传统的手工设计特征（例如，SIFT [29]和HOG [5]）相反，神经网络从大规模数据中学习的特征[33]在训练过程中所需的人力最少，并且可以转移到各种识别任务中[7，10

UWB定位系列专题： UWB定位: 第一篇 . 简介 UWB定位: 第二篇 . 原理 UWB定位: 第三篇 . 市场分析 UWB定位: 第四篇 . Apple Iphone11 U1芯片 & Apple UWB专利 UWB定位: 第二篇 . 原理 定位方案 接收信号强度指示(RSSI) 飞行时间(TOF) / 到达时间(TOA) 双向测距(TWR) 多边定位算法 到达时差(TDOA) TDOA定位算法 到达角度AOA / 到达相差PDOA AOA定位算法 总结 定位方案 接收信号强度指示(RSSI) RSSI(Receive Signal Strength Indicator)通过测量无线信号在接收端的功率大小并根据无线信号的Friis传输模型计算出收发端之间的距离， P r [ d B m ] = P t [ d B m ] + G t [ d B ] + G r [ d B ] − L [ d B ] − 20 log ⁡ 10 ( 4 π d / λ ) ⇓ d = λ 4 π 1 0 ( P t − P r + G t + G r − L ) / 20 \begin{gathered} P_r[dBm] = P_t[dBm] + G_t[dB] + G_r[dB] - L[dB] - 20\log_{10}(4\pi d/\lambda) \\ \Downarrow \\

基础知识： 回归是监督学习的这个重要问题，回归用于预测输入变量和输出变量之间的关系； 很好的拟合已知模型，并很好的预测未知模型； 什么是回归： 1，回归问题分为模型的学习和预测两个过程。基于给定训练数据集构建一个模型，根据新的输入数据预测相应的输出； 2，回归问题按照 输入变量的个数 可以分为 一元回归 和 多元回归 ； 按照 输入变量和输出变量之间的关系类型 ，可以分为 线性回归 和 非线性回归 一元线性回归： 1，回归分析只涉及两个变量的，称为一元回归分析 2，一元回归的主要任务是从两个相关变量中的一个变量取估计另一个变量，被估计的变量称为因变量（Y）；估计出的变量，称自变量（X）。 回归分析就是找一个模型Y=(X) 常用的案例： 根据工资，预测贷款额度---------回归问题 误差： 所有的误差都是独立同分布，且服从呈现高斯曲线的分布 公式（2）exp()指数的分子上（μ-epsion_i）,μ是方差（其值为0） 机器学习：现有样本数据，倒过来求参数 。 之前方法：现有参数，再求样本。 似然函数 ：已知发生了某些事件，我们希望知道参数是多少-------我们这里，已知x,y，需要求w,b 应为累乘不好算，取log（），转化为累加。 这个公式要会推！！！！有时候面试官会让推线性回归！ 然后求J(w)最小时，w,b的值。 求偏导 ----求凸函数极值时 先求b的偏导

特性或指标总述 本文将从以下特性进行简单的叙述。结合了《ADC设计基础》和TI的一些教学视频。 分辨率 转换误差 转换速度 采样率 奈奎斯特采样准则 混叠和抗混叠滤波器 DNL INL 热噪声 谐波失真 THD SNR ENOB SFDR IMD 孔径抖动 孔径延迟 奈奎斯特区 补充 分辨率 一般ADC都说注明是8bit，16bit或者是24bit。这里的数值也就是分辨率的意思。分辨率是衡量ADC精度一个非常重要的指标。比如采集的电压范围是0-5V，那么8bit的ADC的最小刻度就是5/2^8 =0.0195V,16bit的ADC的最小刻度是5/2^16=0.000195V.从这两个数值来看，我们就知道16bit的ADC可以采集到更小的电压。所以这里的分辨率表征的ADC的最小刻度的指标。同时分辨率也只能算是间接衡量ADC采样准确的变量。直接衡量ADC采集准确性的是精度。 转换误差 也可以称之为精度。精度是在ADC最小刻度基础上叠加各种误差的参数。是可以直接衡量ADC采样精准的指标。通常ADC的精度=N*LSB+Vc_sample+Vshift+Vnoise+Vref+… N一般在ADC的数据手册中体现，表征ADC的集散误差。Vc_sample是ADC内部的采样电容引起的误差。Vshift一般是外围电路带来的偏置，Vnoise是综合前端的驱动电路和ADC得出的噪声电压

数据分析师-机器学习 数据分析师-机器学习 机器学习概念 机器学习概念 ●机器学习研究如何让计算机不需要明确的程序也能具备学习能力。（ Arthur Samuel，1959） ●一个计算机程序在完成了任务T之后，获得经验E，其表现效果为P，如果任务T的性能表现，也就是用以衡量的P，随着E的增加而增加，可以称其为学习。（Tom Mitchell11977） 虽然机器学习的研究来源于人工智能领域，但是机器学习的方法却应用于数据科学领域，因此我们将机器学习看作是一种数学建模更合适。 机器学习的本质就是借助数学模型理解数据。当我们给模型装上可以适应观测数据的可调参数时，“学习”就开始了；此时的程序被认为具有从数据中“学习”的能力。一旦模型可以拟合旧的观测数据，那么它们就可以预测并解释新的观测数据。 模型构建流程 第一步：获取数据 既然我们机器学习是借助数学模型理解数学，那么最重要的原材料就是数据了。获取数据通常指的是获取原始数据，当然这里可以是一手数据，也可以是二手数据，关键看机器学习的学习任务。 “数据决定机器学习结果的上限，而算法只是尽可能的逼近这个上限”，可见数据在机器学习中的作用。那么一般而言对于数据我们有哪些要求呢？ 数据要具有代表性，数据需要包含尽可能多的信息，数据也需要同学习任务有关联性。 对于监督学习中的分类问题，数据偏斜不能过于严重

一、时间序列及其分解 时间序列（time series）是同一现象在不同时间上的相继观察值排列而成的序列。根据观察时间的不同，时间序列中的时间可以是可以是年份、季度、月份或其他任何时间形式。 时间序列： （1）平稳序列（stationary series） 是基本上不存在趋势的序列，序列中的各观察值基本上在某个固定的水平上波动，在不同时间段波动程度不同，但不存在某种规律，随机波动 （2）非平稳序列（non-stationary series） 是包含趋势、季节性或周期性的序列，只含有其中一种成分，也可能是几种成分的组合。可分为：有趋势序列、有趋势和季节性序列、几种成分混合而成的复合型序列。 趋势（trend）：时间序列在长时期内呈现出来的某种持续上升或持续下降的变动，也称长期趋势。时间序列中的趋势可以是线性和非线性。 季节性（seasonality）：季节变动（seasonal fluctuation）,是时间序列在一年内重复出现的周期波动。销售旺季，销售淡季，旅游旺季、旅游淡季，因季节不同而发生变化。季节，不仅指一年中的四季，其实是指任何一种周期性的变化。含有季节成分的序列可能含有趋势，也可能不含有趋势。 周期性（cyclicity）：循环波动（cyclical fluctuation），是时间序列中呈现出来的围绕长期趋势的一种波浪形或振荡式波动。周期性是由商业和经济活动引起的

集成学习基础 集成学习分类 Boosting 采用串行的方式，各个基学习器之间有依赖 基本思路：将基学习器层层叠加，每一层训练时，对前一层分错的样本，给予更高的权重。测试时，根据各层学习器的结果加权融合 AdaBoost Bagging 各基学习器之间无强依赖，可以并行训练 基于决策树基学习器的Random Forest 将训练集分为若干子集(训练集较小时可能有交集)训练基学习器 偏差和方差 定量描述模型的性能(欠拟合和过拟合) 偏差： 由所有采样得到的大小为 \(m\) 的训练数据集训练出来的所有模型的输出的平均值和真实模型输出之间的偏差 通常是由于对学习算法做了错误的假设导致，如真实模型是二次函数，我们假设是一次函数 偏差带来的误差通常在训练误差上体现出来 方差： 由所有采样得到大小为 \(m\) 的训练数据集训练出来的所有模型的输出的方差 通常是由于模型复杂度相对于训练样本数 \(m\) 过高导致的 方差带来的误差通常表现在测试误差相对于训练误差的增量上 二者矛盾统一，不能完全独立 集成学习偏差方差分析 基学习器的错误 偏差(欠拟合)：由于分类器表达能力有限导致的系统性错误，表现为训练误差不收敛 方差(过拟合)：由于分类器对于样本分布过于敏感，导致在训练样本较少时，产生过拟合 Boosting方法：通过逐步聚焦于基学习器分错的样本，减小集成学习器的偏差

2.1进行误差分析 （1）一识别猫为案例，错误率为10%，这时系统还可以有较大提升空间，这时该往哪方面努力呢？可以通过误差分析，具体可以拿出100个分类错误的样本，然后利用表格统计每个样本分类错误的原因（如下图所示），比如很模糊，狗和猫很像，有滤镜等，一个样本出错可以同时有多个原因，统计看因为什么原因导致分类错误的比例最高，那么就应该着重花功夫在那上面。 （2）根据上面的统计也可以预估出如果完美解决该问题可以带来多大性能的提升，比如100张样本中有5张图把狗误认为了猫，所以即使解决了狗识别成猫的问题，最终能带来的性能提升是从90%到90.5%。 2.2清楚标记错误的数据 （1）深度学习对于训练集样本（注意此处只讲了是训练集）样本随机标注错误其实表现出很强的健壮性，一般没有必要去修正训练集样本的错误标注（一来没必要，而来训练集可能非常之大耗时耗力）。 （2）对于验证集而言，务必将验证集的操作运用到测试集上，保证二者的同分布。 （3）同样在误差分析的表格中添加一列作为样本标记错误导致的，看看他的占比，比如说修正能提升0.6%，那么如果现在误差是10%的话，显然其他原因可提升性能空间更大，应优先考虑，但是当误差只有2%时，这时就不得不考虑到样本标记错误了，因为它已经成为主要原因了。 （4）在验证集、测试集上看分类错误的样本上的样本标记错误的同时，也应该看判断正确的样本里是否有标记错误

销量预测中的误差指标分析 月儿弯弯爱太傻 关注 0.3262018.09.14 14:59:19字数 2,269阅读 2,586 引言 本文介绍了一些销量预测相关的误差指标. 它们可以被分为两类: 绝对误差和绝对百分比误差. 前2节介绍销量预测问题及相关概念. 第3节我们介绍3种绝对误差, 并比较它们对异常值的敏感性. 由于绝对误差不适合比较多个商品或多个时段的预测结果, 在第4节我们介绍3种百分比误差. 在这一节, 我们重点强调了它们的优点和缺陷. 第5节是误差指标比较结果的汇总. 在第6节中, 我们用一个例子充分说明了百分比误差容易引发的问题, 并提醒读者在实际中必须确认预测目标与误差的一致性. 在第7节, 我们给出一些结论和实际使用中的建议. 1. 销量预测 销量预测问题是供应链管理中的一个基本问题. 销量预测可用来指导商品采购, 新品立项, 销售计划, 库存平衡和资源调度等业务. 因此, 预测"效果"的好坏 将直接影响这些业务的质量(注: 不同业务可能要求不同的预测"效果"). 我们一般用预测销量和真实销量之间的误差来评估销量预测结果或模型的好坏. 直观地讲, 预测销量与真实销量越"接近"则误差越小, 反之则误差越大. 为方便描述, 我们考虑如下简化的销量预测问题. 销量预测 预测一个商品未来1到n天的销量. 用 和 分别代表商品第 天的实际销量和预测销量, 其中 .