数据标准化

最近做一个时空序列预测的一个问题，用到了数据归一化和标准化，之前一直想花点时间看一下这俩的区别究竟是啥？ 现在参考了几篇博文，加上自己的一些理解，来具体的总结总结。 数据的归一化是无量纲化，也就是忽略掉特征之间值大小对最后结果带来的影响，而标准化是统一特征的数据分布，忽略掉不同分布的特征对最后结果带来的影响 首先给出sklearn中归一化和标准化的实现方法： from sklearn . preprocessing import MinMaxScaler , StandardScaler # 归一化 minmax = MinMaxScaler ( ) x_new = minmax . fit_transform ( x ) #标准化 stand = StandardScaler ( ) x_new = stand . fit_transform ( x ) 有时候归一化也叫做normalization，千万不要让这个英语导致和标准化混了。 一、概念 归一化： 把数据变成0-1或者-1-1之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速 把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。 """归一化""" x' = ( x - X

转自：数据标准化/归一化normalization 这里主要讲连续型特征归一化的常用方法。离散参考[ 数据预处理：独热编码（One-Hot Encoding） ]。 基础知识参考： [ 均值、方差与协方差矩阵 ] [ 矩阵论：向量范数和矩阵范数 ] 数据的标准化（normalization）和归一化 数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。 目前数据标准化方法有多种，归结起来可以分为直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。不同的标准化方法，对系统的评价结果会产生不同的影响，然而不幸的是，在数据标准化方法的选择上，还没有通用的法则可以遵循。 归一化的目标 1 把数变为（0，1）之间的小数 主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。 2 把有量纲表达式变为无量纲表达式 归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。 比如，复数阻抗可以归一化书写：Z = R + jωL = R(1 +

1 概念   归一化：１）把数据变成(０，１)或者（1,1）之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。２）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。   标准化：在机器学习中，我们可能要处理不同种类的资料，例如，音讯和图片上的像素值，这些资料可能是高维度的，资料标准化后会使每个特征中的数值平均变为0(将每个特征的值都减掉原始资料中该特征的平均)、标准差变为1，这个方法被广泛的使用在许多机器学习算法中(例如：支持向量机、逻辑回归和类神经网络)。   中心化：平均值为0，对标准差无要求   归一化和标准化的区别：归一化是将样本的特征值转换到同一量纲下把数据映射到[0,1]或者[-1, 1]区间内，仅由变量的极值决定，因区间放缩法是归一化的一种。标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，转换为标准正态分布，和整体样本分布相关，每个样本点都能对标准化产生影响。它们的相同点在于都能取消由于量纲不同引起的误差；都是一种线性变换，都是对向量X按照比例压缩再进行平移。   标准化和中心化的区别：标准化是原始分数减去平均数然后除以标准差，中心化是原始分数减去平均数。 所以一般流程为先中心化再标准化。   无量纲

Normalization：归一化，一般在training之前对数据的操作，消除量纲什么的 映射到【0，1】内 standardization：数据正态化，使平均值1方差为0.亦是对数据的处理 Regularization：正则化，对LOSS的惩罚项 防止过拟合。 注意归一化和标准化的区别 ： 归一化 将不同的特征信息都一视同仁 标准化 对不同特征维度的伸缩变换的目的是使得不同度量之间的特征具有可比性。同时不改变原始数据的分布。 来源： https://www.cnblogs.com/nzmx123/p/8961527.html

一、是什么？ 1. 归一化 　　是为了将数据映射到0~1之间，去掉量纲的过程，让计算更加合理，不会因为量纲问题导致1米与100mm产生不同。 　　归一化是 线性模型 做数据预处理的关键步骤，比如LR，非线性的就不用归一化了。 　 归一化就是让不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。 缺点： 这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义 。 另外，最大值与最小值非常容易受异常点影响， 所以这种方法鲁棒性较差，只适合传统精确小数据场景 2. z-标准化 　　消除分布产生的度量偏差，例如：班级数学考试，数学成绩在90-100之间，语文成绩在60-100之间，那么，小明数学90，语文100，小花数学95，语文95，如何评价两个综合成绩好坏的数学处理方式。 二、怎么选？ 1. 标准化 标准化更好保持了样本间距。当样本中有异常点时，归一化有可能将正常的样本“挤”到一起去。比如三个样本，某个特征的值为1,2,10000，假设10000这个值是异常值，用归一化的方法后，正常的1,2就会被“挤”到一起去。如果不幸的是1和2的分类标签还是相反的，那么，当我们用梯度下降来做分类模型训练时，模型会需要更长的时间收敛，因为将样本分开需要更大的努力！而标准化在这方面就做得很好，至少它不会将样本“挤到一起”。 标准化更符合统计学假设

摘要 python3.65 名词替换： 每一个样本为每一行；每一个特征为每一列 。 归一化，标准化，标准化代码实现都在代码片中。 前言 问：数据为什么要归一化或者标准化？ 答：当一组数据中， 所有特征对数据分析的作用都是一样，但是数值大小却差别很大的时候 ，就需要用到归一化或者标准化。 归一化 特点： 通过对原数据的处理，转换数据范围在0-1之间 实现公式： x 1 = x − m i n m a x − m i n x 2 = x 1 × ( m x − m i ) + m i x1=\frac{x-min}{max-min} \qquad \qquad x2=x1\times(mx-mi)+mi x 1 = m a x − m i n x − m i n ​ x 2 = x 1 × ( m x − m i ) + m i 公式介绍：x2：最终值；x：每个特征的每个数据；max：该特征最大值；min：该特征最小值；mx：生成数据范围最大值；mi：生成数据最小值。mi,mx=0,1 （默认） 作用域：每一个特征（也就是每一列） 缺点：异常值对最大值和最小值影响很大，它对异常点处理不好，鲁棒性差。 适用场景：适合传统精确小数据场景（场景较少） 标准化 特点： 通过对原始数据进行变换，把数据变为均值为0，方差为1的范围 实现公式： x 1 = x − m e a n δ x1=

3.2 Acronyms and Abbreviations(首字母缩写和缩写词) 本文仅仅是个人在学习autosar时的一些不完整的笔记。 API: Application Programming Interface AR: AUTOSAR CAN: Controller Area Network ECU: Electronic Control Unit HMI: Human Machine Interface MISRA: Motor Industry Softwore Reliability Association RTE: Real Time Environment SW-C: Software Component WP: Work Package XML: eXtensible Markup Language 5 Modeling Rules 1、负荷AUTOSAR元模型 2、对SW-Cs使用AR包区分不同供应商之间的SW-Cs。 3、 使用AR包分类区分来自供应商提供的ARPackages哪些是标准的，哪些不是。 4、每个未被AUTOSAR合作伙伴定义的元素都应包含在一个不同于AUTOSAR官方发布的AR包中，即AR包的短名称应该改变(如SUPPLIER1)，类别可以根据AR包的类别分类和涉众特定的标准元素处理而改变或不改变。 5.1 使用模型元素 5.1.1

转至博文：http://www.cnblogs.com/jasonfreak/p/5448385.html 知乎问答：https://www.zhihu.com/question/29316149 归一化，正则化：http://blog.csdn.net/u012102306/article/details/51940147 卡方检验：http://blog.csdn.net/sunshine_in_moon/article/details/45155803 目录 1 特征工程是什么？ 2 数据预处理 　　2.1 无量纲化 　　　　2.1.1 标准化 　　　　2.1.2 区间缩放法 　　　　2.1.3 标准化与归一化的区别 　　2.2 对定量特征二值化 　　2.3 对定性特征哑编码 　　2.4 缺失值计算 　　2.5 数据变换 3 特征选择 　　3.1 Filter 　　　　3.1.1 方差选择法 　　　　3.1.2 相关系数法 　　　　3.1.3 卡方检验 　　　　3.1.4 互信息法 　　3.2 Wrapper 　　　　3.2.1 递归特征消除法 　　3.3 Embedded 　　　　3.3.1 基于惩罚项的特征选择法 　　　　3.3.2 基于树模型的特征选择法 4 降维 　　4.1 主成分分析法（PCA） 　　4.2 线性判别分析法（LDA） 5 总结 6 参考资料 1

　　数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。 　　其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上，常见的数据归一化的方法有： min-max标准化(Min-max normalization) 也叫离差标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数如下： 其中max为样本数据的最大值，min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。 log函数转换 通过以10为底的log函数转换的方法同样可以实现归一下，具体方法如下： 看了下网上很多介绍都是x*=log10(x)，其实是有问题的，这个结果并非一定落到[0,1]区间上，应该还要除以log10(max)，max为样本数据最大值，并且所有的数据都要大于等于1。 atan函数转换 用反正切函数也可以实现数据的归一化： 使用这个方法需要注意的是如果想映射的区间为[0,1]，则数据都应该大于等于0，小于0的数据将被映射到[-1,0]区间上。 而并非所有数据标准化的结果都映射到[0,1]区间上，其中最常见的标准化方法就是Z标准化，也是SPSS中最为常用的标准化方法：

特征工程是机器学习的第一步，涉及清理现有数据集、提高信噪比和降低维数的所有技术。大多数算法对输入数据有很强的假设，当使用原始数据集时，它们的性能可能会受到负面影响。 另外有些特征之间高度相关，在其中一个特征提供了足够的信息之后，与之相关的其他特征往往无法提供额外的信息。这时我们就需要了解如何减少特征数量或者仅选择最佳特征。 一、scikit-learn数据集 scikit-learn提供了一些用于测试的内置数据集，这些数据集包含在sklearn.datasets中，每个数据集都包含了输入集（特征集）X和标签（目标值）y。比如波士顿房价的数据集（用于回归问题）： from sklearn.datasets import load_boston boston = load_boston() X = boston.data y = boston.target print(‘特征集的shape：’, X.shape) print(‘目标集的shape：’, y.shape) 特征集的shape： (506, 13) 目标集的shape： (506,) 可以看到，这个数据集包含了506个样本、13个特征，以及1个目标值。 假如我们不想使用scikit-learn提供的数据集，那么我们还可以使用scikit-learn提供的工具来手动创建特定的数据集。相关的方法有： make