归一化

利用preprocessing.MinMaxScaler实现数据归一化 MinMaxScaler有一个重要参数， feature_range ，控制我们希望把数据压缩到的范围，默认是[0,1]。 pd.DataFrame(data)：将numpy数组展示为表格形式 from sklearn . preprocessing import MinMaxScaler data = [ [ - 1 , 2 ] , [ - 0.5 , 6 ] , [ 0 , 10 ] , [ 1 , 18 ] ] import pandas as pd print ( pd . DataFrame ( data ) ) print ( ) # 分布归一化 scaler = MinMaxScaler ( ) scaler = scaler . fit ( data ) # 本质生成 max(x) 和 min(x) result = scaler . transform ( data ) print ( pd . DataFrame ( result ) ) print ( ) # 一步归一化 result2 = scaler . fit_transform ( data ) print ( pd . DataFrame ( result2 ) ) print ( ) # 归一化到 5-10 之间 data2

为了比较清楚得说明这件事，笔者力求以最简洁的方式进行介绍， part1: 4个坐标系 ： 　　　　　　1、世界坐标系(Xw、Yw、Zw) 　　　　　　2、相机坐标系(Xc、Yc、Zc) 　　　　　　3、像平面坐标系(X、Y) 　　　　　　4、像素平面坐标系(u、v) 3个坐标变换关系： 　　　　　　1、世界坐标系(Xw、Yw、Zw)->相机坐标系(Xc、Yc、Zc) 　　　　　　2、相机坐标系(Xc、Yc、Zc)->像平面坐标系(X、Y) 　　　　　　3、像平面坐标系(X、Y)->像素平面坐标系(u、v) part2: 以下的内容是对上述的7个概念做详细说明： 4个坐标系 ： 世界坐标系 ：即自然坐标系 相机坐标系 ：以相机的的光心为原点，Z轴指向相机前方，x向右，y向下 像平面坐标系 ：物理成像平面，在距相机光心一倍焦距的平面上（凸透镜成像实验的蜡烛成大小相等倒立的平面） 像素平面坐标系 ：在距相机光心一个焦距的平面上，原点位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行（在凸透镜成像实验的蜡烛成大小相等倒立的距离上放一个屏，相机中的这个位置是一个感光元件） 3个坐标变换关系 ： (Xw、Yw、Zw)->(Xc、Yc、Zc) ：世界坐标系向相机坐标系转换 这俩个坐标系之间的关系我们可以通过旋转矩阵R和平移矩阵t来得到： (Xc、Yc、Zc)->(X、Y)

深度学习中的归一化和正则化 1. 权重归一化 1.1 作用 1.2 梯度 2. 特征归一化 2.1 归一化方法 2.2 归一化区别   机器学习的学习过程基于概率和统计学，学习到的知识能用于其它数据的一个基本假设是独立同分布(IID)，因此把数据变成同分布是很有必要的。 1. 权重归一化 1.1 作用    权重归一化 不归一化特征，而是归一化权重。假设卷积核的向量形式是 w ⃗ \vec w w ，感受野的向量形式是 x ⃗ \vec x x ，偏置为 b b b 。一个神经元的输出可以表示为： y = ϕ ( w ⃗ ⋅ x ⃗ + b ) . y = \phi (\vec w \cdot \vec x + b). y = ϕ ( w ⋅ x + b ) .   把 w ⃗ \vec w w 写成 w ⃗ = g ∣ ∣ v ⃗ ∣ ∣ ⋅ v \vec w = \frac{g}{||\vec v||} \cdot v w = ∣ ∣ v ∣ ∣ g ​ ⋅ v 。因为 w ⃗ g = e ⃗ \frac{\vec w}{g} = \vec e g w ​ = e ，所以 ∣ ∣ w ⃗ ∣ ∣ = g ||\vec w|| = g ∣ ∣ w ∣ ∣ = g 。这样，权值向量 w ⃗ \vec w w 的模长就是 g g g ，方向就是 v ⃗ ∣ ∣ v ⃗ ∣ ∣

深度神经网络难训练一个重要的原因就是深度神经网络涉及很多层的叠加，每一层的参数变化都会导致下一层输入数据分布的变化，随着层数的增加，高层输入数据分布变化会非常剧烈，这就使得高层需要不断适应低层的参数更新。为了训练好模型，我们需要谨慎初始化网络权重，调整学习率等。 本篇博客总结几种归一化办法，并给出相应计算公式和代码。 归一化层，目前主要有这几个方法， Batch Normalization （2015年）、 Layer Normalization （2016年）、 Instance Normalization （2017年）、 Group Normalization （2018年）、 Switchable Normalization （2018年）； 将输入的图像shape记为[ N , C hannel, H eight, W idth]，这几个方法主要的区别就是在， batch Norm ：在batch上，对NHW做归一化，对小batchsize效果不好； layer Norm ：在通道方向上，对CHW归一化，主要对RNN作用明显； instance Norm ：在图像像素上，对HW做归一化，用在风格化迁移； Group Norm ：将channel分组，然后再做归一化； Switchable Norm ：将BN、LN、IN结合，赋予权重

前言： Batch Normalization是深度学习领域在2015年非常热门的一个算法，许多网络应用该方法进行训练，并且取得了非常好的效果。 众所周知，深度学习是应用随机梯度下降法对网络进行训练，尽管随机梯度下降训练神经网络非常有效，但是它有一个缺点，就是需要人为的设定很多参数，比如学习率，权重衰减系数，Dropout比例等。这些参数的选择对训练结果至关重要，以至于训练的大多数精力都耗费在了调参上面。BN算法就可以完美的解决这些问题。当我们使用了BN算法，我们可以去选择比较大的初始学习率，这样就会加快学习的速度；我们还可以不必去理会过拟合中的dropout、正则项约束问题等，因为BN算法可以提高网络的泛化能力；我们再也不需要使用局部响应归一化层，因为BN本身就是归一化的网络；还可以打乱训练数据，防止每批训练的时候，某一个样本经常被选到。通常在训练神经网络之前，我们都会对数据进行归一化处理，为什么呢？因为神经网络训练实际是为了学习数据的分布情况，一旦训练数据与测试数据分布不同，那么网络的泛化能力也会大大降低。另外，如果每一批的训练数据都不同，那么神经网络就会去适应不同训练数据的分布，这样就会大大降低网络训练的速度。深度学习的训练是一个复杂的过程，如果前几层的数据分布发生了变化，那么后面就会积累下去，不断放大，这样就会导致神经网络在训练过程中不断适应新的数据分布，影响网络训练的速度

最近做一个时空序列预测的一个问题，用到了数据归一化和标准化，之前一直想花点时间看一下这俩的区别究竟是啥？ 现在参考了几篇博文，加上自己的一些理解，来具体的总结总结。 数据的归一化是无量纲化，也就是忽略掉特征之间值大小对最后结果带来的影响，而标准化是统一特征的数据分布，忽略掉不同分布的特征对最后结果带来的影响 首先给出sklearn中归一化和标准化的实现方法： from sklearn . preprocessing import MinMaxScaler , StandardScaler # 归一化 minmax = MinMaxScaler ( ) x_new = minmax . fit_transform ( x ) #标准化 stand = StandardScaler ( ) x_new = stand . fit_transform ( x ) 有时候归一化也叫做normalization，千万不要让这个英语导致和标准化混了。 一、概念 归一化： 把数据变成0-1或者-1-1之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速 把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。 """归一化""" x' = ( x - X

一、测试时输入到网络模型中的数据与训练时输入到神经网络中的数据维度不匹配导致的问题。 二、输入到神经网络时，归一化要一致，训练归一化时，测试也要归一化 比如训练输入到神经网络中的数据维度是(224,224,96),测试输入到网络模型的数据维度是 （96，224，224）。导致输入维度不一致主要是应用了两种不同的方法来读取该数据。训练时归一化数据，测试时未归一化造成左图的结果，中间的结果是维度不一致导致的，右边的是正常的结果。 。 来源： CSDN 作者： 长风破浪时 链接： https://blog.csdn.net/weixin_43638371/article/details/103939931

# Learning Convolutional Neural Networks for Graphs 本文的三位作者都来自德国Heidelberg的NEC Labs Europe，文章提出了一种从图数据中提取局部连接区域的通用方法（PATCHY-SAN），用来解决图神经网络中的经典问题：如何在 大规模 的图上应用卷积？如何将卷积操作泛化到 任意结构 的图？通过实验证明了算法的有效性，并且模型的计算是高效的。 同样，该模型也考虑了两类任务： **图分类。**给定一组图，学习一个函数，该函数可用于未知图的分类和回归问题。任何两个图的节点不一定是对应的。例如，收集的每个图可以模拟一个化合物，而输出可以是一个函数，将看不见的化合物映射到它们对癌细胞的活性水平。 **结点或者边的分类。**给定一个大型图，学习可以用来推断不可见的图属性(如节点类型和丢失的边)的图表示形式。 与之前的模型相比，PATCHY-SAN有如下几个优点： (1).高效。(2).可以可视化观察图的结构。(3).自动生成卷积核，无需特征工程。 接下来就说一说PATCHY-SAN是如何构建的。对于空域卷积操作，本质上就是将非欧式空间的数据经过采样变成欧式数据，本文通过输入的graph的邻域构造适用于固定模式的卷积的receptive fields。但是，**对于许多不同的图来说，结点的结构信息不一致且分布并不规律

转自：数据标准化/归一化normalization 这里主要讲连续型特征归一化的常用方法。离散参考[ 数据预处理：独热编码（One-Hot Encoding） ]。 基础知识参考： [ 均值、方差与协方差矩阵 ] [ 矩阵论：向量范数和矩阵范数 ] 数据的标准化（normalization）和归一化 数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。 目前数据标准化方法有多种，归结起来可以分为直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。不同的标准化方法，对系统的评价结果会产生不同的影响，然而不幸的是，在数据标准化方法的选择上，还没有通用的法则可以遵循。 归一化的目标 1 把数变为（0，1）之间的小数 主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。 2 把有量纲表达式变为无量纲表达式 归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。 比如，复数阻抗可以归一化书写：Z = R + jωL = R(1 +

1 概念   归一化：１）把数据变成(０，１)或者（1,1）之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。２）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。   标准化：在机器学习中，我们可能要处理不同种类的资料，例如，音讯和图片上的像素值，这些资料可能是高维度的，资料标准化后会使每个特征中的数值平均变为0(将每个特征的值都减掉原始资料中该特征的平均)、标准差变为1，这个方法被广泛的使用在许多机器学习算法中(例如：支持向量机、逻辑回归和类神经网络)。   中心化：平均值为0，对标准差无要求   归一化和标准化的区别：归一化是将样本的特征值转换到同一量纲下把数据映射到[0,1]或者[-1, 1]区间内，仅由变量的极值决定，因区间放缩法是归一化的一种。标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，转换为标准正态分布，和整体样本分布相关，每个样本点都能对标准化产生影响。它们的相同点在于都能取消由于量纲不同引起的误差；都是一种线性变换，都是对向量X按照比例压缩再进行平移。   标准化和中心化的区别：标准化是原始分数减去平均数然后除以标准差，中心化是原始分数减去平均数。 所以一般流程为先中心化再标准化。   无量纲