数据标准化/归一化方法

牧云@^-^@ 提交于 2019-11-27 18:03:05



归一化方法(Normalization Method)
1。 把数变为(0,1)之间的小数
        主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速,应该归到数字信号处理范畴之内。
2 。把有量纲表达式变为无量纲表达式
        归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。
比如,复数阻抗可以归一化书写:Z = R + jωL = R(1 + jωL/R) ,复数部分变成了纯数量了,没有量纲。
另外,微波之中也就是电路分析、信号系统、电磁波传输等,有很多运算都可以如此处理,既保证了运算的便捷,又能凸现出物理量的本质含义。
标准化方法(Normalization Method)
        数据的标准化是将数据按比例缩放,使之落入一个小的特定区间。由于信用指标体系的各个指标度量单位是不同的,为了能够将指标参与评价计算,需要对指标进行规范化处理,通过函数变换将其数值映射到某个数值区间。一般常用的有以下几种方法。
(1) 最小-最大规范化对原始数据进行线性变换。假定MaxA与MinA分别表示属性A的最大与最小值。最小最大规范化通过计算

将属性A的值映射到区间[a, b]上的v。一般来说,将最小-最大规范化在用于信用指标数据上,常用的有以下两种函数形式:
a) 效益型指标(越大越好型)的隶属函数:


b) 成本型指标(越小越好型)的隶属函数:

(2) z-score规范化也称零-均值规范化。属性A的值是基于A的平均值与标准差规范化,A的值计算公式

(3) 小数定标规范化是通过移动属性A的小数点位置来实现的。小数点的移动位数依赖于A的最大绝对值,计算公式为


其中,j是使得MAX(|v|)<1的最小整数。例如A的值为125,那么|A|=125,则j=3,有v=0.125。
///////////////////////////////////////////////////////////////////////////////////////////////////
//C++实现的归一化和反归一化处理函数
///////////////////////////////////////////////////////////////////////////////////////////////////
void __fastcall TModelManage::TranslateData(TModel* pModel,int Id,double *Value,int Flag)
{
  //转换函数类型
  int iChgFunc;

  //节点对应的最大、最小值
  double dMaxValue,dMinValue;

  //取节点配置信息:转换函数类型,最大值,最小值
  GetNodeConfValue(pModel->ConfTable,Id,&iChgFunc,&dMaxValue,&dMinValue);
  if(Flag==1)               //仿真时不取边界值,以避免仿真结果误差太大
  {
    if(*Value<=(dMinValue*1.005))
        *Value=dMinValue*1.005;
    if(*Value>=(dMaxValue*0.995))
        *Value=dMaxValue*0.995;
  }
  else
  {
    if(*Value<=dMinValue)
        *Value=dMinValue;
    if(*Value>=dMaxValue)
        *Value=dMaxValue;
  }

  //线性函数转换,转换在0-1之内
  if(iChgFunc==0)
  {
    *Value=(*Value-dMinValue)/(dMaxValue-dMinValue);
  }
  //用atan函数转换在0-1之内
  else if(iChgFunc==2)
  {
    *Value=atan(*Value)*2/M_PI;
  }
  //用log函数转换
  else if(iChgFunc==1)
  {
    if(*Value<=1)
        *Value=0;
    else
        *Value=log10(*Value); //用log10函数转换(缩小)
    if(dMaxValue>1)
        *Value=*Value/log10(dMaxValue); //转换为0-1之间
  }
  //不用转换
  else if(iChgFunc==3)
  {
      *Value=*Value;
  }

  *Value=((0.5-0.001)/0.5)*(*Value)+0.001;   //用线性函数把数据转换为0.001-0.0.9995之间
}

///////////////////////////////////////////////////////////////////////////////////////////////////
//反数据转换,主要是针对仿真结果要反算回实际预测的值
void __fastcall TModelManage::UnTranslateData(TModel* pModel,int Id,double *Value,int Flag)
{
  //转换函数类型
  int iChgFunc;

  //节点对应的最大、最小值
  double dMaxValue,dMinValue;

  //取节点配置信息:转换函数类型,最大值,最小值
  GetNodeConfValue(pModel->ConfTable,Id,&iChgFunc,&dMaxValue,&dMinValue);
  *Value=(((*Value)-0.001)*0.5)/(0.5-0.001);     //对应于---->用线性函数把数据转换为0.001-0.0.9995之间

  //反线性函数转换
  if(iChgFunc==0)
  {
    *Value=(*Value)*(dMaxValue-dMinValue)+dMinValue;
  }
  //用tan函数转换
  else if(iChgFunc==2)
  {
    *Value=tan(*Value)*M_PI/2;
  }
  //用反log函数转换
  else if(iChgFunc==1)
  {
    *Value=pow(10,(*Value)); //用反对数方式函数转换(放大)
  }
  else if(iChgFunc==3)
  {
    *Value=*Value; //不用转换
  }  
}

///////////////////////////////////////////////////////////////////////////////////////////////////

 

关于神经网络(matlab)归一化的整理
关于神经网络归一化方法的整理
由于采集的各数据单位不一致,因而须对数据进行[-1,1]归一化处理,归一化方法主要有如下几种,供大家参考:(by james)
1、线性函数转换,表达式如下:
y=(x-MinValue)/(MaxValue-MinValue)
说明:x、y分别为转换前、后的值,MaxValue、MinValue分别为样本的最大值和最小值。
2、对数函数转换,表达式如下:
y=log10(x)
说明:以10为底的对数函数转换。
3、反余切函数转换,表达式如下:
y=atan(x)*2/PI
归一化是为了加快训练网络的收敛性,可以不进行归一化处理
归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布,归一化在-1--+1之间是统计的坐标分布。归一化有同一、 统一和合一的意思。无论是为了建模还是为了计算,首先基本度量单位要同一,神经网络是以样本在事件中的统计分别几率来进行训练(概率计算)和预测的,归一 化是同一在0-1之间的统计概率分布;
当所有样本的输入信号都为正值时,与第一隐含层神经元相连的权值只能同时增加或减小,从而导致学习速度很慢。为了避免出现这种情况,加快网络学习速度,可以对输入信号进行归一化,使得所有样本的输入信号其均值接近于0或与其均方差相比很小。
归一化是因为sigmoid函数的取值是0到1之间的,网络最后一个节点的输出也是如此,所以经常要对样本的输出归一化处理。所以这样做分类的问题时用[0.9 0.1 0.1]就要比用[1 0 0]要好。
但是归一化处理并不总是合适的,根据输出值的分布情况,标准化等其它统计变换方法有时可能更好。
关于用premnmx语句进行归一化:
premnmx语句的语法格式是:[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T)
其中P,T分别为原始输入和输出数据,minp和maxp分别为P中的最小值和最大值。mint和maxt分别为T的最小值和最大值。
premnmx函数用于将网络的输入数据或输出数据进行归一化,归一化后的数据将分布在[-1,1]区间内。
我们在训练网络时如果所用的是经过归一化的样本数据,那么以后使用网络时所用的新数据也应该和样本数据接受相同的预处理,这就要用到tramnmx。
下面介绍tramnmx函数:
[Pn]=tramnmx(P,minp,maxp)
其中P和Pn分别为变换前、后的输入数据,maxp和minp分别为premnmx函数找到的最大值和最小值。
(by terry2008)
matlab中的归一化处理有三种方法
1. premnmx、postmnmx、tramnmx
2. restd、poststd、trastd
3. 自己编程
具体用那种方法就和你的具体问题有关了
(by happy)
pm=max(abs(p(i,:))); p(i,:)=p(i,:)/pm;

for i=1:27
p(i,:)=(p(i,:)-min(p(i,:)))/(max(p(i,:))-min(p(i,:)));
end 可以归一到0 1 之间
0.1+(x-min)/(max-min)*(0.9-0.1)其中max和min分别表示样本最大值和最小值。
这个可以归一到0.1-0.9



易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!