协方差

李宏毅机器学习笔记09(Unsupervised Learning 01)

不问归期 提交于 2019-11-26 14:16:15
无监督学习 1、无监督学习的概念   什么叫无监督学习(输入都是无label的数据,没有训练集之说)   无监督学习的两大任务:“化繁为简”(聚类、降维)、“无中生有” 2、聚类Clustering(K-means、HAC) 3、降维Dimension Reduction(PCA) 1、无监督学习的概念   一、什么叫无监督学习      输入都是无label的数据,没有训练集之说,也就是只能从一些无label的数据中 自己寻找规律   二、无监督学习的两大任务:“化繁为简”(聚类、降维)、“无中生有”    2、聚类Clustering(K-means、HAC)    一、K-means算法      kmeans算法又名k均值算法。其 算法思想 大致为:先从样本集中随机选取 k 个样本作为 簇中心 ,并计算所有样本与这 k 个“簇中心”的 距离 ,对于每一个样本,将其划分到与其 距离最近 的“簇中心”所在的簇中,对于新的簇计算各个簇的新的“簇中心”。   根据以上描述,我们大致可以猜测到实现kmeans算法的主要几点:   (1)簇个数 k 的选择   (2)初始化簇中心(可以从你的train data里面随机找K个 x x出来,就是你的k个center )   while(收敛——聚类结果不再变化)   {     (3)各个样本点到“簇中心”的 距离     (4

PCA

北慕城南 提交于 2019-11-26 06:07:05
对影像进行主成分分析,只有第一主成分被分离出来了,后面的主成分好像都相同 均值: 标准差: 方差: 描述数据之间关系的统计量 标准差和方差一般是用来描述一维数据的,但现实生活我们常常遇到含有多维数据的数据集。 面对这样的数据集,我们当然可以按照每一维独立的计算其方差,但是通常我们还想了解这几科成绩之间的关系,这时,我们就要用协方差,协方差就是一种用来度量两个随机变量关系的统计量 1.正向主成分(PC)旋转 正向PC旋转用一个线性变换使数据方差达到最大。当使用正向PC旋转时,ENVI允许计算新的统计值,或根据已经存在的统计值进行旋转。输出值可以存为字节型、浮点型、整型、长整型或双精度型。也可以基于特征值来提取PC旋转的输出内容,生成只包含所需的PC波段的输出。 计算新的统计值和旋转 使用Compute New Statistics and Rotate选项可以计算数据特征值、协方差或相关系数矩阵以及PC正向旋转。 选择Transforms > Principal Components > Forward PC Rotation > Compute New Statistics and Rotate。 当出现Principal Components Input File对话框时,选择输入文件或用标准ENVI选择程序选取子集。将会出现Forward PC Rotation