机器学习之降维方法
数据降维的 目的 :数据降维,直观地好处是维度降低了,便于计算和可视化,其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。 数据降维的 好处 :降维可以方便数据可视化+数据分析+数据压缩+数据提取等。 降维方法 __ 属性选择 :过滤法;包装法;嵌入法; | _ 映射方法 _ 线性映射方法:PCA、LDA、SVD分解等 | _ 非线性映射方法: |__核方法:KPCA、KFDA等 |__二维化: |__流形学习:ISOMap、LLE、LPP等。 | __ 其他方法:神经网络和聚类 PCA方法简介 主成分分析的思想,就是线性代数里面的K-L变换,就是在均方误差准则下失真最小的一种变换。是将原空间变换到特征向量空间内,数学表示为Ax=λx。 PCA优缺点: 优点:1)最小误差。2)提取了主要信息 缺点:1)计算协方差矩阵,计算量大 LDA方法简介 (1)LDA核心思想:往线性判别超平面的法向量上投影,使得区分度最大(高内聚,低耦合)。 (2)LDA优缺点: 优点:1)简单易于理解 缺点:2)计算较为复杂 (3)问题 之前我们讨论的PCA、ICA也好,对样本数据来言