ica

写在前面 数据降维的几种形式 数据降维的几种方法，包括 PCA 、 LDA 、 ICA 等，另外还有一种常用的降维方法就是 因子分析 。 关于这几种方法的各自的优劣，有必要之后跟进一下。 概率图角度理解 打开prml and mlapp发现这部分目录编排有点小不同，但神奇的是章节序号竟然都为“十二”。 prml：pca --> ppca --> fa mlapp：fa --> pca --> ppca 这背后又有怎样的隐情？不可告人的秘密又会隐藏多久？ 基于先来后到原则，走prml路线。 首先，这部分内容，尤其是pca，都是老掉牙且稳定的技术，既然是统计机器学习，这次的目的就是借概率图来缕一遍思路，以及模型间的内在联系。 PPCA's PGM 我们要建立的是一套完整的知识体系，而非“拿来一用，用完就扔”的态度。 有菜鸡问了，为何你总是强调“体系”？ 因为我是马刺队球迷。 首先，我希望大家重视prml的第12章开章这段话： " 本章中，我们⾸先介绍标准的、⾮概率的PCA⽅法，然后我们会说明，当求解线性⾼斯潜在变量模型的 ⼀种特别形式的最⼤似然解 时， PCA如何 ⾃然地产⽣ 。这种概率形式的表⽰⽅法会带来很多好处，例如在参数估计时可以使⽤EM算法，对混合PCA模型的推广以及主成分的数量可以从数据中⾃动确定的贝叶斯公式。最后，我们简短地讨论潜在变量概念的几个推广

1.前言 书上写的是： 1. 主成分分析假设源信号间彼此非相关，独立成分分析假设源信号间彼此独立。 2. 主成分分析认为主元之间彼此正交，样本呈高斯分布； 独立成分分析则不要求样本呈高斯分布。 在利用最大化信息熵的方法进行独立成分分析的时候，需要为源信号假定一个概率密度分布函数g'，进而找出使得g(Y)=g(Wx)的信息熵最大的变换W，即有Y=s。 我的问题是， 1. 这个概率密度分布函数怎么假定？在实际信号处理中怎么给出？ 2. 如果我观测到信号呈高斯分布，取g'为高斯分布，那么ICA和PCA得到的结果会相同吗？ 2.解析 不管是PCA还是ICA，都不需要对源信号的分布做具体的假设；如果观察到的信号为高斯，那么源信号也为高斯，此时PCA和ICA等价。下面稍作展开。 假设观察到的信号是n维随机变量 主成分分析（PCA）和独立成分分析（ICA）的目的都是找到一个方向，即一个n维向量 使得线性组合 的某种特征最大化。 2.1主成分分析 PCA PCA认为一个随机信号最有用的信息体包含在方差里 。为此我们需要找到一个方向 w1 ，使得随机信号x在该方向上的投影 w1(T)X 的方差最大化。接下来，我们在与 w1 正交的空间里到方向 w2 ，使得 w2(T)X 的方差最大，以此类推直到找到所有的n个方向 wn . 用这种方法我们最终可以得到一列不相关的随机变量 . 如果用矩阵的形式，记 W