k-l变换

转：http://blog.csdn.net/passball/article/details/24037593 主成分分析（PCA）是多元统计分析中用来分析数据的一种方法，它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法，它的本质实际上是K-L变换。PCA方法最著名的应用应该是在人脸识别中特征提取及数据维，我们知道输入200*200大小的人脸图像，单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维，这给后面分类器的处理将带来极大的难度。著名的人脸识别Eigenface算法就是采用PCA算法，用一个低维子空间描述人脸图像，同时用保存了识别所需要的信息。下面先介绍下PCA算法的本质K-L变换。 1、K-L变换（卡洛南-洛伊（Karhunen-Loeve）变换）： 最优正交变换 一种常用的特征提取方法； 最小均方误差意义下的最优正交变换； 在消除模式特征之间的相关性、突出差异性方面有最优的效果。 离散K-L变换：对向量 x （可以想象成 M维=width*height 的人脸图像原始特征）用确定的完备正交归一向量系 u j 展开： 这个公式由来我想应该是任一 n维欧式空间 V均存在正交基，利用施密特正交化过程即可构建这个正交基。 现在我们希望用 d个有限项来估计向量 x，公式如下： 计算该估计的均方误差如下： 要使用均方误差最小