奇异值分解

日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 矩阵的高级函数：基于SVD算法(即奇异值分解法)的矩阵分解、通过SVD算法(即奇异值分解法)/特征值分解法来实现PCA算法、随机数矩阵 1.对称矩阵 2.方阵、逆矩阵 X是一个m行n列的矩阵，并不能保证其有逆矩阵，因此X需要乘以X的转置，即X乘以自身的转置矩阵，其结果为一个方阵， 方阵即行数和列数都为一样，这样便能保证其矩阵X有逆矩阵。 X是一个m行n列的矩阵，X的转置(自身的转置矩阵)是一个n行m列的矩阵，那么两者相乘结果为m行m列的方阵，方阵即行数和列数都为一样。 X是一个n行m列的矩阵，X的转置(自身的转置矩阵)是一个m行n列的矩阵，那么两者相乘结果为n行n列的方阵，方阵即行数和列数都为一样。 求X乘以X的转置的逆矩阵，即求X的方阵的的逆矩阵。 3.协方差矩阵 1.PCA算法中求协方差矩阵 2.特征脸法： 1.特征脸法是一种相对“古老”的人脸识别算法，而特征脸法的核心算法是PCA算法。 2.特征脸法中的经过零均值化处理后的m行n列图像矩阵： m为人脸图像的维度，n为人脸图像的样本数，行数为人脸图像的flatten后的维度数，列数为数据集的人脸图像的样本数， 人脸图像的flatten后向量作为列向量。 3

一、奇异值与特征值基础知识： 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 1） 特征值： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。我这里引用了一些参考文献中的内容来说明一下。首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。比如说下面的一个矩阵： 它其实对应的线性变换是下面的形式： 因为这个矩阵M乘以一个向量(x,y)的结果是： 上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换（每一个对角线上的元素将会对一个维度进行拉伸变换，当值>1时，是拉长，当值<1时时缩短），当矩阵不是对称的时候，假如说矩阵是下面的样子： 它所描述的变换是下面的样子： 这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝色的箭头是一个最 主要的 变化方向（变化方向可能有不止一个）， 如果我们想要描述好一个变换