SVD分解理论

##矩阵SVD分解的理论基础

首先，我们先说明什么是矩阵的奇异值分解（single value decomposition），简称SVD。

给定一个矩阵$A \in R^{m \times n}$, 设它的秩为r，则它具有以下的分解形式
$A_{m \times n} = U_{m \times m} \Sigma_{m \times n} V_{n \times n}^T$
其中，U是正交矩阵，其列向量是$AA^T$的单位特征向量，V 也是正交矩阵，其列向量是对应的$A^TA$的单位特征向量，$\Sigma$具有下述的形式
$\Sigma = \left( \begin{array}{cc} \Sigma_1 & O \\ O & O\end{array} \right)$
且$\Sigma_1 = diag(\sigma_1,\sigma_2,\ldots,\sigma_r)$，r是矩阵A的秩，$\sigma_i(i=1,2,\ldots,r)$ 是矩阵$AA^T$ （或$A^TA$）的非零特征值的正平方根，也叫做A的\textbf{奇异值}，当然A还可能包括零奇异值。
在我们知道了什么是SVD后，接下来看一下SVD是怎么来的，在开始之前我们先介绍一下矩阵的四个基本子空间的基本性质。

###四个基本子空间
设矩阵$A \in R^{m \times n}$，秩rank(A) = r，
A的行空间 $R(A^T)$ 为A 的行向量张成集合，
A的列空间 R(A)为A 的列向量的张成集合，
A的的零空间 N(A)为满足Ax = 0 的所有x 组成的集合，
$A^T$的零空间$N(A^T)$ 为满足$A^Ty = 0$的所有y 组成的集合。
\par 四个基本子空间的维数分别为dim(R(A)) = r,dim($R(A^T)$) = r,dim(N(A)) = n-r,dim($N(A^T)$) = m - r,而且$R(A) \perp N(A^T)$，$R(A^T) \perp N(A)$。

####有关特征值的结论

• $AA^T$和$A^TA$具有相同的非零特征值，而且所有特征值均大于等于0
• $A = U \land U^T $为对称矩阵A的特征值分解（对称性保证特征向量正交），$\land$是对角线元素A的特征值的对角矩阵，U的列向量为对应的A的特征向量。
• rank(A) = r，则$A^TA$的正特征值有r个

##SVD的由来

在矩阵A的行空间，我们选择一组标准正交基$v_1,v_2,\ldots,v_r$，经过A 变换，得到列空间的r个元素$u_1,u_2,\ldots,u_r$，我们希望变换后的$u_1,u_2,\ldots,u_r$也是正交的，所以我们在行空间选择的标准正交基就不能是任意的，它需要满足使得变换后的$u_1,u_2,\ldots,u_r$也正交。写成矩阵形式
$A[v_1,v_2,\ldots,v_r] = [u_1,u_2,\ldots,u_r]$
我们把$u_1,u_2,\ldots,u_r$单位化，设其长度分别为$\sigma_1,\sigma_2,\ldots,\sigma_r$，并记单位化后的向量重新记为$u_1,u_2,\ldots,u_r$，则
$A[v_1,v_2,\ldots,v_r] = [\sigma_1 u_1,\sigma_2 u_2,\ldots,\sigma_r u_r] = [u_1,u_2,\ldots,u_r]\left[ \begin{array}{cccc} \sigma_1 & 0 & 0 & 0 \\ 0 & \sigma_2 & 0 & 0 \\ 0 & 0 & \ldots & 0 \\ 0 & 0 & 0 & \sigma_r \end{array} \right]$
我们把零空间也考虑进来，记A的零空间的一组标准正交基$v_{r+1},v_{r+2},\ldots,v_n$，$A^T$的零空间的一组标准正交基为$u_{r+1},u_{r+2},\ldots,u_n$，则
$A[v_1,v_2,\ldots,v_r，v_{r+1},v_{r+2},\ldots,v_n] = [\sigma_1 u_1,\sigma_2 u_2,\ldots,\sigma_r u_r,0,0,\ldots,0]$
$= [u_1,u_2,\ldots,u_r,u_{r+1},u_{r+2},\ldots,u_m]\left[ \begin{array}{ccccc} \sigma_1 & 0 & 0 & 0 & \quad \\ 0 & \sigma_2 & 0 & 0 & \quad \\ 0 & 0 & \ldots & 0 & \quad \\ 0 & 0 & 0 & \sigma_r & \quad \\ \quad & \quad & \quad & \quad & \textbf{O} \end{array} \right]$
写成矩阵形式如下
KaTeX parse error: Undefined control sequence: \mbox at position 14: AV = U\Sigma,\̲m̲b̲o̲x̲{即，}A = U \Sigm…
什么样的U，V,$\Sigma$满足上面的要求呢？我们需要解出来。
首先，左乘$A^T$,我们得到，
$A^TA = V \Sigma^TU^TU\Sigma V^T = V \Sigma^T \Sigma V^T$
由对称矩阵的特征值分解，我们可以知道，$\Sigma$中的$\sigma_1,\sigma_2,\ldots,\sigma_r$取$A^TA$的非零（即正）特征值的正平方根，也是做A正
奇异值，的正V 的列向量取对应的特征向量。
然后，右乘$A^T$,我们得到，
$AA^T = U\Sigma V^TV \Sigma^TU^T = U \Sigma \Sigma^T U^T$
由对称矩阵的特征值分解，我们可以知道，$\Sigma$中的$\sigma_1,\sigma_2,\ldots,\sigma_r$取$AA^T$的非零（即正）特征值正平方根，U的列向量取对应的特征向量。
由于$AA^T$和$A^TA$具有相同的非零特征值，而且所有特征值均大于等于0，所以上述结论是成立的。

####再看SVD

从上面的推导我们可以看出，

• V的前r列组成$R(A^T)$的标准正交基
• U的前r列组成$R(A)$的标准正交基
• V的后n-r列组成N(A)的标准正交基
• U的后m-r列组成$N(A^T)$的标准正交基

我们把矩阵A的SVD展开

\begin{eqnarray*}
A & = & U \Sigma V^T \ & = & [u_1,u_2,\ldots,u_r,u_{r+1},u_{r+2},\ldots,u_m] \left[ \begin{array}{ccccc}
\sigma_1 & 0 & 0 & 0 & \quad \
0 & \sigma_2 & 0 & 0 & \quad \
0 & 0 & \ldots & 0 & \quad \
0 & 0 & 0 & \sigma_r & \quad \
\quad & \quad & \quad & \quad & \textbf{O}
\end{array} \right][v_1,v_2,\ldots,v_r，v_{r+1},v_{r+2},\ldots,v_n]^T \
& = & \sigma_1 u_1v_1^T + \sigma_2 u_1v_1^T + \ldots + \sigma_r u_1v_1^T \
& = & \sum_{i=1}^r \sigma_i u_iv_i^T
\end{eqnarray*}

例 求矩阵A = $\left( \begin{array}{cc} 4 & 4 \\ -3 & 3 \end{array} \right)$的奇异值分解。

解 $A^TA = \left( \begin{array}{cc} 25 & 7 \\ 7 & 25 \end{array} \right)$，特征值$\lambda_1 = 32, \lambda_2 = 18,$对应的单位正交向量分别为$\left( \begin{array}{c} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{array} \right)$,
$\left( \begin{array}{c} \frac{1}{\sqrt{2}} \\ \frac{-1}{\sqrt{2}} \end{array} \right)$，
所以 V = $\left( \begin{array}{cc} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{-1}{\sqrt{2}} \end{array} \right)$,
$\Sigma = \left( \begin{array}{cc} \sqrt{32} & 0 \\ 0 & \sqrt{18} \end{array} \right)$.

又$AV = \left( \begin{array}{cc} \frac{8}{\sqrt{2}} & 0 \\ 0 & \frac{-6}{\sqrt{2}} \end{array} \right)$.

因此$U = \left( \begin{array}{cc} \frac{8}{\sqrt{2}}\frac{1}{\sqrt{32}} & 0 \\ 0 & \frac{-6}{\sqrt{2}}\frac{1}{\sqrt{18}} \end{array} \right) = \left( \begin{array}{cc} 1 & 0 \\ 0 & -1 \end{array} \right)$

所以$A = \left( \begin{array}{cc} 1 & 0 \\ 0 & -1 \end{array} \right)\left( \begin{array}{cc} \sqrt{32} & 0 \\ 0 & \sqrt{18} \end{array} \right)\left( \begin{array}{cc} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{-1}{\sqrt{2}} \end{array} \right)$.

来源：CSDN

作者：zhulf0804

链接：https://blog.csdn.net/zhulf0804/article/details/54882680