1.矩阵基本知识
（1）正交矩阵相乘仍然是正交矩阵
A、B是正交矩阵,那么AA'=E BB'=E
(AB)*(AB)'=AB*B'A'=A(BB')A'=AEA'=AA'=E
（2）一个矩阵乘以正交矩阵，范数不变
||Ux||^2=(Ux)^T(Ux)=x^TU^TUx=x^Tx=||x||^2
（3）一个矩阵乘以可逆矩阵秩不变
（4）初等变换只是不影响矩阵的秩，其他的特性都改变了。对于计算矩阵的行列式，不能进行初等变换，但是可以做行列的进 加减，不能乘以系数。
（5）矩阵的迹：矩阵的主对角线上各个元素的总和，是矩阵所有特征值的和
（6）对角矩阵的特征值是其对角线上的各个元素
（7）矩阵的秩等于非零奇异值的个数，等于非零特征值的个数
（8）任意矩阵都能进行奇异值分解，只有方阵才可以进行特征值分解
特征值分解：
如果一个向量 v 是方阵 A的特征向量，将可以表示成下面的形式： Av= λv，λ 称为特征向量 v 对应的特征值，并且一个矩 阵的 一组特征向量是一组正交向量。
特征值分解：Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值
奇异值分解：
假设A是一个N * M的矩阵，U是一个N * N的方阵（正交矩阵），Σ 是一个N * M的矩阵（对角线上的元素为奇异值），VT是 一个M * M的矩阵（正交矩阵）
特征值和奇异值的关系：
（1）U 的列向量，是 AA^T 的特征向量；
（2）V的列向量，是 A^TA 的特征向量；
（3）A的奇异值（Σ 的非零对角元素）则是 AA^T 或者 A^TA 的非零特征值的平方根。
（9）秩与自由度（ 方阵A(n*n) ）
矩阵的秩，指的是经过初等变换之后的非零行（列）的个数，若不存在零行（列），则为满秩矩阵（Rank(A)=n；关于矩阵 的秩的另一种理解：A矩阵将n维空间中的向量映射到k（k<=n）维空间中，k=Rank(A)
矩阵（参数矩阵）的自由度，指的是要想求解出矩阵的所有元素至少需要列几个线性方程组。若矩阵本身带有 x 个约束，则 只需要列n*n-x个方程组即可求出所有参数，即矩阵A的自由度为n*n-x。
2.线性方程组求解
齐次方程：Ax=0
1. r(A)=未知数个数n（约束较强），该解空间只含有零向量
2.r(A)<未知数个数n（约束不够），由齐次线性方程组解空间维数 = n - r(A) >0，所以该齐次线性方程组有非零解，而且不唯 一，存在一个基础解系（基础解系中的向量个数为 n - r(A)个)。
非齐次方程： AX=B
（1）R(A)< r(A|B),方程组无解
（2）r(A)=r(A|B)=n,方程组有唯一解
（3）r(A)=r(A|B) < n,方程组有无穷解
（4）r(A)>r(A|B),这种情况不存在
其中r()代表矩阵的秩，A|B是增广矩阵，n是X未知数个数。
QR分解
矩阵的QR分解是指，可以将矩阵A分级成一个正交阵Q和一个上三角矩阵R的乘积。实际中，QR分解经常被用来解线性最小 二乘问题。
对于非方阵的m∗n(m≥n)m∗n(m≥n)阶矩阵A也可能存在QR分解。这时Q为m*m阶的正交矩阵，R为m*n阶上三角矩阵。 这时的QR分解不是完整的(方阵)，因此称为约化QR分解(对于列满秩矩阵A必存在约化QR分解)。同时也可以通过扩充矩阵A 为 方阵或者对矩阵R补零，可以得到完全QR分解。
SVD分解
奇异值分解：
假设A是一个N * M的矩阵，U是一个N * N的方阵（正交矩阵），Σ 是一个N * M的矩阵（对角线上的元素为奇异值），VT是 一个M * M的矩阵（正交矩阵）
特征值和奇异值的关系：
（1）U 的列向量，是 AA^T 的特征向量；
（2）V的列向量，是 A^TA 的特征向量；
（3）A的奇异值（Σ 的非零对角元素）则是 AA^T 或者 A^TA 的非零特征值的平方根。
SVD分解解满秩（亏秩）最小二乘问题
LDLT分解
对称矩阵A可以分解成一个下三角矩阵L（Lower下）和一个对角矩阵D（Diagonal对角线）以及一个下三角矩阵L的转置LT三 个矩阵相乘的形式。如下式
求解过程：
Cholesky分解
Cholesky分解是LDLT分解的一种特殊形式，也就是其中的D是单位矩阵。正定对称矩阵 A可以分解成一个下三角矩阵L和这 个下三角矩阵L的转置LT相乘的形式。如下式
Cholesky分解解满秩最小二乘问题 ：
参考：
1.https://zhuanlan.zhihu.com/p/55567702
2. https://blog.csdn.net/wangshuailpp/article/details/80209863
来源：CSDN
作者：cv_slamer
链接：https://blog.csdn.net/weixin_39752599/article/details/103585651