一、正交矩阵
定义：Orthogonal Matrix (必为方阵) 如果$A^TA=AA^T=I$，则$n$阶实矩阵$A$称为正交矩阵
性质：
1）$A^T$是正交矩阵
2）$A$的各行是单位向量且两两正交
3）$A$的各列是单位向量且两两正交
4）|A|=1或-1
举例：
二、标准正交矩阵的优势
1）求解投影矩阵
在投影矩阵章节我们已经知道投影矩阵为：$P=A\left(A^{T} A\right)^{-1} A^{T}$
当矩阵A为标准正交矩阵Q时，由于正交矩阵与其转置的乘积为单位矩阵，则上式可以转化为：$P=QQ^{T}$
这样就将投影矩阵简单化了。
2）求解$Ax=b$
在投影矩阵章节我们已经知道：$\hat{x}=\left(A^{T} A\right)^{-1} A^{T} b$
当矩阵A为标准正交矩阵Q时，由于正交矩阵与其转置的乘积为单位矩阵，则上式可以转化为：$\hat{x}=Q^{T} b$
三、Gram-Schmidt正交化
1）二维情况
假设原来的矩阵为[a,b]，a，b为线性无关的二维向量，下面我们通过Gram-Schmidt正交化获得标准正交矩阵
假设正交化后的矩阵为Q=[A,B]，我们可以令$A=a$，$B$垂直于$A$，根据我们在前面所讲的投影，我们将$b$投影到$a$上，误差向量$e$即为$B$：
$B=b - \frac{A^{T} b}{A^{T} A}A$
2）三维情况
假设原来的矩阵为[a,b,c]，a,b,c为线性无关的二维向量，正交化后的矩阵为Q=[A,B,C]，我们可以令$A=a$，则可以根据二维情况得到如下猜想：
$B=b - \frac{A^{T} b}{A^{T} A}A$
$C= c - \frac{A^{T} c}{A^{T} A}A - \frac{B^{T} c}{B^{T} B}B$
用$c$减去其在$A$和$B$上的投影就得到我们想要的$C$
3）多维情况
如果我们有更多的向量，那我们就用新的向量减去它在已经设定好的所有向量上的投影即可，最后，我们再除以它们各自的长度就得到了标准正交向量
4）实例
假设矩阵为[a,b]
$a=\left[\begin{array}{l}{1} \\ {1} \\ {1}\end{array}\right], b=\left[\begin{array}{c}{1} \\ {0} \\ {2}\end{array}\right]$
则由二维情况的结论可知：
$A=a$
$B=b - \frac{A^{T} b}{A^{T} A}A$
把具体数值代入得：
经过归一化得：
原始矩阵的列空间和Q的列空间相同，能够张成一个二维空间的平面。a和b是原始矩阵列空间的一组基，但这组基“不够好”
我们还想进一步让这组基的向量两两正交，并且都是单位向量，这就得到了q1和q2
四、矩阵的QR 分解
如同$A = LU$一样，$A$可以分解成一个正交矩阵和一个上三角矩阵的乘积，$A = QR$
这里$A$是原始矩阵，各列线性无关，$Q$是标准正交矩阵，$R$是上三角矩阵
假设原始矩阵$A$有三个列向量：
$A=[a_1, a_2, a_3]$
按照格拉姆-施密特正交化方法转换后，得到$q_1, q_2, q_3$：
$Q=[q_1, q_2, q_3]$
我们知道$A = QR$，想求$R$，等式同乘$Q^T$
$R=Q^TA=\left[\begin{array}{l}{q_1^T} \\ {q_2^T} \\ {q_3^T}\end{array}\right][a_1\space a_2\space a_3]$
q和a本身也是列向量，得出结果并不那么直观，可以展开表达：
下面我们来研究一下$R$中各个元素的值：我们知道$q_1,q_2,q_3$相互正交，所以$q_1^Tq_2=0, q_1^Tq_3=0$
而$q_1$只是$a_1$的单位化，所以：
$a_1^Tq_2=0$
$a_1^Tq_3=0$
前面我们在求解$q_2$的过程中利用了向量相减，我们应该可以看出$q_2$是$a_2$和$q_1$的线性组合，转置后$q_2^T$是$a_2^T$和$q_1^T$的线性组合，即：
$q_2^T=t_1a_2^T + t_2q_1^T$
如果$t_1=0$，则$q_2$与$q_1$线性相关，不符合标准正交向量的前提，所以$t_1$不等于$0$
$q_2^Tq_3=(t_1a_2^T + t_2q_1^T)q_3=t_1a_2^Tq_3 + t_2q_1^Tq_3=0$
所以：$a_2^Tq_3=0$
$a_2^Tq_2$和$a_3^Tq_3$不为0，如果是0，就没必要正交化了。$q_3$是$a_3$和$q_1$，$q_2$的线性组合，转置后相当于$q_3^T$是$a_3^T$和$q_1^T$，$q_2^T$的线性组合：
$q_3^T=t_1a_3^T + t_2q_1^T + t_3q_2^T$
$q_3^Tq_2=(t_1a_3^T + t_2q_1^T + t_3q_2^T)q_2=t_1a_3^Tq_2 + t_2q_1^Tq_2 + t_3q_2^Tq_2 = t_1a_3^Tq_2 + 0 + t_3q_2^Tq_2 = t_1a_3^Tq_2 + t_3q_2^Tq_2=0$
所以：$t_1a_3^Tq_2 = - t_3q_2^Tq_2$ 均不等于$0$
所以：
分解实例：求矩阵$A$的$QR$分解
五、感谢
本文参考，感谢作者分享
来源：https://www.cnblogs.com/always-fight/p/12240713.html