14 正交向量与正交子空间
正交向量
正交就是垂直的另一种说法。两向量正交的判据之一就是其点积
当两个向量的夹角为90度的时候，按照勾股定理x,y满足:
正交子空间
子空间S与子空间T正交，则S中任意一个向量都与T中任意一个向量正交。
15 子空间投影
投影
几何解释：在向量a上寻找与向量b距离最近的一点。从图中可以看出距离点p最近就是穿过b点并与向量a正交的直线与向量a所在直线的交点上。这就是b在a上的投影。如果我们将向量p视为b的一种近似，则长度e=b-p就是这一近似的误差。
因为p在向量a的方向上，因此可以令p=xa，而因为它与e正交，我们可以得到方程：
解得：
投影矩阵
将投影问题用投影矩阵方式进行描述，即p=Pb，其中P为投影矩阵。
则有：
在高维投影
如果a1和a2构成平面的一组基，则平面就是矩阵A=[a1a2]的列空间
已知向量p在平面内，则有
而：
与平面正交，因此e与a1和a2均正交，因此
16 投影矩阵和最小二乘法
投影
如果向量b本身就在A列空间之内，即存在x使得Ax=b，则有：
如果向量b与A的列空间正交，即向量b在矩阵的左零空间N(A)中：
最小二乘法
最优解的含义即为误差最小，这里误差就是每个方程误差值的平方和
误差即为数据点到直线距离的平方和。
对于空间向量b，投影矩阵A的列向量中得到p=[p1 p2 p3]T,投影到矩阵A的零空间中则为e。
17 正交矩阵和施密特正交化
正交向量
满足如下条件向量q1,q2…qn为标准正交：
他们都是单位长度为1，并且彼此正交。标准正交向量是线性无关的。
标准正交矩阵
如果矩阵Q的列向量为标准正交向量，则
标准正交列向量的优势
若Q为列向量为标准正交向量，则投影到Q的列空间矩阵为：
可以大大减轻计算量
施密特正交化
如果有一组正交基A和B，令它们除以自己的长度就得到标准正交基
18 行列式及其性质
https://blog.csdn.net/sinat_34328764/article/details/83104827
19 行列式和代数余子式
代数余子式
https://blog.csdn.net/sinat_34328764/article/details/83141273
20 克莱姆法则、逆矩阵、体积
逆矩阵的公式
二阶矩阵的逆矩阵公式
高阶矩阵的求逆公式为：
矩阵外因子的分母是矩阵的行列式的值，而矩阵是代数余子式矩阵C的转置矩阵，即伴随矩阵。
克莱姆法则
不实用
体积
行列式其实是列向量构成的那个多面体的体积。
21 特征值和特征向量
将矩阵A与向量x相乘当作是对向量的一种操作或者函数，输入x而输出Ax。特征向量即在特定的向量x方向上输出Ax平行于x，即：
其中x为矩阵的特征向量，而.为A的特征值。
https://blog.csdn.net/sinat_34328764/article/details/83212936
矩阵的迹等于特征值之和
由特征值计算公式可得
对称矩阵的特征向量正交
22 对角化和矩阵的幂
https://blog.csdn.net/sinat_34328764/article/details/83269377
24 马尔可夫矩阵 傅里叶级数
马尔科夫矩阵
满足两条性质：
1）所有元素大于等于0；
2）所有矩阵的列相加等于1。
马尔科夫矩阵的特征值：
1）λ=1是它的一个特征值，它对应的特征向量x1的所有元素是非负值；
2）所有其他的特征值 |λi|<1；
那么，如下幂的稳态即c1x1，稳态是由特征值为1的特征向量决定的（因为从uk展开公式看稳态就是由特征向量决定的）。
为什么说矩阵的列相加等于1保证了有一个特征值为1？
假设已经有一个特征值为1，那么A-1I，马尔科夫矩阵平移一个单位矩阵，如果证明A-1I是奇异的，那么说明1确实是它的特征值。A-1I的矩阵每列元素相加为0，说明行向量线性组合能得到0，说明线性相关，奇异矩阵。向量(1 1 1)在其左零空间中，特征值为1的特征向量在其零空间（因为Ax1=x1，(A-I)x1=0）。
A和AT的特征值有什么关系？他们是相同的。因为矩阵AT 与A的行列式相等可以得证。
傅里叶级数
投影问题引出傅里叶级数
带有n个标准正交基的投影问题Qn×n，基向量q1,q2…qn，那么空间中任意向量v都可由这个标准正交基类线性组合得到：v=x1q1+x2q2+…+xnqn，现在要知道x1,或者x2是多少，可以用展开式来表达，将向量展开到标准正交基上去，这是在做投影，由于这组基是标准正交基，所以x1,x2…的求解有计算公式。求x1的时候将q1与式中任一一项做内积就能得到x1了。
这样v的展开式中每个基向量的系数就能求得了。也可以用矩阵形式来表示：
也就是Qx=v，x=Q-1v=QTv
傅里叶级数：
已知f(x)=a0+a1cosx+b1sinx+a2cos2x+b2sin2x+…，无穷维，但关键性质还是正交，正交性对sin和cos仍成立，这使得傅里叶级数有意义，这就是傅里叶级数。
傅里叶级数比较上面的向量空间的等式，是函数空间f(x)替换向量空间v，正交函数替换正交向量q1,q2…
这里函数正交的意义在于：两个函数的内积等于0。（用积分代替求和）
现在有了函数空间的无穷正交基，现在需要做的就是把函数展开到基上，需要求出系数a是多少。同向量空间的做法，等式左右两边同时乘以正交基分量，就可得到傅里叶级数系数公式。
https://blog.csdn.net/suqier1314520/article/details/14056485
来源：https://blog.csdn.net/qq_28404829/article/details/99689904