线代自学笔记 | 易学教程

QwQ……不知不觉这么久没写过博客了

感觉自己线代好菜啊……准备这些天去听听吉尔伯特爷爷的公开课，好好自学一下

大概看了看时间安排，感觉一天两节课正好够

为了方便督促自己，每天把笔记贴在这里好了

1.方程组的几何解释

每一个\(n\)元线性方程组都可以用矩阵表示。除此之外还可以对方程组做以下解释：

行图像：每个方程的解都可以表示为\(n\)维空间内的一个超平面，所有超平面的交就是整个方程组的解。（对于系数矩阵可逆的情况，所有超平面的交应当恰好是一个点。）

列图像：把方程组的每一列都看成一个列向量，那么方程组就可以看成\(n\)个列向量线性组合形成对应的常数向量。方程组的解代表每个列向量对应的系数。

在不考虑求解方程组时，列图像的思考方向还会产生另一个问题：列向量的所有线性组合能否充满整个\(n\)维空间？

求解方程组的系统方法：消元法

对于方程组\(Ax=b\)，可以用一系列初等变换将\(A\)变为上三角矩阵\(U\)，之后直接倒序回代即可得到整个方程组的解。通常称为高斯消元（Gauss Elimination）。

主元（pivot）不能为0。为了找到主元，可能还需要做一些行交换。

行列式等于主元之积

如果某一次无法找到任何主元，则说明此方程组无解或解不唯一，同时也说明\(A\)是奇异矩阵。

一个矩阵左乘一个行向量可以得到矩阵的行向量的一个线性组合。推广到多行的情况，发现高斯消元过程中的行变换可以用左乘一个初等矩阵表示。

（初等矩阵（Elementary Matrix）：单位矩阵经过一次初等变换后得到的矩阵）

例如令一个3*3矩阵的第二行减去第一行的3倍，只需令原矩阵左乘初等矩阵\(\left[\matrix{1&0&0\\-3&1&0\\0&0&1}\right]\)。

令原矩阵依次左乘高斯消元过程中各次变换对应的初等矩阵，即可得到对应的上三角矩阵\(U\)。令\(T\)表示所有初等矩阵的乘积，则有\(TA=U\)。

更进一步地，如果高斯消元直接得到了单位矩阵\(E\)，那么根据之前的结论，就会有\(TA=E\)，也就是\(T=A^{-1}\)。（这个结论可以用来简单地解释高斯消元求逆矩阵的原理。）

第三课先咕一会QwQ

\(LU\)分解：对于一个矩阵\(A\)，寻找下三角矩阵\(L\)与上三角矩阵\(U\)满足\(A=LU\)。

事实上还有\(LDU\)分解：\(A=LDU\)（\(D\)表示对角矩阵）

仍然考虑消元法，令\(T\)表示所有单位矩阵的乘积，则有\(TA=U\;\Rightarrow\;A=LU\)

实际上确实可以取\(L=T^{-1}\)，因为组成\(T\)的每个初等矩阵的逆仍然是下三角矩阵。

如果不存在行交换操作，可以直接把消元乘数写进\(L\)中，因为倒序相乘的过程中非对角线元素不会互相影响。

朴素的高斯消元和高斯-约当消元都需要\(\Theta(n^3)\)次操作。（大约是\(\frac{n^3}3\)）

如果能事先处理出\(A=LU\)，就可以用\(\Theta(n^2)\)次操作来处理一个右侧向量了。

“转置与置换(Permutations)”

置换矩阵可以用于进行一次乃至许多次行互换。（事实上它也被译作排列矩阵）

置换矩阵的逆，两个置换矩阵的乘积仍然是置换矩阵（显然）

Group

事实上，置换矩阵的逆就是它的转置。

置换矩阵(Permutation Matrix)是用于进行行互换的矩阵

如上所述，对一个可逆矩阵进行消元时，如果遇到了主元为0的情况，就需要进行行互换才能继续下去。

（在数值计算时，特别小的非零主元也会对数值稳定性产生负面影响，这时也需要进行行互换操作来保证数值稳定性。）

\(LU\)分解时，对于需要进行行变换的情况，可以记录下过程中对\(A\)进行的行交换，这时\(A=LU\)也就变成了\(PA=LU\)。（这个形式对任意\(A\)都成立；这是\(LU\)分解的一般形式。）

置换矩阵是行重新排列了的单位矩阵。（单位矩阵当然也是一个置换矩阵）

置换矩阵的一些~~很显然的~~性质：

每一个\(n\)阶置换都一一对应一个\(1\)~\(n\)的排列。
所有置换矩阵都可逆，并且它的逆就是它的转置。（\(P^{-1}=P^T\)）
- p.s.满足\(AA^T=E\)（即\(A^{-1}=A^T\)）的矩阵并不一定是置换矩阵，在很久之后会再讨论它们。~~（咕咕咕~~
置换矩阵的行列式只可能是\(\pm 1\)，更具体地说是\((-1)^{排列的逆序对数}\)。