线性代数

行列式的性质及推论 1. 对角行列式的值为主对角线上元素的乘积 2. 辅对角行列式的值 3. 上三角和下三角行列式的值为主对角线上元素的乘积 4. 若行列式的某一行（列）的元素皆为零，则行列式的值为零 5. 交换行列式两行（列）元素的位置，行列式反号 6. 若行列式有两行（列）元素相同，则行列式的值为零 7. 将行列式转置，行列式的值不变，即 8. 若行列式有两行（列）元素对应成比例，则行列式的值为零 9. 行列式的某一行（列）中所有元素都乘以同一数，等于用数乘此行列式 10. 设A，B为n阶方阵 11. 若行列式中某一行（列）元素 都可表示为两元素 与 之和，即 ，则该行列式可表示为两行列式之和。（可以推广到m个数之和的情况） 12. 把行列式的某一行（列）的所有元素同乘以数k后加于另一行（列）对应位置的元素上，行列式的值不变 13. 奇数阶但对称行列式的值为零 14. 范德蒙德（Vandermonde）行列式 对于 方程个数与未知量个数相等 的线性方程组 Cramer 法则： 若方程组的系数行列式 ，则方程组有唯一解 如果线性方程组的系数行列式 ，则有唯一解； 如果线性方程组的系数行列式 ，则无解或多个解； 从目前来看行列式的意义，主要体现在Cramer法则中，用来确定（方程个数与未知量个数相等）线性方程组的解（唯一解、多个解或无解），并求取参数值。 但更为普适的方法

一、什么是线性代数 线性与非线性： 非线性问题则可以在一定基础上转化为线性问题求解 线性空间： 对所谓的要满足"加法"和"数乘"等八条公理的元素的集合 线性函数： 几何意义 ： 过原点的直线、平面、超平面 代数意义 ：可加性、比例性 可加性 （线性的可加性既是没有互相激励的累加，也是没有互相内耗的累加） 比例性 （比例性又名齐次性说明没有初始值，比如电路，没有输入信号时输出也 为零，有几倍的输入量刚好就有几倍的输出量，增量是倍数关系，存量也是倍数关系） 几何意义：m=n为直线，否则为平面或者超平面 线性映射： T在这里也叫线性算子，具体的算子比如有微分算子，积分算子，拉普拉斯算子等 二维线性函数就构成了两个二维平面之间由矩阵 所确定的映射关系 满足可加性和比例性 在两个不同坐标系之间映射 线性变换： 如果映射是发生在一个集合上的同一个坐标系中，线性映射就被称为 线性变换 。 线性变换作为线性映射的特例，就是把集合上的两个坐标系合为一个。 直角坐标系下的图形清楚地显示了一个图形圆被线性变换为一个椭圆。相应的，圆上的一个向量 α映射为椭圆上的向量β。 同线性映射一样，线性变换把向量变成另外一个向量，或者说把"线"变成"线"。在平面上，线性变换把原点仍变为原点（参考零点没有移动），直线仍然变为直线（没有打弯），平行线仍然是平行线，当然平行四边形仍然是平行四边形。 来源： https:/

1、线性方程组概述 线性方程组： 包含未知数x1，x2，x3....xn的线性方程 　　其中b与系数a1，a2，a3...an是实数或复数，通常是已知的；下标n可以为任意数；线程方程组为由一个或几个包含相同变量x1，x2，x3....xn的线性方程组组成； 线性方程组的解分为相容、与不相容两种情况； 　　 相容： 1、唯一解；2、无穷解 　　 不相容： 无解 线性方程组矩阵表示 　　可以使用矩阵来表示线性方程组： 　　 系数矩阵： 只包含方程组系数的矩阵 　　 增广矩阵： 在系数矩阵的基础上加上线性方程组右边的常数组成的矩阵 2、解线性方程组 　　通过使用矩阵表示线性方程组，对矩阵使用行初等变换，把矩阵行化简为：行阶梯形矩阵或简化行阶梯形矩阵； 初等行变换： 　　1、倍加变换——把某行换成它本身与另一行的倍数和 　　2、对换变换——两行对换 　　3、倍乘变换——某一行的所有元素乘以同一个非零数 行阶梯形矩阵： 　　1、每一非零行在每一零行之上 　　2、某一行的最左边非零元素所在列在上面一行非零元素的右边 　　3、某一最左边非零元素所在列下方都是零 　　简化阶梯形为在行阶梯形矩阵的基础上进一步简化： 　　1、每一非零行最左边非零元素为1 　　2、每一最左边非零元素1是该元素所在列的唯一非零元素 同一个矩阵使用不同的方法化简，存在不同的行阶梯形，但简化阶梯形只存在一个；

最近把向量乘法运算搞混了，故而温习一下。 内容主要来自以下两个文档 向量的乘法运算,长于举例丰富,形象生动 向量的乘法,长于公式性质列举完整 0. 综述 常用的, a · b =|| a |||| b ||cos θ, 这个是向量的内积，又叫数量积，又叫点积。 a x b = || a |||| b ||sin θ，这个是向量的外积，又叫向量积，又叫叉积。 [ a b c ] = ( a x b )· c , 这个是向量的混合积。 1. 内积 1.1 定义 1.2 向量内积性质 注意，向量内积不满足结合律，即一般情况下 (a·b)·c != a·(b·c), 因为向量的内积结果是一个标量 。 1.3 向量内积的物理意义 向量内积的物理意义是，力通过位移做功。 1.4 向量内积的用途 1.4.1 求两个非零向量的夹角 1.4.2 判断两个非零向量是否垂直 简单的对应坐标相乘再求和，结果为0就垂直，否则就不垂直。 2. 外积 2.1 向量外积的定义 向量外积的结果是垂直于原向量所定义平面的向量。 通过坐标进行外积的直接计算比较复杂，写成行列式的形式，再展开，方便记忆。 2.2 向量外积的性质 2.3 向量外积的几何意义 再除以2的话，就是以 a，b 为边的三角形的面积。 2.4 向量外积的用途 2.4.1 求与三角形面积相关的问题 3. 混合积 3.1 向量混合积的定义 三个向量

目录 1. 基本概念和符号 2. 矩阵乘法 3. 运算和属性 4. 矩阵微分 1. 基本概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一解）。在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）. 基本符号 我们使用以下符号： 在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。 通常，在向量而不是标量上操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通用约定。 2. 矩阵乘法 向量-向量乘法 矩阵-向量乘法 矩阵-矩阵乘法 有了这些知识，我们现在可以看看四种不同的（形式不同，但结果是相同的）矩阵-矩阵乘法：也就是本节开头所定义的 的乘法。 矩阵C的第i列可以由矩阵A和矩阵B的第i列通过矩阵-向量乘积运算得到： 同理，矩阵C的第i行可以由矩阵A的第i行和矩阵B通过矩阵-向量乘积运算得到： 运算律： 3. 运算和属性 单位矩阵和对角矩阵 转置 对称矩阵 矩阵的迹 范数 线性相关性和秩 方阵的逆 请注意，并非所有矩阵都具有逆。例如，非方形矩阵根据没有逆的定义。然而，对于一些方形矩阵A

线性代数可以说是在机器学习最最重要的数学工具，也是最最重要的思考方式。学懂了线性代数，机器学习就会变得十分清晰明了。所以明白线性代数的本质是很有必要的，你会明白所有的操作是为了什么，所有变换是怎么进行的，这对我们学习机器学习是很有帮助的。 线性代数的本质 （视频） 该系列视频我觉得非常值得推荐，它阐述了大学老师根本不会跟你讲的一些线性代数的理解，让你知道究竟行列式在算什么（很多人学完了只知道行列式怎么算，却不知道行列式有什么意义），还有矩阵乘法为什么是这样的法则，矩阵的秩到底是什么…… 看完之后，我相信你对线性代数的理解又上了一个层次。 本系列随笔就是学习后的感悟。 来源： https://www.cnblogs.com/cloud--/p/12004680.html

空间中的点是可以用向量来描绘的，这些点的描绘是基于我们自建的欧式空间坐标系下。我们可以用一个行向量来表示一个空间的点。那我们的要进行空间坐标的转换的时候怎么办呢?一个行向量 B，我可以理解成IB，B的三个值既为三个行向量（1，0，0），（0，1，0），（0，0，1）上的三个分量的度量。我们设向量M是一个3x3的向量。M是线性无关。即M得三个行向量a1，a2，a3不共面，Mx=B，这时候 是一个3x1的列向量x。x= X1 Y1 Z1 Mx=（a1*X1,a2*Y1,a3*Z1) 我们可以理解为成Mx的积是在向量a1上的度量是x1，在a2上的度量为y1 ，在a3上的度量为z1.这样的话，Mx=B，B=(b1，b2，b3），所以b1= a1*X1，b2= a2*Y1，b3= ,a3*Z1。b1，b2，b3 是在欧式坐标系下X,Y,Z的三个分量，x1，y1，z1 是在a1，a2，a3 坐标系（这是我们自定的坐标系）的三个分量。即在自定空间M坐标下x 向量（也是M坐标下一点坐标）左乘M之后就得到了欧式坐标系的点的坐标。实现了空间做坐标的转换。要是实现欧式坐标转换到M坐标系下，可以两边同时左乘以一个M的逆矩阵M-1,(M-1)*M*x=(M-1)*B即x=(M-1)*B。一直B即可求出x ，就能的再M坐标系下的点x的坐标。 来源： CSDN 作者： 吴安 链接： https://blog

1. 矩阵范数 我们怎么来衡量一个矩阵的大小呢？针对一个向量，它的长度是 \(||\boldsymbol x||\) 。针对一个矩阵，它的范数是 \(||A||\) 。有时候我们会用向量的范数来替代长度这个说法，但对于矩阵我们只说范数。有很多方式来定义矩阵的范数，我们来看看所有范数的的要求然后选择其中一个。 Frobenius 对矩阵中的所有元素进行平方 \(|a_{ij}|^2\) 再相加，然后 \(||A||_F\) 就是它的平方根。这就像把矩阵看作是一个很长的有 \(n^2\) 个元素的向量，这有时候会很有用，但这里我们不选择它。 向量范数满足三角不等式，即 $||\boldsymbol x+\boldsymbol y|| $ 不大于 $||\boldsymbol x|| + ||\boldsymbol y|| $， \(2\boldsymbol x\) 或者 \(-2\boldsymbol x\) 的长度变为两倍。同样的规则也应用于矩阵的范数： 第二个对矩阵范数的要求是新的，因为矩阵可以相乘。范数 \(||A||\) 控制着从 \(\boldsymbol x\) 到 \(A\boldsymbol x\) 和从 \(A\) 到 \(B\) 的增长。 根据此，我们可以这样定义矩阵的范数： 恒等矩阵的范数为 1，针对一个正交矩阵，我们有 \(||Q\boldsymbol x||=

这部分我们从有限维扩展到无限维，在无限维空间中线性代数依然有效。首先，我们来回顾一下，我们一开始是以向量、点积和线性组合进行展开的。现在我们开始将这些基本的概念转化到无限维的情况，然后再继续深入探索。 一个向量有无限多的元素是什么意思呢？有两种答案，都非常好。 向量变成 \(\boldsymbol v=(v_1,v_2,v_3,\cdots)\) ，比如 \((1,\frac{1}{2},\frac{1}{4},\cdots)\) 向量变成一个函数 \(f(x)\) ，比如 \(sin \space x\) 很自然，两个无限维向量的点积是一个无限维的级数： 但是这带来了一个新问题，这个无限的和加起来会是一个有限的数字吗？这个级数收敛吗？这是有限和无限第一个并且是最大的差异。如果 \(\boldsymbol v=\boldsymbol w=(1,1,1,\cdots)\) ，和肯定不收敛，这时候 \(\boldsymbol v\cdot \boldsymbol w = \boldsymbol v \cdot \boldsymbol v=||v||^2\) ，也就是说向量的长度为无穷，我们不想要这样的向量。因为我们可以制定规则，所以我们不用包含它，这里我们只允许长度有限的向量。 向量 \(\boldsymbol v=(v_1,v_2,v_3,\cdots)\) 位于我们的有限维希尔伯特

这部分我们通过选择更好的基底来产生更好的矩阵。当我们的目标是对角化矩阵时，一个选择可以是一组特征向量基底，另外一个选择可以是两组基底，输入基底和输出基底是不一样的。这些左右奇异向量是矩阵四个基本子空间中标准正交的基向量，它们来自于 SVD。 事实上，所有对 \(A\) 的分解都可以看作是一个基的改变。在这里，我们只关注两个突出的例子，有一组基的 \(\Lambda\) 和有两组基的 \(\Sigma\) 。 \(S^{-1} AS=\Lambda\) 如果输入和输出基都是 \(A\) 的特征值。 \(U^{-1} AV=\Sigma\) 如果这些基分别是 \(A^TA\) 和 \(AA^T\) 的特征值。 只有当 \(A\) 是方阵并且有 \(n\) 个不相关的特征向量时，我们才能将其对角化成 \(\Lambda\) 。而通过 SVD，任意矩阵都可以对角化成 \(\Sigma\) 。如果一个矩阵是对称的、反对称的或者正交的，那么有 \(A^TA=AA^T\) ，在这种情况下，奇异值是特征值的绝对值，上面的两个对角化形式除了一个 \(-1\) 或者 \(e^{i\theta}\) 的因子外是相同的。 另外，注意 Gram-Schmidt 分解 \(A=QR\) 只选择了一个新的基底，也就是通过 \(Q\) 给出的输出正交基，而输入基底则是标准基由 \(I\) 给出