线性代数

线性代数基础知识(三)—— 矩阵乘法

谁说胖子不能爱 提交于 2020-01-05 22:13:13
矩阵 A ∈ R m × n 和 B ∈ R n × p 的乘积为矩阵 : 其中: . 请注意,矩阵A的列数应该与矩阵B的行数相等,这样才存在矩阵的乘积。有很多种方式可以帮助我们理解矩阵乘法,这里我们将通过一些例子开始学习。 2.1 向量的乘积 给定两个向量x,y ∈ R n ,那么x T y的值,我们称之为向量的 内积 或 点积。它 是一个由下式得到的实数: . 可以发现,内积实际上是矩阵乘法的一个特例。通常情况下x T y = y T x。 对于向量x ∈ R m , y ∈ R n (大小不必相同),xy T ∈ R m×n 称为向量的 外积 。外积是一个矩阵,其中中的每个元素,都可以由 得到,也就是说, . 我们举个例子说明外积有什么用。令 1 ∈ R n 表示所有元素都是1的n维向量,然后将矩阵 A ∈ R m × n 的每一列都用列向量 x ∈ R m 表示。使用外积,我们可以将A简洁的表示为: . 2.2 矩阵 - 向量的乘积 对于一个矩阵 A ∈ R m × n 和向量 x ∈ R n ,他们的乘积为向量 y = Ax ∈ R m 。理解矩阵向量乘法的方式有很多种,我们一起来逐一看看。 以行的形式书写A,我们可以将其表示为Ax的形式: . 也就是说, y 第 i 行的元素等于A的第 i 行与x的内积 . 咱们换个角度,以列的形式表示A,我们可以看到: . 换言之,

线性代数

放肆的年华 提交于 2020-01-05 22:07:51
线性相关和生成子空间   如果逆矩阵 A -1 存在,那么式子 A x = b 肯定对于每一个向量 b 恰好存在一个解。但是,对于方程组而言,对于向量 b 的某些值,有可能无解或者存在无限多解。存在多于一个解但是少于无限多个解的情况是不可能发生的;因为如果 x 和 y都是某方程组的解,则 z = αx + (1-α)y, (α取任意实数)也是该方程组的解。   形式上,一组向量的线性组合,是指每个向量乘以对应标量系数之后的和,即:∑ i x i v (i) ,一组向量的生成子空间(span)是原始向量线性组合后所能抵达的点的集合。 在线性代数里,矢量空间的一组元素中,若没有矢量可用有限个其他矢量的线性组合所表示,则称为 线性无关或线性独立 (linearly independent),反之称为 线性相关 (linearly dependent)。    例如在三维欧几里得空间R的三个矢量(1, 0, 0),(0, 1, 0)和(0, 0, 1)线性无关;但(2, 0, 1),(1, 0, 1)和(3, 1, 2)线性相关,因为第三个是前两个的和。   确定 A x = b 是否有解,相当于确定向量 b 是否在 A 列向量的生成子空间中。这个特殊的生成子空间被称为 A 的列空间 (column space)或者 A的值域(range)。 范数   范数(norm)函数可以衡量向量大小

shader_线性代数复习提纲

╄→гoц情女王★ 提交于 2020-01-05 22:06:42
MIT线代教程 http://open.163.com/movie/2010/11/7/3/M6V0BQC4M_M6V29E773.html 《转载》 《线性代数》复习提纲 第一部分:基本要求(计算方面) 四阶行列式的计算; N阶特殊行列式的计算(如有行和、列和相等); 矩阵的运算(包括加、减、数乘、乘法、转置、逆等的混合运算); 求矩阵的秩、逆(两种方法);解矩阵方程; 含参数的线性方程组解的情况的讨论; 齐次、非齐次线性方程组的求解(包括唯一、无穷多解); 讨论一个向量能否用和向量组线性表示; 讨论或证明向量组的相关性; 求向量组的极大无关组,并将多余向量用极大无关组线性表示; 将无关组正交化、单位化; 求方阵的特征值和特征向量; 讨论方阵能否对角化,如能,要能写出相似变换的矩阵及对角阵; 通过正交相似变换(正交矩阵)将对称矩阵对角化; 写出二次型的矩阵,并将二次型标准化,写出变换矩阵; 判定二次型或对称矩阵的正定性。 第二部分:基本知识 一、行列式 1.行列式的定义 用n^2个元素aij组成的记号称为n阶行列式。  (1)它表示所有可能的取自不同行不同列的n个元素乘积的代数和;  (2)展开式共有n!项,其中符号正负各半; 2.行列式的计算 一阶|α|=α行列式,二、三阶行列式有对角线法则; N阶(n>=3)行列式的计算:降阶法  定理:n阶行列式的值等于它的任意一行(列

线性代数-MIT-汇总版

為{幸葍}努か 提交于 2019-12-27 15:17:00
线性代数-MIT-汇总版 1. 线性代数-MIT-第1讲-方程的几何解释 2. 线性代数-MIT-第2讲-矩阵消元 3. 线性代数-MIT-第3讲-矩阵乘法和逆矩阵 4. 线性代数-MIT-第4讲-LU分解 5. 线性代数-MIT-第5讲-转置置换和向量空间 6. 线性代数-MIT-第6讲-列空间和零空间 7. 线性代数-MIT-第7讲-求解Ax=0:主变量、特解 8. 线性代数-MIT-第8讲-求解Ax=b:可解性和解得结构 9. 线性代数-MIT-第9讲-线性相关性、基、维数 来源: CSDN 作者: 安心爱吃糖 链接: https://blog.csdn.net/weixin_32574873/article/details/103730569

优雅的线性代数系列一

狂风中的少年 提交于 2019-12-26 09:47:51
 说道线性代数, 我们自然就想到矩阵, 那我们该如何理解矩阵呢? 矩阵与线性变换 若一个变换 \(L\) 满足以下两条性质 \[ \begin{align*} L(\vec v+ \vec w) &= L(\vec v) + L(\vec w) &(1) \text{"可加性"} \\ L(c\vec v) &= c L(\vec v) \quad\quad\ &(2) \text{"成比例"} \end{align*} \] 则称 \(L\) 是线性的. 值得注意的一点时, 线性变换中, 坐标系的原点不动, 即零向量的变换结果还是零向量. 我们来看看矩阵与线性变换的关系 \[ A(v+w) = Av + Aw \Leftrightarrow L(\vec v+ \vec w) = L(\vec v) + L(\vec w)\\ A(cv) = c(Av) \Leftrightarrow L(c\vec v) = c L(\vec v) \] 可以看出矩阵完全满足线性变换的要求, 所以现在你应该将矩阵看做线性变换, 这会给我们理解很多线性问题带来很大的好处. \(\bigstar\) 如果想知道线性变换对于一个输入向量空间有什么影响, 我们只需要知道该线性变换对该输入空间的基有什么影响, 我们就能知道所有信息. 假设 n 维输入空间 \(R^n\) 的基为 \(v1, v_2,

线性代数-MIT-第4讲

半城伤御伤魂 提交于 2019-12-23 03:12:49
线性代数-MIT-第4讲 目录 线性代数-MIT-第4讲 1.矩阵AB的逆 2.消元矩阵的乘积 3.转置与置换 1.矩阵AB的逆 2.消元矩阵的乘积 最基础的矩阵分解A=LU: A通过消元矩阵得到上三角阵U,L联系这A和U; E21 A = U A=LU 左乘初等矩阵,将矩阵转化为上三角阵U; L是下三角阵,对角线为1,U是上三角阵,对角线为主元; 举例A为3x3,则消元成为上三角阵U(假设没有行交换): 此处为何转化成右侧的逆? 解释(以3x3举例): (E32为单位阵,E是A的左乘,(3,3)位置是10,不友好) (E32为单位阵,L是U的左乘,L是E的逆,(3,3)位置0,更友好) 因此,A=LU,如果没有行交换,则消元乘数可以直接写入L中; 消元的过程,需要多少次操作?例如nxn的矩阵A: 例如,100x100的矩阵; 第一步,第一行不变,使除第一行外第一列变为0,该过程除第一行其余均变化, 即是100x99,近似于100x100; 第二部,第一二行不变,使除第一二行外第二列变0,该过程除第一二行和和第一列变化, 即是99x98,近似于99x99 因此总的次数为,100x100+99x99+98x98...2x2+1x1,根据微积分可得 而右侧向量b,则需要1+2+3+...+n-1+n-2= 次; 3.转置与置换 下面讨论主元位置存在0的情况,即需要进行行交换(置换矩阵)

机器学习数学基础-线性代数

≡放荡痞女 提交于 2019-12-23 00:04:45
前言 AI(人工智能)现在火的一塌糊涂,其实在AI领域,机器学习已广泛应用在搜索引擎、自然语言处理、计算机视觉、生物特征识别、医学诊断、证券市场分析等领域,并且机器学习已经是各大互联网公司的基础设施,不再是一个新鲜的技术。但当你真的开始学习机器学习的时候,就会发现上手门槛其实还挺高的,这主要是因为机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。 本文主要介绍一下机器学习涉及到的一些最常用的的数学知识,方便大家在学习机器学习的时候,能扫除一些基础障碍。 标量(scalar) 标量是一个单独的数,一般用普通小写字母或希腊字母表示,如 等。 向量(vector)相关 向量的定义 把数排成一列就是向量,比如: 向量一般用粗体小写字母或粗体希腊字母表示,如 等(有时候也会用箭头来标识,如 ),其元素记作 。 向量默认为列向量,行向量需要用列向量的转置表示,例如 等。 物理专业视角:向量是空间中的箭头,决定一个向量的是它的长度和方向 计算机专业视角:向量是有序的数字列表 数学专业视角:向量可以是任何东西,只要保证两个向量相加以及数字与向量相乘是有意义的即可 运算规则 向量的加法和数量乘法定义: 加法 相同维数的向量之间的加法为: 数量乘法 任意的常数 和向量的乘法为: 在给定数 及向量 的情况下 张成空间 张成空间是向量 和

线性代数之线性方程组

眉间皱痕 提交于 2019-12-21 16:52:10
[作者:byeyear,首发于cnblogs.com,转载请注明。联系:east3@163.com] 回忆学校的美好时光,顺便复习一下学校学过的知识吧。 1. 三种行初等变换 倍加变换 (某一行的倍数加到另一行) 对换变换 (两行交换) 倍乘变换 (某一行所有元素乘以同一个非零数) 2. 行等价 一个矩阵可经过一系列初等行变换成为另一个矩阵。 行变换可逆。 3. 若两个线性方程组的增广矩阵行等价,则它们有相同的解集。 4. 简化行阶梯矩阵 a) 非零行的先导元素为0 b) 先导元素1是该元素所在列的唯一非零元素 一个矩阵的简化行阶梯矩阵唯一。 5. 对应于主元列的变量称基本变量,其他变量称自由变量。 6. 向量的平行四边形法则 若R 2 中的向量u,v用平面上的点表示,则u+v对应于u,v,0为三个顶点的平行四边形的第四个顶点。 [思考:即使u,v不是R 2 而是R 3 甚至R n 中的向量,上述结论是否仍然成立?] 7. 向量方程 x 1 a 1 +x 2 a 2 +...+x n a n=b 和增广矩阵如下的线性方程组 [a 1 a 2 ... a n b] 和矩阵方程 Ax=b 有相同的解集。 8. 方程Ax=b有解的条件:b是A的各列的线性组合。 9. 设A为mxn矩阵,以下命题等价: a) 对R m 中每个b,Ax=b有解 b) R m 中的每个b都是A的列的一个线性组合

线性代数笔记4

放肆的年华 提交于 2019-12-21 10:17:34
The Span of the set of vectors Definition 1 Let \(\mathcal { S } = \left\{ \mathbf { u } _ { 1 } , \mathbf { u } _ { 2 } , \dots , \mathbf { u } _ { k } \right\}\) is a set of vectors from \(\mathcal{R^n}\) , the span of \(\mathcal{S}\) is all linear combinations in \(\mathcal{R^n}\) , the set is denoted by span \(\mathcal{S}\) , or span \(\left\{ \mathbf { u } _ { 1 } , \mathbf { u } _ { 2 } , \dots , \mathbf { u } _ { k } \right\}\) \(\vec v \in \text{span } \mathcal{S} \Longleftrightarrow \vec v \text{ can be some linear combination by the vectors from $\mathcal{S}$} \Longleftrightarrow