增广矩阵

1.矩阵基本知识 （1）正交矩阵相乘仍然是正交矩阵 A、B是正交矩阵,那么AA'=E BB'=E (AB)*(AB)'=AB*B'A'=A(BB')A'=AEA'=AA'=E （2）一个矩阵乘以正交矩阵，范数不变 ||Ux||^2=(Ux)^T(Ux)=x^TU^TUx=x^Tx=||x||^2 （3）一个矩阵乘以可逆矩阵秩不变 （4）初等变换只是不影响矩阵的秩，其他的特性都改变了。对于计算矩阵的行列式，不能进行初等变换，但是可以做行列的进 加减，不能乘以系数。 （5）矩阵的迹：矩阵的主对角线上各个元素的总和，是矩阵所有特征值的和 （6）对角矩阵的特征值是其对角线上的各个元素 （7）矩阵的秩等于非零奇异值的个数，等于非零特征值的个数 （8）任意矩阵都能进行奇异值分解，只有方阵才可以进行特征值分解 特征值分解： 如果一个向量 v 是方阵 A的特征向量，将可以表示成下面的形式： Av= λv，λ 称为特征向量 v 对应的特征值，并且一个矩 阵的 一组特征向量是一组正交向量。 特征值分解：Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值 奇异值分解： 假设A是一个N * M的矩阵，U是一个N * N的方阵（正交矩阵），Σ 是一个N * M的矩阵（对角线上的元素为奇异值），VT是 一个M * M的矩阵（正交矩阵） 特征值和奇异值的关系： （1）U

文章目录 任务详解： 矩阵的秩Rank of matrix 定义3 定义4 定理2（判断两个矩阵的秩的关系） 秩的性质 线性方程组的解 定理3 本课程来自 深度之眼 ，部分截图来自课程视频。 【第一章 线性代数】1.5矩阵的秩 在线LaTeX公式编辑器 任务详解： 1、掌握矩阵的秩是如何计算的，以及秩和初等变换的关系，以及秩的性质 2、掌握线性方程组的情况 矩阵的秩Rank of matrix 定义3 在m×n矩阵A中，任取k行与k列（k≤m，k≤n），位于这些行列交叉处的 k 2 k^2 k 2 个元素，不改变它们在A中所处的位置次序而得的k阶行列式，称为矩阵A的 k阶子式. m×n矩阵A的k阶子式共有 C m k ⋅ C n k C_m^k\cdot C_n^k C m k ​ ⋅ C n k ​ 个. 定义4 设在矩阵A中有一个不等于0的r阶子式D，且所有r+1阶子式（如果存在的话）全等于0，那么D称为矩阵A的最高阶非零子式，数r称为矩阵A的秩，记作R(A).并规定零矩阵的秩等于0。 显然，若A为m×n矩阵，则0≤R(A).≤min{m,n}. 由于行列式与其转置行列式相等，因此 A T A^T A T 的子式与A的子式对应相等，从而 R ( A T ) = R ( A ) R(A^T)=R(A) R ( A T ) = R ( A ) 对于n阶矩阵A

AE 自编码器 代码：自编码器keras教程 是半监督的，自编码器是只有一层隐层节点，输入和输出具有相同节点数的神经网络 自动编码器输入的是X，我们的AE网络结构是X->H->X‘，我们的目的是让X’尽可能的等于X（X‘与X有相同维度），这样训练出来的H就可以用来表示或重构X。 用于压缩数据，但是没有泛化能力，因此不能作为生成模型 自动编码器与PCA的比较 自动编码器既能表征线性变换，也能表征非线性变换 ；而 PCA 只能执行线性变换 。 PCA可以直接得到最优的解析解，而AutoEncoders只能通过反向传播得到局部最优的数值解 。因为自动编码器的网络表征形式，所以可将其作为层用于构建深度学习网络。设置合适的维度和稀疏约束，自编码器可以学习到比PCA等技术更有意思的数据投影。 PCA PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征

一、矩阵乘法 　 矩阵乘法有下面的理解： 　 两个矩阵相乘=第三个矩阵，即$A*B=C$，我们可以理解为矩阵$A$与矩阵$B$的每一列相乘（$A$的各列的线性组合=$C$中的某一列），得到矩阵$C$的每一列 　 也可以这么理解，矩阵$C$中的每个元素$c_{ij}$来自矩阵$A$的第i行和矩阵$B$的第j列点乘： 　第三种理解：以行为单位，$A$中某一行与矩阵$B$整体相乘（即矩阵$B$各行的线性组合结果）= 矩阵$C$中某一行 　 第四种就是列×行，即$A$中各列×$B$中各行： 　 当然也可以将矩阵$A$和$B$进行分块相乘： 二、逆矩阵 　 这里讨论方阵，先说不可逆的情况（这里先举个例子，下面的示例矩阵不可逆）： $\left|\begin{array}{lll}{1} & {3} \\ {2} & {6}\end{array}\right|$ 　 解释：如果某个矩阵的列向量的线性组合可以得到0向量，那么该矩阵不可逆 　 OK，我们知道了某矩阵存在可逆矩阵，那么如何求出来逆矩阵呢？如 $\left[\begin{array}{ll}{1} & {3} \\ {2} & {7}\end{array}\right]$ 　我们将逆矩阵用未知变量填充： 　根据之前所将，矩阵乘法可以理解为矩阵$A$与逆矩阵$A^{-1}$的第一列相乘得到$I$的第一列，矩阵$A$与逆矩阵$A^{-1}

首先谈到矩阵，那么就会想到线性代数，但我太蒟蒻了，所以并不想谈那么深，所以就只说说其中一部分； 首先说 初等行变换 ： 　　1.用一个 非0 的数乘某一行 　　2.把其中一行的若干倍加到 另一 行上； 　　3.交换两行的位置; 当然，初等列变换的定义与初等行变换的定义类似，这里便不多说了； 接着说 高斯消元： 　　 一个矩阵通过初等变换后所能得到的矩阵叫做增广矩阵。 　　我们把阶梯型增广矩阵变换为简化形阶梯矩阵的过程就是高斯消元； 　　基本思想：对于一个未知量xi，找到一个xi的系数非0，但x1~xi-1的系数都是零的方程，然后用初等行变换把其他方程的xi的系数全部消成0； 　　在高斯消元完成后，若存在系数都是0，但常数不是0的情况，方程无解； 　　🐖元(主元)：系数不全为0的行的个数就是主元的个数； 　　自由元：系数全为0，常数也是0的个数就是自由元的个数； 　　通常情况下：一道题并不会直接给出n个n元一次方程组。如果给了n+1个二元方程组，那么我们可以通过相邻两个方程做差，把它变成 n个n元一次方程组 ，然后进行高斯消元求解； 　　 #include <bits/stdc++.h> #define eps 1e-8 using namespace std; double a[101][102]; int n; bool GUASS() { for(int i=1;i<=n;i+

受《理解线性代数》启发，结合自身学习的经验，直观的总结我对线性代数的理解。强调直观是因为在这里不纠缠于数学的严谨性，所以如果追求数学严谨性和证明的还是去看教材比较好。 统计的目标是对数表内各种数据进行挖掘从而找出隐含其中的关系，线性代数为统计提供了对数表的表达方式和对数表进行处理的工具。 在初等数学中我们学过函数，用来表示的数据之间一种确定的关系，给定x一定能算出唯一的y。但现实中我们遇到的数据可就没有那么明确的联系了，我们不知道谁和谁有联系，甚至不知道是不是存在联系。因此我们急需一种框架来帮助我们处理这些”不好看”的数据。统计就是为了处理数据而生的，它的目标即挖掘出数据之间的联系，从而抽象出数学模型来做解释或预测。 先来扯句题外话，我们知道数学的本质是抽象。那究竟什么是抽象？抽象就是从不同个体中找相同，这些相同也就是规律和关系。初等数学中学到的函数关系就是一种规律，无论x到底是什么值，它和y之间都存在这样的规律。这也是为什么说数学模型都是错的，但却是有用的原因。抽象忽略了个体差异，只留相同点，利用相同点我们能处理满足此相同点的任何差异个体。 言归正传。回忆下中学解析几何或者大学微积分时我们是如何处理数据的: 我们会把函数f(x)映射到欧几里得空间内笛卡尔坐标系做visualization。在代数上对函数的操作等价于对欧几里得空间中相应函数图像做操作。函数是确定的关系

大家细细品味之前几回的内容就会发现, 其中的例子中真正起作用的是变量\(x_i\)前的系数, 而和符号\(x_i\)并没有太大的关系. 于是, 为了简(偷)化(懒), 矩阵应运而生. 对于线性方程组 \[ \left\{ \begin{split} &a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n = b_1\\ &a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n = b_2\\ &\qquad\qquad\qquad\cdots \\ &a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n = b_m \end{split} \right.. \] 我们把它的系数按行列排成几排, 用花括号括起来, 记成 \[ A=\begin{pmatrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \cdots&\cdots&\cdots&\cdots \\ a_{m1}&a_{m2}&\cdots&a_{mn} \end{pmatrix}. \] 把\(A\)叫做矩阵. 对于\(A\)交换某两行(列)称为第一类初等变换, 在某一行(列)乘以一个非零数称为第二类初等变换, 将某一行(列)乘以一个数加到另外一行(列)称为第三类初等变换.

题目：压缩感知中的数学知识：投影矩阵（projection matrix） ========================背景======================== 关注于投影矩阵主要是看以下两个文献注意到的： 【1】杨海蓉，张成，丁大为，韦穗. 压缩传感理论与重构算法[J]. 电子学报，2011，39(1)：142-148. 【2】Rachel Zhang. “压缩感知”之“Helloworld”[EB/OL] .http://blog.csdn.net/abcjennifer/article/details/7775284 . 文献1写的还是很不错的，综述了很多压缩感知重构算法，且都是以表格的形式给出，总结的很好，以后写论文也要向这个方向挺近，但是这篇论文需要有一定基础的人才能才明白，因为我感觉总是突然冒出一个符号来（比如第1步的Λ0代表什么没说，Λ0等于的那个符号后来才知道是空矩阵的意思，当然这并不影响这篇论文的价值，推荐！），当然这可能是由于我的数学功底太差。下面是OMP重构算法： 要完全看懂文献1需要反复去读，要随着对压缩感知的理解越来越深反复去看，慢慢地才能消化的，看论文时也没懂什么，只是感觉写的不错，后来看文献2时发现代码里的重构算法是OMP，为了读懂代码于是又回来看文献1，前面三步都能明白，但第四步无论如何也理解不了：“张成空间”？正交投影？呃