空间向量

这部分我们通过选择更好的基底来产生更好的矩阵。当我们的目标是对角化矩阵时，一个选择可以是一组特征向量基底，另外一个选择可以是两组基底，输入基底和输出基底是不一样的。这些左右奇异向量是矩阵四个基本子空间中标准正交的基向量，它们来自于 SVD。 事实上，所有对 \(A\) 的分解都可以看作是一个基的改变。在这里，我们只关注两个突出的例子，有一组基的 \(\Lambda\) 和有两组基的 \(\Sigma\) 。 \(S^{-1} AS=\Lambda\) 如果输入和输出基都是 \(A\) 的特征值。 \(U^{-1} AV=\Sigma\) 如果这些基分别是 \(A^TA\) 和 \(AA^T\) 的特征值。 只有当 \(A\) 是方阵并且有 \(n\) 个不相关的特征向量时，我们才能将其对角化成 \(\Lambda\) 。而通过 SVD，任意矩阵都可以对角化成 \(\Sigma\) 。如果一个矩阵是对称的、反对称的或者正交的，那么有 \(A^TA=AA^T\) ，在这种情况下，奇异值是特征值的绝对值，上面的两个对角化形式除了一个 \(-1\) 或者 \(e^{i\theta}\) 的因子外是相同的。 另外，注意 Gram-Schmidt 分解 \(A=QR\) 只选择了一个新的基底，也就是通过 \(Q\) 给出的输出正交基，而输入基底则是标准基由 \(I\) 给出

一、线性相关性 　 给定一些向量，那么如何判断他们是否是线性相关？（也就是存在非全0系数，使得系数与向量相乘加和结果为0向量） 　 如果我们可以找到一些系数，使得这些系数乘以相应的向量，然后加和结果可以得到零向量，则这些向量就是线性相关的， 但这些系数不能全是0 　对于矩阵中的列向量而言： 　　 对于矩阵$A$中的列向量$v_1,v_2,v_3,...,v_n$，如果它们是无关的，$A$的零空间中只有零向量，此时$A$的秩=n，不存在自由变量 　　反之，对于$AC = 0$，零空间中存在非零向量c，$A$的秩<n，存在自由变量 二、向量组生成一个空间 　 其实之前矩阵的列空间已经讲过，矩阵的各个列向量的线性组合组成列空间，所以我们可以说 矩阵的（各列）列向量生成列空间 　 对于向量$v_1, v_2, ... , v_l$生成一个空间指：这个空间包含$v_1, v_2, ... ,v_l$的 所有线性组合 来源： https://www.cnblogs.com/always-fight/p/11457570.html

深度卷积生成式对抗网络，2019-03-26 目录 一、预备知识 （一）卷积神经网络 1. 层级结构 2. 训练算法 3. 优缺点 （二）GAN 二、模型结构 （一）模型总体思想 （二）对CNN的改进 1. 全卷积网络 2. 消除完全连接层 3. 批规范化 （二）DCGAN框架结构 三、实验 （一）实验数据集 （二）实验细节 1. 预处理 2. 参数设置 3. 正式实验 （1） 在数据集LSUN上进行实验 （2）在人脸数据集上进行实验 （3）在数据集Imagenet-1K上进行实验 四、对DCGAN能力的实验验证 （一）使用GANs作为特征提取器对CIFAR-10进行分类 （二）使用GANs作为特征提取器对SVHN数字进行分类 五、研究和可视化网络的内部结构 （一）潜在空间 （二）可视化判别器特性 （三）操作生成器的表示 1. 忘记绘制某些对象 2. 人脸样本向量算法 六、总结和展望 论文链接：https://arxiv.org/abs/1511.06434 目录 一、预备知识 （一）卷积神经网络 参考博文： https://www.cnblogs.com/skyfsm/p/6790245.html 1. 层级结构 数据输入层/Input Layer：主要是数据预处理（去均值、归一化、 PCA / 白化 等）； 卷积计算层/CONV Layer：局部关联、窗口滑动（特征提取）；

用深度卷积生成对抗网络进行无监督表示学习 摘要 近年来，监督学习的卷积网络（ CNN ）在计算机视觉应用中有着广泛的应用。相比之下，无监督的卷积网络 CNN 学习受到的关注较少。在这项工作中，我们希望可以帮助缩小有监督学习的 CNN 和无监督学习的 CNN 成功之间的差距。我们介绍了一类 CNN 叫做深度卷积生成对抗网络（ DCCNG ），它具有一定的架构约束，表明它们是非监督学习的有力候选。对各种图像数据集进行训练，我们展示出令人信服的证据，证明我们的深层卷积对抗从对象部分到发生器和判别器中的场景学习了层次结构的表示。此外，我们使用学习的功能进行新颖的任务 - 证明适用于一般图像的表示 1. 前言 从来自大型的未标记的数据集学习可重用的特征表示一直是一个热门的研究领域。在计算机视觉的背景下，可以利用实际上无限量的未标记的图像和视频来学习良好的中间表示，然后可以将它用在各种监督学习任务上，如图像分类。 我们提出了一种建立好的图像表示的方法是通过训练生成对抗网络（ GAN ）（ Goodfellow 等人， 2014 ），并随后重用发生器和判别器网络的部分作为用于监督任务的特征提取器。 GAN 为最大似然技术提供了一个有吸引力的替代方法。另外还可以争辩说，他们的学习过程和缺少启发式的代价函数（比如像素方式的独立均方差）对于表示学习来说是存在吸引力的。我们知道 GAN

版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/liuxiao214/article/details/73500737 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-3019150162.css"> <div id="content_views" class="markdown_views prism-atom-one-dark"> <!-- flowchart 箭头图标 勿删 --> <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p>论文原文：<a href="https://arxiv.org/pdf/1511.06434.pdf" rel="nofollow" data-token=

前言 ​ 本资料整理了高光谱遥感图像概念定义、分析处理与分类识别的基本知识。第一部分介绍高光谱图像的一般性原理和知识，第二部分介绍了高光谱图像的噪声问题；第三部分介绍高光谱图像数据冗余问题以及数据降维解决冗余的方法；第四部分介绍高光谱图像的混合像元问题，对光谱解混做了一定介绍；第五部分和第六部分分别介绍了高光谱图像的监督分类和分监督分类的特点、流程和常用算法。 1.基本介绍 高光谱遥感(Hyperspectral remote sensing) 是将成像技术和光谱技术相结合的多维信息获取技术,同时探测目标的二维集合空间与一维光谱信息,获取高光谱分辨率的连续、窄波段图像数据。 高光谱图像与高分辨率图像、多光谱图像不同。 高光谱识别优势： 光谱分辨率高、波段众多，能够获取地物几乎连续的光谱特征曲线，并可以根据需要选择或提取特定波段来突出目标特征； 同一空间分辨率下，光谱覆盖范围更宽，能够探测到地物更多对电磁波的响应特征； 波段多，为波段之间的相互校正提供了便利； 定量化的连续光谱曲线数据为地物光谱机理模型引入图像分类提供了条件； 包含丰富的辐射、空间和光谱信息，是多种信息的综合载体。 高光谱在识别方面的困难： 数据量大，图像包含几十个到上百个波段，数据量是单波段遥感图像的几百倍；数据存在大量冗余，处理不当，反而会影响分类精度；

一、置换矩阵 　 一个矩阵的行或者列交换，可以借助另外一个矩阵相乘来实现 　 首先是行交换： $\underbrace{\left[\begin{array}{ccc}{1} & {1} & {1} \\ {2} & {2} & {2} \\ {3} & {3} & {3}\end{array}\right]}_{A} \stackrel{S_{12}}{\rightarrow} \underbrace{\left[\begin{array}{ccc}{2} & {2} & {2} \\ {1} & {1} & {1} \\ {3} & {3} & {3}\end{array}\right]}_{A_{2}}$ 也就是矩阵的第一行和第二行进行了互换 　　 对于$A_2$的第一行，相当于从$A$中拿出了0个第一行，1个第二行，0个第三行进行加和 　　对于$A_2$的第二行，相当于从$A$中拿出了1个第一行，0个第二行，0个第三行进行加和 　　对于$A_2$的第三行，相当于从$A$中拿出了0个第一行，0个第二行，1个第三行进行加和 　　 之前我们讲过 ，行向量乘以一个矩阵，结果等于矩阵的每行的线性组合 　　上面的 $P_{12}$ 称为行置换矩阵。可以看出置换矩阵是行重新排列了的单位矩阵，它的一个特性是：$\mathrm{P}^{-1}=\mathrm{P}^{\mathrm{T}}$

转载： https://www.cnblogs.com/bigmonkey/p/9897047.html 一维空间的投影矩阵 　　先来看一维空间内向量的投影： 　　向量p是b在a上的投影，也称为b在a上的分量，可以用b乘以a方向的单位向量来计算，现在，我们打算尝试用更“贴近”线性代数的方式表达。 　　因为p趴在a上，所以p实际上是a的一个子空间，可以将它看作a放缩x倍，因此向量p可以用p = xa来表示，只要找出x就可以了。因为a⊥e，所以二者的点积为0： 　　我们希望化简这个式子从而得出x： 　　x是一个实数，进一步得到x： 　　a T b和a T a都是点积运算，最后将得到一个标量数字。这里需要抑制住消去a T 的冲动，向量是不能简单消去的，a和b都是2×1矩阵，矩阵的运算不满足乘法交换律，a T 无法先和1/a T 计算。 　　现在可以写出向量p的表达式，这里的x是个标量： 　　这就是b在a上的投影了，它表明，当b放缩时，p也放缩相同的倍数；a放缩时，p保持不变。 　　由于向量点积a T a是一个数字，p可以进一步写成： 　　在一维空间中，分子是一个2×2矩阵，这说明向量b的在a上的投影p是一个矩阵作用在b上得到的，这个矩阵就叫做投影矩阵（Projection Matrix），用大写的P表达： 　　推广到n维空间，a是n维向量，投影矩阵就是n×n的方阵。观察投影矩阵会法发现

/*--> */ /*--> */ 写在前面 这段时间有点闲，不是因为事不多，主要也是不想干，所以看了看膜拜已久的相对论的知识，特此记录，文中涉及到的公式大多是从别的网站找到的，链接我也会在文章底部留下，感觉国内网站上简单分析相对论的并不多，或者是晦涩难懂的长篇大论，或者上升到了玄学的高度，这也是我写这篇文章的目的，这篇文章适合大多数理工科非物理专业（学过高数和线代），想要知道相对论的推导细节的人。其他人也可以看跳过公式即可。 按理说不应该将此文章放到博客园中，但是博客园对页面定制做的比较好，所以比较适合写各种文章。 一、基本概念 1.正交变换 在线性代数中，正交变换是线性变换的一种。对一个由空间 投射到同一空间 的线性转换，如果转换后的向量长度与转换前的长度相同，则为正交变换。两个向量经过正交变换后内积仍然不变 $$\begin{pmatrix}x_1'\\\\ x_2'\end{pmatrix}= \begin{pmatrix} a_{11}&a_{12} \\\\ a_{21}&a_{22} \end{pmatrix} \begin{pmatrix} x_1\\\\x_2 \end{pmatrix} $$ 就是一个变换，其中的一种正交变换为： $$\begin{pmatrix} a_{11}&a_{12} \\\\ a_{21}&a_{22} \end{pmatrix}=

LSH(Location Sensitive Hash),即位置敏感哈希函数。与一般哈希函数不同的是位置敏感性，也就是散列前的相似点经过哈希之后，也能够在一定程度上相似，并且具有一定的概率保证。 作者注：LSH算法分两种：SimHash和MinHash。 simhash的原理是减少搜索空间，用汉明距离替代余弦距离 minHash的原理是降维。通过hash映射函数，将特征元素的个数降下来。 形式化定义： 对于任意q,p属于S，若从集合S到U的函数族H={h1,h2...hn}对距离函数D(,)，如欧式距离、曼哈顿距离等等，满足条件： 则称D(,)是位置敏感的。 如下图，空间上的点经位置敏感哈希函数散列之后，对于q，其rNN有可能散列到同一个桶（如第一个桶）,即散列到第一个桶的概率较大，会大于某一个概率阈值p1;而其(1+emxilong)rNN之外的对象则不太可能散列到第一个桶，即散列到第一个桶的概率很小，会小于某个阈值p2. LSH的作用 ◆高维下近似查询 相似性检索在各种领域特别是在视频、音频、图像、文本等含有丰富特征信息领域中的应用变得越来越重要。丰富的特征信息一般用高维向量表示，由此相似性检索一般通过K近邻或近似近邻查询来实现。一个理想的相似性检索一般需要满足以下四个条件： 1. 高准确性。即返回的结果和线性查找的结果接近。 2. 空间复杂度低。即占用内存空间少。理想状态下