正交变换

这个结构是10年Quoc V.Le等人提出的，这里的tiled，按照 Lecun的解释是Locally-connect non shared.即是局部连接，而且不是共享的，这是针对于权重来说的。本文翻译如有错误，还望指正，谢谢！！这篇论文是10年的，相比较来说四年的东西，比较旧了，可是这个tcnn在ng的ufldl最后也有提及（只有目录部分，ng没写完），而且也算是个cnn的变化，不过看效果没有获得the state of art。因为在cifar-10数据集上当前的效果都达到了91%，而且NIN结构也很不错（还没看）。 Tiled convolutional neural networks 摘要 ：卷积神经网络（cnn）已经成功的应用于许多的任务上，比如数字或者对象识别。使用卷积（tied）权重显然可以大幅度的减少所需要学习的参数的数量，并且可以使得在这个结构中能够硬编码（估计就是结构自身所特有的属性的意思吧）平移不变性。在本文中，我们考虑学习不变性的问题，而不是只依赖于硬编码。我们提出了tiled卷积神经网络，它通过使用一个tied权重的规则‘tiled’模式（个人理解就是在卷积上加个tiled规则），即不需要毗邻的隐藏单元共享同样的权重，而是隐藏单元之间距离k步远的单元有tied权重。通过在邻居单元上进行池化，这个结果能够去学习复杂的不变性（例如缩放和旋转不变性

向量内积 这个基本上是中学当中数学课本上的概念，两个向量的 内积 非常简单，我们直接看公式回顾一下： \[X \cdot Y = \sum_{i=1}^n x_i*y_i\] 这里X和Y都是n维的向量，两个向量能够计算内积的前提是两个向量的维度一样。从上面公式可以看出来，两个向量的内积就等于两个向量对应各个维度的分量的乘积的和。 为了和矩阵乘法以及普通的乘法做区分，我们通常把两个向量的内积写成： \([x, y]=x^Ty\) 。 这里有一个很重要的性质，对于一个向量而言，我们可以用欧几里得公式计算它的长度。进一步，我们可以用向量的长度以及向量之间的夹角来表示向量的内积，如下： \[[x, y]=|x|\cdot |y|\cos\theta\] 其中的 \(\theta\) 是x和y向量之间的夹角，对于三维及以下空间内的向量，这一点非常直观。对于高维度的向量，我们很难想象它的物理意义。不过没有关系，我们一样可以认为向量之间存在一个 广义超空间 内的一个夹角。在机器学习领域，我们通常用这个夹角来反应 向量之间的相似度 。两个向量越相似，那么它们之间的夹角应该越小，对应的cos余弦值应该越大。所以我们可以用两个向量之间的余弦值来反应它们之间的相似度。余弦值的计算就源于此。 正交向量 从上面的公式可以看出来，向量的内积等于两个向量长度乘上向量之间的夹角。对于非零向量而言

首先申明下，本文为笔者学习《OpenGL ES应用开发实践指南（Android卷）》的笔记，涉及的代码均出自原书，如有需要，请到原书指定 源码地址 下载。 《 Android学习笔记——OpenGL ES的基本用法、绘制流程与着色器编译 》中实现了OpenGL ES的Android版HelloWorld，并且阐明了OpenGL ES的绘制流程，以及编译着色器的流程及注意事项。本文将从现实世界中图形显示的角度，说明OpenGL ES如何使得图像在移动设备上显示的更加真实。首先，物体有各种颜色的变化，在OpenGL ES中为了生成比较真实的图像，对图像进行平滑着色是一种常见的操作。其次，移动设备存在横竖屏的切换，进行图像显示时，需要根据屏幕方向考虑屏幕的宽高比，使图像不因屏幕切换而变形。最后，现实中的物体都是三维的，我们观察物体都带有一定的视角，因此需要在OpenGL ES实现三维图像的显示。本文主要包括以下内容： 平滑着色 自适应宽高 三维图像生成 一、平滑着色 平滑着色是通过在三角形的每个点上定义不同的颜色，在三角形的表面混合这些颜色得到的。那么，如何用三角形构成实际物体的表面呢？如何混合定义在顶点出的不同颜色呢？ 首先引入三角形扇的概念。以一个中心顶点作为起始，使用相邻的两个顶点创建第一个三角形，接下来的每个顶点都会创建一个三角形，围绕起始的中心点按扇形展开。为了使扇形闭合

投影矩阵推导(翻译) 原网址： http://www.codeguru.com/cpp/misc/misc/graphics/article.php/c10123/Deriving-Projection-Matrices.htm 3D矩阵变换中，投影矩阵是最复杂的。位移和缩放变换一目了然，旋转变换只要基本的三角函数就能想象出来，投影矩阵则很难凭借直觉想象出来。 总述：什么是投影 计算机显示屏是二维平面，所以如果你想显示三维物体，需要找到把三维物体渲染成二维图像的方法。这正是投影要做的。最简单的做法：直接丢掉三维物体各顶点的Z坐标。对于一个立方体，看起来像图1： 图1 通过丢掉Z坐标方法投影到XY平面 这种投影简单且不实用。所以，一开始就不应该投影到“面”（plane）上，而应该投影到一个“体”（volume）内，即所谓的“规范视域体”（canonical view volume）。规范视域体的顶点坐标在不同的API（DirectX/OpenGL）中有所不同。这里就用D3D的标准，从 （-1,-1,0）到（1,1,1）。当所有的顶点映射到规范视域体中后，XY坐标用来再映射到屏幕上。Z坐标看起来无用，不过通常用来表示深度信息。这也是为什么会投影到一个“体”，而不是“面”的原因。 下面将讲述两种常见变换：正交变换、透视变换。 正交变换 “正交”的由来是投影线与显示平面垂直

 说道线性代数, 我们自然就想到矩阵, 那我们该如何理解矩阵呢? 矩阵与线性变换 若一个变换 \(L\) 满足以下两条性质 \[ \begin{align*} L(\vec v+ \vec w) &= L(\vec v) + L(\vec w) &(1) \text{"可加性"} \\ L(c\vec v) &= c L(\vec v) \quad\quad\ &(2) \text{"成比例"} \end{align*} \] 则称 \(L\) 是线性的. 值得注意的一点时, 线性变换中, 坐标系的原点不动, 即零向量的变换结果还是零向量. 我们来看看矩阵与线性变换的关系 \[ A(v+w) = Av + Aw \Leftrightarrow L(\vec v+ \vec w) = L(\vec v) + L(\vec w)\\ A(cv) = c(Av) \Leftrightarrow L(c\vec v) = c L(\vec v) \] 可以看出矩阵完全满足线性变换的要求, 所以现在你应该将矩阵看做线性变换, 这会给我们理解很多线性问题带来很大的好处. \(\bigstar\) 如果想知道线性变换对于一个输入向量空间有什么影响, 我们只需要知道该线性变换对该输入空间的基有什么影响, 我们就能知道所有信息. 假设 n 维输入空间 \(R^n\) 的基为 \(v1, v_2,

题目：压缩感知的常见稀疏基名称及离散傅里叶变换基 一、首先看九篇文献中有关稀疏基的描述： [1]喻玲娟，谢晓春.压缩感知介绍[J]. 电视技术，2008，32(12)：16-18. 常用的稀疏基有： 正(余)弦基 、 小波基 、 chirplet基 以及 curvelet基 等 [2]李树涛，魏丹.压缩传感综述[J]. 自动化学报，2009，35(11)：1369-1377. 信号的稀疏表示就是将信号投影到正交变换基时，绝大部分变换系数的绝对值很小，所得到的变换向量是稀疏或者近似稀疏的，可以将其看作原始信号的一种简洁表达，这是压缩传感的先验条件，即信号必须在某种变换下可以稀疏表示，通常变换基可以根据信号本身的特点灵活选取，常用的有 离散余弦变换基 、 快速傅里叶变换基 、 离散小波变换基 、 Curvelet基 、 Gabor基 以及 冗余字典 等。 [3]杨海蓉，张成，丁大为，韦穗. 压缩传感理论与重构算法[J]. 电子学报，2011，39(1)：142-148. CS理论的三个组成要素是信号的稀疏变换（目前的稀疏变换有 离散余弦变换(DCT) 、 小波(wavelet) 、 curvelet 、 过完备原子分解 (overcomplete atomdecomposition)等） [4]王强，李佳，沈毅.压缩感知中确定性测量矩阵构造算法综述[J]. 电子学报，2013，41

文章目录 正交变换 正交变换的等价命题 证明 ① ⇒ \Rightarrow ⇒ ② ② ⇒ \Rightarrow ⇒ ① ① ⇒ \Rightarrow ⇒ ③ ③ ⇒ \Rightarrow ⇒ ① ③ ⇒ \Rightarrow ⇒ ④ ④ ⇒ \Rightarrow ⇒ ③ 第一类与第二类正交变换 正交变换 欧式空间V中的线性变换 A \mathscr{A} A 若能保持向量的内积不变，则称这样的变换为正交变换，即对 ∀ α , β ∈ V \forall\alpha,\beta\in V ∀ α , β ∈ V ，满足 ( A α , A β ) = ( α , β ) (\mathscr{A\alpha},\mathscr{A\beta})=(\alpha,\beta) ( A α , A β ) = ( α , β ) 正交变换的等价命题 A \mathscr{A} A 是欧式空间V中的线性变换，则以下命题是等价的 ① A \mathscr{A} A 是正交变换 ② A \mathscr{A} A 保持向量长度不变，即 ∣ A α ∣ = ∣ α ∣ |\mathscr{A}\alpha|=|\alpha| ∣ A α ∣ = ∣ α ∣ ③若 ε 1 , . . . , ε n \varepsilon_1,...,\varepsilon_n ε 1 ​ , . .

原帖地址： http://blog.codinglabs.org/articles/pca-tutorial.html PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。 当然我并不打算把文章写成纯数学文章，而是希望用直观和易懂的方式叙述PCA的数学原理，所以整个文章不会引入严格的数学推导。希望读者在看完这篇文章后能更好的明白PCA的工作原理。 数据的向量表示及降维问题 一般情况下，在数据挖掘和机器学习中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一组记录的集合，其中每一天的数据是一条记录，格式如下： (日期, 浏览量, 访客数, 下单数, 成交数, 成交金额) 其中“日期”是一个记录标志而非度量值，而数据挖掘关心的大多是度量值，因此如果我们忽略日期这个字段后，我们得到一组记录，每条记录可以被表示为一个五维向量，其中一条看起来大约是这个样子： 注意这里我用了转置，因为习惯上使用列向量表示一条记录（后面会看到原因），本文后面也会遵循这个准则

题目：压缩感知中的数学知识：投影矩阵（projection matrix） ========================背景======================== 关注于投影矩阵主要是看以下两个文献注意到的： 【1】杨海蓉，张成，丁大为，韦穗. 压缩传感理论与重构算法[J]. 电子学报，2011，39(1)：142-148. 【2】Rachel Zhang. “压缩感知”之“Helloworld”[EB/OL] .http://blog.csdn.net/abcjennifer/article/details/7775284 . 文献1写的还是很不错的，综述了很多压缩感知重构算法，且都是以表格的形式给出，总结的很好，以后写论文也要向这个方向挺近，但是这篇论文需要有一定基础的人才能才明白，因为我感觉总是突然冒出一个符号来（比如第1步的Λ0代表什么没说，Λ0等于的那个符号后来才知道是空矩阵的意思，当然这并不影响这篇论文的价值，推荐！），当然这可能是由于我的数学功底太差。下面是OMP重构算法： 要完全看懂文献1需要反复去读，要随着对压缩感知的理解越来越深反复去看，慢慢地才能消化的，看论文时也没懂什么，只是感觉写的不错，后来看文献2时发现代码里的重构算法是OMP，为了读懂代码于是又回来看文献1，前面三步都能明白，但第四步无论如何也理解不了：“张成空间”？正交投影？呃