矩阵加法

线性代数学习笔记 矩阵（Matrix） 矩阵简介及矩阵加速 简介 在数学中，矩阵是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的方阵——百度百科 通俗的来讲，把集合里的一些数填入到一个矩形中即得到一个矩阵 定义 由$m\times n$个数$a_{i,j}$排成的数表称为$m$行$n$列的矩阵简称$m\times n$矩阵。 $$ A=\begin{bmatrix}a_{1,1}&a_{1,2}&...&a_{1,n}\a_{2,1}&a_{2,2}&...&a_{2,n}\...&...&...&...\a_{m,1}&a_{m,2}&...&a_{m,n}\end{bmatrix} $$ 这$n\times m$个数称为矩阵$A$的元素，简称为元。。。（ 剩下的都是百度百科的废话 有$m$行$n$列的矩阵也记作$A_{mn}$ 特别的，两个$n,m$都相同的矩阵称为同型矩阵 $n=m$的矩阵称为$n$阶矩阵或者$n$阶方阵 基本运算 加法 $$ \begin{bmatrix}a_{1,1}&...&a_{1,n}\...&...&...\a_{m,1}&...&a_{m,n}\end{bmatrix}+\begin{bmatrix}b_{1,1}&...&b_{1,n}\...&...&...\b_{m,1}&...&b_{m,n}\end

Essense Of Linear Algebra 让你完全理解线性代数。 线性空间中，当你选定一组基之后，不仅可以用一个向量来描述空间中的任何一个对象，而且可以用矩阵来描述该空间中的任何一个运动（变换），从而得出 矩阵 是线性空间里的变换 的描述 。而使某个对象发生对应运动（变换）的方法，就是用代表那个运动（变换）的矩阵，乘以代表那个对象的向量。转换为数学语言： 是 矩阵， 是向量， 相当于将 作线性变换从而 得到 ，从而使得 矩阵 （由n个向量组成）在对象或者说向量 上的变换 就由简单的实数 来刻画，由此称 为矩阵 A的特征值，而 称为 对应的特征向 量。 总结来说，特征值和特征向量的出现实际上将 复杂的矩阵由实数和低维的向量来形象的描述 （代表），实现了 降维 的目的。在几何空间上还可以这样理解：矩阵A是向量的集合，而 则是向量的方向， 可以理解为矩阵A在 方向上作投影，而矩阵又是线性空间变换的描述，所以变换后方向保持不变，仅是各个方向投影后有个缩放比例 。 线性代数的本质 是用静态的坐标（一维（线），二维（面），三维（体）），描述事物的运动。这是其实质。 矩阵 ：矩阵就是建立不同的维度，不同的基坐标系。这样你应该理解矩阵的运算法则。加法，乘法。矩阵的阶代表不同的维度，二阶是平面，三阶是体也就是三维，4阶就是超立方体，依次类推。 你可能不理解多维度空间。简单点说：点，线，面

均值： 描述的是样本集合的中间点。 方差： 描述的是样本集合的各个样本点到均值的距离之平均，一般是用来描述一维数据的。 协方差： 是一种用来度量两个随机变量关系的统计量。 只能处理二维问题。 计算协方差需要计算均值。 如下式： 方差与协方差的关系 方差是用来度量单个变量 “ 自身变异”大小的总体参数，方差越大表明该变量的变异越大 协方差是用来度量两个变量之间 “协同变异”大小的总体参数，即二个变量相互影响大小的参数，协方差的绝对值越大，则二个变量相互影响越大。 协方差矩阵： 协方差矩阵能处理多维问题； 协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。 样本矩阵中若每行是一个样本，则每列为一个维度，所以计算协方差时要 按列计算均值 。 如果数据是3维，那么协方差矩阵是： 特征值与 特征向量 线性变化： 线性变换 (线性映射)是在作用于 两个向量空间之间的函数 ，它保持 向量加法和标量乘法 的运算，从一个向量空间变化到另一个向量空间。 实际上线性变换表现出来的就是一个矩阵 。 特征值和特征向量 是一体的概念： 对于一个给定的线性变换（矩阵A），它的特征向量 ξ 经过这个线性变换之后，得到的新向量仍然与原来的 ξ 保持在同一條直線上，但其长度也许會改变。一个特征向量的长度在该线性变换下缩放的比例(λ)称为其特征值

im2col：将卷积运算转为矩阵相乘 发表于 2019-04-26 更新于 2019-05-15 分类于 深度学习 阅读次数： 28 本文字数： 2.9k 博客： blog.shinelee.me | 博客园 | CSDN im2col实现 如何将卷积运算转为矩阵相乘？直接看下面这张图，以下图片来自论文 High Performance Convolutional Neural Networks for Document Processing ： im2col 上图为3D卷积的传统计算方式与矩阵乘法计算方式的对比，传统卷积运算是将卷积核以滑动窗口的方式在输入图上滑动，当前窗口内对应元素相乘然后求和得到结果，一个窗口一个结果。 相乘然后求和恰好也是向量内积的计算方式 ，所以可以 将每个窗口内的元素拉成向量，通过向量内积进行运算 ，多个窗口的向量放在一起就成了矩阵，每个卷积核也拉成向量，多个卷积核的向量排在一起也成了矩阵，于是，卷积运算转化成了矩阵运算 >>> ： 现在是卷积 -> 矩阵乘法？能否尝试各种矩阵乘法，反推卷积形式？ deformable conv 对应的是什么矩阵乘法？ 下图为转化后的矩阵尺寸，padding为0： EmzaRO.png 代码上怎么实现呢？这里参看一下 SeetaFaceEngine/FaceIdentification/src/conv_net.cpp