稀疏编码

图像的稀疏表征 分割原始图像为若干个 \[\sqrt{n} \times \sqrt{n}\] 的块. 这些图像块就是样本集合中的单个样本 \(y = \mathbb{R}^n\) . 在固定的字典上稀疏分解 \(y\) 后，得到一个稀疏向量. 将所有的样本进行表征一户，可得原始图像的稀疏矩阵. 重建样本 \(y = \mathbb{R}^n\) 时，通过原子集合即字典 \(\mathrm{D} = \{d_i\}^k_{i=1} \in \mathbb{R}^{n \times m} (n < m)\) 中少量元素进行线性组合即可： \[y = \mathrm{D} x\] 其中， \(x = \{x_1, x_2, \cdots, x_m\} \in \mathbb{R}^m\) 是 \(y\) 在 \(\mathrm{D}\) 上的分解系数，也称为稀疏系数. 字典矩阵中的各个列向量被称为原子（Atom）. 当字典矩阵中的行数小于甚至远小于列数时，即 \(m \leqslant n​\) ，字典 \(\mathrm{D}​\) 是冗余的。所谓完备字典是指原子可以张成 \(n​\) 纬欧式空间 \(y = \mathbb{R}^n​\) . 如果在某一样本在一过完备字典上稀疏分解所得的稀疏矩阵含有大量的零元素，那么该样本就可以被稀疏表征，即具有稀疏性。一般用 \(l_0​\)

基于深度学习的SR方法 懒得总结，就从一篇综述中选取了一部分基于深度学习的图像超分辨率方法。 原文：基于深度学习的图像超分辨率复原研究进展 作者：孙旭 李晓光 李嘉锋 卓力 北京工业大学信号与信息处理研究室 来源：中国知网 1.基于前馈深度网络的方法 前馈深度网络是典型的深度学习模型之一。网络中各个神经元从输入层开始，接收前一级输入，并输入到下一级, 直至输出层。整个网络中无反馈, 可用一个有向无环图表示。 在深度学习的SR问题中，前馈深度网络能够较好地学习低分辨率图像到高分辨率图像之间的对应关系。在输入层中，它采用卷积的方法提取输入图像的局部特征模式，单向传递给隐含层, 随着隐含层网络层数的加深而学习得到更深层级的特征；最后，由输出层得到重建图像。典型的前馈深度网络包括多层感知器和卷积神经网络（CNN）。 按前馈深度网络的网络类型可以分为以下几类:基于卷积神经网络的方法 (Super resolution using convolution neural network，SRCNN) ;基于极深网络的方法 (Very deep networks for SR，VDSR) ;基于整合先验的卷积神经网络的方法 (SR-CNN with Prior，SRCNN-Pr) ;基于稀疏编码网络的方法(Sparse coding based network，SCN) 和基于卷积稀疏编码的方法

https://zhuanlan.zhihu.com/p/35465875 学习和预测用户的反馈对于个性化推荐、信息检索和在线广告等领域都有着极其重要的作用。在这些领域，用户的反馈行为包括点击、收藏、购买等。本文以点击率（CTR）预估为例，介绍常用的CTR预估模型，试图找出它们之间的关联和演化规律。 数据特点 在电商领域，CTR预估模型的原始特征数据通常包括多个类别，比如[Weekday=Tuesday, Gender=Male, City=London, CategoryId=16]，这些原始特征通常以独热编码（one-hot encoding）的方式转化为高维稀疏二值向量，多个域（类别）对应的编码向量链接在一起构成最终的特征向量。 高维、稀疏、多Field是输入给CTR预估模型的特征数据的典型特点。以下介绍的模型都假设特征数据满足上述规律，那些只适用于小规模数据量的模型就不介绍了。 Embedding表示 由于即将要介绍的大部分模型都或多或少使用了特征的embedding表示，这里做一个简单的介绍。 Embedding表示也叫做Distributed representation，起源于神经网络语言模型（NNLM）对语料库中的word的一种表示方法。相对于高维稀疏的one-hot编码表示，embedding-based的方法，学习一个低维稠密实数向量（low

无监督学习（unsurpervised learning）是深度学习的基础，也是大数据时代科学家们用来处理数据挖掘的主要工具。个人理解的话就是数据太多，而人们不可能给每个数据样本加标签吧，所以才有了无监督学习。当然用的最多的是用无监督学习算法训练参数，然后用一部分加了标签的数据测试。这种方法叫半监督学习（semi-unsurpervised）。最近看的几个深度学习算法是：稀疏自编码(sparse auto-encoder)、稀疏限制玻尔兹曼机器（sparse RBM）、K-means 聚类和高斯混合模型。根据论文An Analysis of Single-Layer Networks in Unsupervised Feature Learning的实验结果，K-means聚类算法是准确率最高，而且不需要超参数（hyper-parameter）。 稀疏自编码（sparse auto-encoder） 提到自编码，就必须了解BP神经网络。而稀疏自编码是在自编码基础上加入了对隐藏单元活性（activition）的限制：即稀疏性参数ρ，通常是一个接近于0的较小值（比如ρ=0.05）。如果机器学习的基础比较薄弱的话，建议先看Andrew Ng 老师讲授的 《机器学习》 。 BP神经网络，是使用前向传播（forward propagation）、后向传播（backward

特殊矩阵 通用型的特殊矩阵 zeros函数：产生全0矩阵，即零矩阵 ones函数：产生全1矩阵，即幺矩阵 eye函数： 产生对角线为1的矩阵。当矩阵是方阵时，得到一个单位矩阵。 rand函数：产生（0,1）区间均匀分布的随机矩阵 randn函数：产生均值为0，方差为1的标准正态分布随机矩阵。 以上函数三种调用格式 例： 产生m x m 零矩阵 ：zeros(m) 产生m x n 零矩阵 ：zeros(m,n) 产生与矩阵A同型的零矩阵 ：zeros(sizeof(A)) 面向专门学科的特殊矩阵 1、 魔方矩阵：n阶魔方阵由1..n 2 共n 2 个整数组成，其每行每列及主、副对角线元素 之和都相等。当n>=2时，有多个不同的n阶魔方阵。 magic(n)：产生一个特定（不是所有的）n阶的魔方阵 2、 范德蒙(Vandermonde的)矩阵（常用与通信编码纠错）： vander(v)函数：生成以向量V为基础的范德蒙矩阵 3、 希尔伯特（Hilbert）矩阵：H( i , j )= 1/ (i+j-) Hilb(n)函数：生成n阶希尔伯特矩阵 4、 伴随矩阵（？？）： Compan(p)函数：求矩阵P的伴随矩阵 5、 帕斯卡矩阵：P( i , j )=p(i , j-1) + p(i-1,j) 且 p(i , 1)= p(1,j)=1 Pascal(n)函数：生成帕斯卡矩阵 矩阵变换

Image Super-Resolution Using Deep Convolutional Networks 论文总结 提示： 文中【】中的内容表示我没读懂的内容或不知道怎么翻译的内容 若文中有错误或知道【】中内容的正确含义，希望能在评论区中指出 Abstract 摘要讲了讲论文写了些啥： 作者提出了一种针对单图像超分辨的深度学习方法，即SRCNN。该方法直接学习低/高分辨率图像之间的端到端映射。映射是用一个低分辨率图像为输入，高分辨率图像为输出的深度卷积神经网络来表示的。 证明了传统基于稀疏编码的SR方法也可以看作是一个深度卷积网络。 传统方法是分别处理每个组件，而SRCNN联合优化所有层。 SRCNN具有轻量级的结构，同时有最先进的恢复质量，并且实现了快速的实际在线使用。 作者探索了不同的网络结构和参数设置，以实现性能和速度之间的权衡。 SRCNN可以同时处理三个颜色通道，表现出更好的整体重建质量。 Introduction 超分辨率问题本质是不适定的（ inherently ill-posed）或者说超分辨率是个欠定逆问题（ underdetermined inverse problem）。意思就是超分辨率是个解不是唯一的问题，因为对于任何给定的低分辨率像素都存在多重解。对于这个问题通常用强先验信息约束解空间来缓解，为了学习强先验信息，现在最先进的方法大多基于例子的策略

Image Super-Resolution Using Deep Convolutional Networks 论文总结 提示： 文中用【】表示的是我没读懂的内容 文中用[]表示的是我不会翻译的内容,翻译都不会，基本上也不理解啦。 Abstract 摘要讲了讲论文写了些啥： 作者们提出了一种针对单图像超分辨的深度学习方法，即SRCNN。该方法直接学习低/高分辨率图像之间的端到端映射。映射是用一个低分辨率图像为输入，高分辨率图像为输出的深度卷积神经网络来表示的。 证明了传统基于稀疏编码的SR方法也可以看作是一个深度卷积网络。 传统方法是分别处理每个组件，而SRCNN联合优化所有层。 SRCNN具有轻量级的结构，同时有最先进的恢复质量，并且实现了快速的实际在线使用。 作者们探索了不同的网络结构和参数设置，以实现性能和速度之间的权衡。 SRCNN可以同时处理三个颜色通道，表现出更好的整体重建质量。 Introduction 超分辨率问题本质是不适定的（ inherently ill-posed）或者说超分辨率是个欠定逆问题（ underdetermined inverse problem）。意思就是超分辨率是个解不是唯一的问题，因为对于任何给定的低分辨率像素都存在多重解。对于这个问题通常用强先验信息约束解空间来缓解，为了学习强先验信息，现在最先进的方法大多基于例子的策略（example

一、范数的概念 向量范数是定义了向量的类似于长度的性质，满足正定，齐次，三角不等式的关系就称作范数。 一般分为L0、L1、L2与L_infinity范数。 二、范数正则化背景 1.　监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。 2 .　 因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。但训练误差小并不是我们的最终目标，我们的目标是希望模型的测试误差小，也就是能准确的预测新的样本。所以，我们需要保证模型“简单”的基础上最小化训练误差，这样得到的参数才具有好的泛化性能（也就是测试误差也小），而模型“简单”就是通过规则函数来实现的。另外，规则项的使用还可以约束我们的模型的特性 。 这样就可以将人对这个模型的先验知识融入到模型的学习当中，强行地让学习到的模型具有人想要的特性，例如稀疏、低秩、平滑等等。要知道，有时候人的先验是非常重要的。前人的经验会让你少走很多弯路，这就是为什么我们平时学习最好找个大牛带带的原因。一句点拨可以为我们拨开眼前乌云，还我们一片晴空万里，醍醐灌顶。对机器学习也是一样，如果被我们人稍微点拨一下

AE 自编码器 代码：自编码器keras教程 是半监督的，自编码器是只有一层隐层节点，输入和输出具有相同节点数的神经网络 自动编码器输入的是X，我们的AE网络结构是X->H->X‘，我们的目的是让X’尽可能的等于X（X‘与X有相同维度），这样训练出来的H就可以用来表示或重构X。 用于压缩数据，但是没有泛化能力，因此不能作为生成模型 自动编码器与PCA的比较 自动编码器既能表征线性变换，也能表征非线性变换 ；而 PCA 只能执行线性变换 。 PCA可以直接得到最优的解析解，而AutoEncoders只能通过反向传播得到局部最优的数值解 。因为自动编码器的网络表征形式，所以可将其作为层用于构建深度学习网络。设置合适的维度和稀疏约束，自编码器可以学习到比PCA等技术更有意思的数据投影。 PCA PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征

　　Learning A Discriminative Dictionary for Sparse Coding via Label Consistent K-SVD 学习一种为稀疏编码的判决字典的标签一致性k-svd算方法。除了使用训练数据的类标签外，还将标签信息和每一个字典项相关联，以在字典学习过程中增强稀疏编码的可辨别能力。具体来说，引入了一个新的标签一致约束（判别稀疏编码误差），并将其与重构误差和分类误差相结合，形成一个统一的目标函数。该算法联合学习一个过完备字典和一个最优线性分类器。具有相同标签的特征点具有类似的稀疏编码。 1.引言 来源： https://www.cnblogs.com/shuangcao/p/11680163.html