cnn深度学习

DCGAN原理介绍 我们知道深度学习中对图像处理应用最好的模型是CNN，那么如何把CNN与GAN结合？DCGAN是这方面最好的尝试之一（论文地址： [1511.06434] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks ） DCGAN的原理和GAN是一样的，这里就不在赘述。它只是把上述的G和D换成了两个卷积神经网络（CNN）。但不是直接换就可以了，DCGAN对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度，这些改变有： 取消所有pooling层。G网络中使用转置卷积（transposed convolutional layer）进行上采样，D网络中用加入stride的卷积代替pooling。 在D和G中均使用batch normalization 去掉FC层，使网络变为全卷积网络 G网络中使用ReLU作为激活函数，最后一层使用tanh D网络中使用LeakyReLU作为激活函数 DCGAN中的G网络示意： DCGAN在Tensorflow中已经有人造好了轮子： https://github.com/carpedm20/DCGAN-tensorflow ，我们直接使用这个代码就可以了。 如果要训练mnist 执行python

用深度卷积生成对抗网络进行无监督表示学习 摘要 近年来，监督学习的卷积网络（ CNN ）在计算机视觉应用中有着广泛的应用。相比之下，无监督的卷积网络 CNN 学习受到的关注较少。在这项工作中，我们希望可以帮助缩小有监督学习的 CNN 和无监督学习的 CNN 成功之间的差距。我们介绍了一类 CNN 叫做深度卷积生成对抗网络（ DCCNG ），它具有一定的架构约束，表明它们是非监督学习的有力候选。对各种图像数据集进行训练，我们展示出令人信服的证据，证明我们的深层卷积对抗从对象部分到发生器和判别器中的场景学习了层次结构的表示。此外，我们使用学习的功能进行新颖的任务 - 证明适用于一般图像的表示 1. 前言 从来自大型的未标记的数据集学习可重用的特征表示一直是一个热门的研究领域。在计算机视觉的背景下，可以利用实际上无限量的未标记的图像和视频来学习良好的中间表示，然后可以将它用在各种监督学习任务上，如图像分类。 我们提出了一种建立好的图像表示的方法是通过训练生成对抗网络（ GAN ）（ Goodfellow 等人， 2014 ），并随后重用发生器和判别器网络的部分作为用于监督任务的特征提取器。 GAN 为最大似然技术提供了一个有吸引力的替代方法。另外还可以争辩说，他们的学习过程和缺少启发式的代价函数（比如像素方式的独立均方差）对于表示学习来说是存在吸引力的。我们知道 GAN

版权声明：本文为博主原创文章，转载请注明出处。 https://blog.csdn.net/liuxiao214/article/details/73500737 </div> <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-3019150162.css"> <div id="content_views" class="markdown_views prism-atom-one-dark"> <!-- flowchart 箭头图标 勿删 --> <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p>论文原文：<a href="https://arxiv.org/pdf/1511.06434.pdf" rel="nofollow" data-token=

暑期学习 DCGAN 笔记 前言：在 GAN 的基础上，把经典GAN中的 G 和 D 换成了两个卷积神经网络（CNN） ，并不是直接替换， DCGAN 对 CNN 的结构做了一些改变。 DCGAN 的特点： 判别模型 ：使用 带步长的卷积 （strided convolutions） 取代了空间池化 （spatial pooling）， 容许网络学习自己的空间下采样 （spatial downsampling）。 生成模型 ：使用 微步幅卷积 （fractional strided）， 容许它学习自己的空间上采样 （spatial upsampling）。 激活函数 ： Leaky-ReLU Batch Normalization 批标准化 ：解决因糟糕的初始化引起的训练问题，使得梯度能传播更深层次。 Batch Normalization证明了 生成模型初始化的重要性 ，避免生成模型崩溃：生成的所有样本都在一个点上（样本相同），这是训练GANs经常遇到的失败现象。 接下来将对这些概念做容易理解的说明。 一、DCGAN 的变化 深度学习中对图像处理应用最好的模型是 CNN，是否可以同时结合 CNN 与 GAN 的优势？ DCGAN 就是采用 深度卷积 的对抗生成网络。英文全称是(deep convolutional generative adversarial networks)。

关于Deformable Convolutional Networks的论文解读，共分为5个部分，本章是第四部分： [ ] Part1： 快速学习实现仿射变换 [ ] Part2： Spatial Transfomer Networks论文解读 [ ] Part3： TenosorFlow实现STN [x] Part4： Deformable Convolutional Networks论文解读 [ ] Part5： TensorFlow实现Deformable ConvNets 本章解读Deformable ConvNets论文，看该模型是如何让卷积可变形，如何让模型支持端对端训练。 Deformable Convolutional Networks Deformable Convolutional Networks 收录：ICCV2017(IEEE International Conference on Computer Vision) 原文地址： Deformable-ConvNets 代码: 官方-MXNet Keras Abstract CNN因为其固定的几何结构限制了模型几何变换能力。论文引入了可变卷积(Deformable Convolution)和可变ROI pooling(Deformable RoI pooling)两个新模块，提高模型的空间转换能力

神经网络的预备知识 特征提取的高效性。 大家可能会疑惑，对于同一个分类任务，我们可以用机器学习的算法来做，为什么要用神经网络呢？大家回顾一下，一个分类任务，我们在用机器学习算法来做时，首先要明确feature和label，然后把这个数据"灌"到算法里去训练，最后保存模型，再来预测分类的准确性。但是这就有个问题，即我们需要实现确定好特征，每一个特征即为一个维度，特征数目过少，我们可能无法精确的分类出来，即我们所说的欠拟合，如果特征数目过多，可能会导致我们在分类过程中过于注重某个特征导致分类错误，即过拟合。 　　举个简单的例子，现在有一堆数据集，让我们分类出西瓜和冬瓜，如果只有两个特征：形状和颜色，可能没法分区来；如果特征的维度有：形状、颜色、瓜瓤颜色、瓜皮的花纹等等，可能很容易分类出来；如果我们的特征是：形状、颜色、瓜瓤颜色、瓜皮花纹、瓜蒂、瓜籽的数量，瓜籽的颜色、瓜籽的大小、瓜籽的分布情况、瓜籽的XXX等等，很有可能会过拟合，譬如有的冬瓜的瓜籽数量和西瓜的类似，模型训练后这类特征的权重较高，就很容易分错。这就导致我们在特征工程上需要花很多时间和精力，才能使模型训练得到一个好的效果。然而神经网络的出现使我们不需要做大量的特征工程，譬如提前设计好特征的内容或者说特征的数量等等，我们可以直接把数据灌进去，让它自己训练，自我“修正”，即可得到一个较好的效果。 数据格式的简易性 　

Faster R-CNN算法是在Fast R-CNN算法的基础上，将RPN与Fast R-CNN结合到一个深度神经网络中Faster R-CNN由候选区域框网络(Region Proposal Network，简称 RPN )和Fast R-CNN网络两部分组成。整体网络框架如图3-1所示。 图 3-1 Faster R-CNN RPN是全卷积神经网络，用于提取候选框；Fast R-CNN用于对RPN中提取的候选区域进行检测并识别候选区域中的目标。Faster R-CNN算法大概可以分为：特征提取、生成候选区域框、分类回归三个步骤。 3.2.1 特征提取网络 基于卷积神经网络在图像特征提取中的优越性能，Faster R-CNN 算法的特征提取网络就采用卷积神经网络，这个特征提取网络是可替换的，可以根据实际要求选择适合深度Faster RCNN 原文中使用的是VGG16 网络 【】 VGG16 的特点是网络深度较深，从而可以提取更深层次的图像特征，取得更好的检测效果。 训练数据的数量是决定网络模型性能的关键因素，训练数据越多，训练出来的网络各方面性能就会越好；相反，如果训练数据的数量过少，即使是设计很好的网络，训练出来的模型性能也不一定好。因此在深度学习中，通常把在海量数据中已经训练好的模型应用到自己的网络中，然后利用目标数据对目标网络进行微调以提高网络的Image

论文地址为： https://arxiv.org/abs/1511.02683 代码地址： https://github.com/AlfredXiangWu/face_verification_experiment 正如前面 《人脸验证：DeepID》 博客所说，人脸验证任务中需要关心两个问题：一个是人脸特征提取，另一个就是如何判断是不是同一个人。特征提取的方法有LBP等传统方法，也有DeepID这样的深度学习方法。判断是不是同一个人的方法简单的有余弦相似度，复杂的有Joint Bayesian。本文主要的内容集中于人脸特征提取，就是使用Lighten CNN提取特征。 概述 为了得到更好的准确度，深度学习的方法都趋向更深的网络和多个模型ensemble，这样导致模型很大，计算时间长。本文提出一种轻型的CNN，在取得比较好的效果同时，网络结构简化，时间和空间都得到了优化，可以跑在嵌入式设备和移动设备上。 相关研究 用CNN进行人脸验证分为三种。一种是使用人脸分类的任务训练CNN提取特征，然后用分类器判断是不是同一个人。第二种是直接优化验证损失。第三种是将人脸识别和验证任务同时进行。本文框架是属于第一种。 网络结构 MFM激活函数相比于Relu的优点，主要是它可以学习紧凑的特征而不是Relu那样稀疏高维的。 本文网络结构如上图所示，和DeepID一样

BACKGROUND 在过去的十多年时间里，传统的机器视觉领域，通常采用特征描述子来应对目标识别任务，这些特征描述子最常见的就是 SIFT 和 HOG.而 OpenCV 有现成的 API 可供大家实现相关的操作 计算机视觉五大技术：图像分类、对象检测、目标跟踪、语义分割和实例分割 目前学术和工业界出现的目标检测算法分成3类： 传统的目标检测算法：Cascade + HOG/DPM + Haar/SVM以及上述方法的诸多改进、优化； 双阶段方法：候选区域/框 + 深度学习分类：通过提取候选区域，并对相应区域进行以深度学习方法为主的分类的方案，如： R-CNN（Selective Search + CNN + SVM） SPP-net（ROI Pooling） Fast R-CNN（Selective Search + CNN + ROI） Faster R-CNN（RPN + CNN + ROI） R-FCN 等系列方法； 3.单阶段方法： 基于深度学习的回归方法：YOLO/SSD/DenseBox 等方法；以及最近出现的结合RNN算法的RRC detection；结合DPM的Deformable CNN等 文章来源: https://blog.csdn.net/weixin_43859829/article/details/90763081

转自：https://zhuanlan.zhihu.com/p/27908027 【1】导论 首先最需要明确的一点就是，卷积神经网络，也就是convolutional neural networks （简称CNN），现在已经被用来应用于各个领域，物体分割啦，风格转换啦，自动上色啦blahblah，但是！！CNN真正能做的，只是起到一个特征提取器的作用！所以这些应用，都是建立在CNN对图像进行特征提取的基础上进行的。 拿到一张图片，要对它进行识别，最简单的栗子是，这张图是什么？ 比如，我现在要训练一个最简单的CNN，用来识别一张图片里的字母是X还是O。 我们人眼一看，很简单嘛，明显就是X啊，但是计算机不知道，它不明白什么是X。所以我们给这张图片加一个标签，也就是俗称的Label，Label=X，就告诉了计算机这张图代表的是X。它就记住了X的长相。 但是并不是所有的X都长这样呀。比如说... 这四个都是X，但它们和之前那张X明显不一样，计算机没见过它们，又都不认识了。 （这里可以扯出机器学习中听起来很高冷的名词 “ 欠拟合 ”） 不认识了怎么办，当然是回忆看看是不是见过差不多的呀。这时候CNN要做的，就是如何提取内容为X的图片的特征。 我们都知道，图片在计算机内部以像素值的方式被存储，也就是说两张X在计算机看来，其实是这样子的。 其中1代表白色，-1代表黑色。