卷积神经网络

04. 卷积神经网络 第一周 卷积神经网络 1.1 计算机视觉 计算机视觉方向算是深度学习领域发展最快的方向之一，出现了大量富有创造性的工作。 而面对图片处理，首先出现的问题就是数据量巨大，一个1000×1000的RGB图片直接输入神经网络将有1百万的特征，网络的参数也将非常庞大，对于训练、设备内存都是巨大的挑战，所以不能这么干，卷积网络应运而生。 1.2 & 1.3 边缘检测 边缘检测是计算机视觉里一个基本问题，传统的做法是依靠各种手工设计的边缘检测算子，通过与图片进行卷积来检测边缘。 有各种各样的边缘检测算子，哪一种最合适其实众说纷纭。深度学习的观点是，这些卷积核的参数不要再手工设计了，而是当作参数让网络去学习。 1.4 & 1.5 & 1.6 卷积 机器学习中的卷积其实和数学或信号处理中的卷积定义不同，这里的卷积其实应该算是互相关。 卷积之后的图像大小计算公式： \( \lfloor \frac{n + 2p - f}{s} + 1 \rfloor \times \lfloor \frac{n + 2p - f}{s} + 1 \rfloor \) 其中卷积核大小(kernel size)或者滤波器(filter)大小 \( f \) 一般为奇数，填充大小(padding)\( p \) 取决于选择的卷积类型： Valid 卷积：不加填充。卷积之后图像越来越小。 Same

原文地址 本篇文章是对 论文“Wu Z , Pan S , Chen F , et al. A Comprehensive Survey on Graph Neural Networks[J]. 2019.” 的翻译与笔记。 论文链接 目录 1. 什么是图神经网络？ 2. 有哪些图神经网络？ 3. 图卷积网络(Graph Convolution Networks,GCN) 4. 图注意力网络(Graph Attention Networks) 5. Graph Autoencoders 6. Graph Generative Networks 7. Graph Spatial -Temporal Networks 8. 图神经网络的应用 1. 什么是图神经网络？ 在过去的几年中，神经网络的成功推动了模式识别和数据挖掘的研究。许多机器学习任务，如目标检测、机器翻译和语音识别，曾经严重依赖手工的特征工程来提取信息特征集，最近被各种端到端的深度学习范式（例如卷积神经网络（CNN）、长短期记忆（LSTM）和自动编码器）彻底改变了。在许多领域中，深度学习的成功部分归因于快速发展的计算资源（如GPU）和大量训练数据的可用性，部分归因于深度学习从欧氏空间数据中提取潜在表示的有效性。 尽管深度学习在欧氏空间中的数据方面取得了巨大的成功，但在许多实际的应用场景中的数据是从非欧式空间生成的

引用本文： [如本文对读者朋友们的研究有所帮助，请添加如下参考文献] 纪荣嵘,林绍辉,晁飞,吴永坚,黄飞跃. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888. Ji Rongrong,Lin Shaohui,Chao Fei,Wu Yongjian,Huang Feiyue. Deep Neural Network Compression and Acceleration: A Review. Journal of Computer Research and Development, 2018, 55(9): 1871-1888. 1.原因 对于深度神经网络而言，其无论参数、计算量、数据存储或者说是网络深度与宽度等等都会限制深度神经网络在嵌入式、便携式工具上的拓展应用 2.加速、压缩任务 2.1 卷积层： 计算耗时长，可以通过权值共享策略进行网络存储压缩，涉及到的是网络的计算加速 2.2 全连接层： 因为是神经元之间的全连接，所以其网络参数尤其的多，因此涉及到的是网络模型的内存压缩 而这两项任务设计到很多学类门课： 机器学习、参数优化、计算架构、数据压缩、索引、硬件加速 。 3.主流方法 深度神经网络的压缩与加速的主要方法有： 参数剪枝、参数共享、低秩分解、紧性卷积核设计、知识蒸馏 参数剪枝： 主要通过设计判断参数重要与否的准则

导语：带你了解近年来相当火爆的卷积神经网络（Convolutional Neural Network,CNN） 卷积神经网络（Convolutional Neural Network,CNN）新手指南 引言 卷积神经网络：听起来像是生物与数学还有少量计算机科学的奇怪结合，但是这些网络在计算机视觉领域已经造就了一些最有影响力的创新。2012年神经网络开始崭露头角，那一年Alex Krizhevskyj在ImageNet竞赛上（ImageNet可以算是竞赛计算机视觉领域一年一度的“奥运会”竞赛）将分类错误记录从26%降低到15%，这在当时是一个相当惊人的进步。从那时起许多公司开始将深度学习应用在他们的核心服务上，如Facebook将神经网络应用到他们的自动标注算法中，Google（谷歌）将其应用到图片搜索里，Amazon（亚马逊）将其应用到产品推荐服务，Pinterest将其应用到主页个性化信息流中，Instagram也将深度学习应用到它们的图像搜索架构中。 然而最经典的，或者说最流行的神经网络使用范例是将其用于图像处理领域。提到图像处理，本文主要介绍的是如何使用卷积神经网络来进行图像分类。 问题空间 图像分类是将输入图像（猫、狗等）进行分类输出或者将其分类成最能描述图像特征的类别的任务。对于人类来说，认知是我们出生之后就学会的第一个技能，也是作为成年人来说非常自然和轻松的技能

卷积神经网络结构(CNN Convolutional neural network) 输入层 将每个像素代表一个特征节点输入到网络中 卷积层 卷积运算的主要目的是使原信号特征增强，并降低噪音 步长 表示卷积核在图片上移动的格数 步长大于一，是降维的一张方法 卷积后图片的尺寸，步长为S，原始图片尺寸为[N1,N1]，卷积核大小为[N2,N2] [(N1-N2)/S+1,(N1-N2)/S+1] 方法 0填充 通过对5 5的灰度图添加边缘，使3 3的卷积层转化为5*5的卷积层 多通道卷积 通过不同的卷积提取不同的特征 将这些特征图相同位置上的值相加，生成一张特征图 加偏置，生成最终特征图 降采样层 降低网络训练参数及模型的过拟合程度 可以通过池化进行降采样，但池化不是唯一的降采样 池化 计算图像一个区域上的某个特定特征的平均值或最大值 均值池化 对池化区域内的像素点取均值 对背景信息更加敏感 最大池化 对池化区域内的像素点取最大值 对纹理特征信息更加敏感 全连接层 对生成的特征进行加权 softmax层 获得当前样例属于不同类别的概率 在Tensorflow中的实现 卷积函数 tf.nn.conv2d(input,filter,strides,padding,use_cudnn_on_gpu,name) input 需要做卷积的输入数据，这是一个4维的张量[batch,in

《MobileNets Efficient Convolutional Neural Networks for Mobile Vision Applications 》 （一）论文地址： （二）解决的问题: （三） M o b i l e N e t s MobileNets M o b i l e N e t s 的核心思想： （四）传统卷积的概念： （五） D W c o n v DWconv D W c o n v 的概念： （六） P W c o n v PWconv P W c o n v 的概念： （七） M o b i l e N e t s MobileNets M o b i l e N e t s 的高效性： （七） M o b i l e N e t s MobileNets M o b i l e N e t s 的网络结构： （八） W i d t h Width W i d t h M u l t i p l i e r Multiplier M u l t i p l i e r ：更小的模型 （九） R e s o l u t i o n Resolution R e s o l u t i o n M u l t i p l i e r Multiplier M u l t i p l i e r ：简化表示法 （一）论文地址：

cs231n的第18课理解起来很吃力，听后又查了一些资料才算是勉强弄懂，所以这里贴一篇博文（根据自己理解有所修改）和原论文的翻译加深加深理解，其中原论文翻译比博文更容易理解，但是太长，而博文是业者而非学者所著，看着也更舒服一点。 另，本文涉及了反向传播的backpropagation算法，知乎上有个回答很不错，备份到文章里了，为支持原作者，这里给出知乎 原文连接 可视化理解卷积神经网络 这张PPT是本节课的核心，下面我来说说这张图。 可视化神经网络的思想就是构建一个逆向的卷积神经网络，但是不包括训练过程，使用原网络各个层的feature map当作输入，逆向生成像素级图片（各个层对应的具体逆操作实现方法下面的文献中有介绍），目的是研究每一层中每一个神经元对应的（或者说学习到的）特征到底是什么样的。 我们首先获取某一层的feature map,然后将除了想要研究的那个神经元之外所有神经元置零，作为返卷积网络的输入（a图所示），经过逆向重构后，得到的图片就反映了这个神经元学习到的特征。 Relu层的逆处理得到了特殊关注，向前传播中，小于零的神经元直接置零（b1），如果按照计算梯度的反向传播算法（ backpropagation ）的话那么应该在向前传播时置零的位置仍然置零（b2），而原论文按照deconvent的方法，相当于把Relu对称化，直接对反向的特征图进行了标准的Relu

人工智能、机器学习及深度学习的起源和发展 发展时间线 第一阶段：人工智能起步期 1956—1980s 1956达特茅斯会议标志AI诞生 1957神经网络Perceptron被罗森布拉特发明 1970受限于计算能力，进入第一个寒冬 第二阶段：专家系统推广 1980s—1990s 1980 XCON专家系统出现，每年节约4000万美元 1986 BP ，Geoffrey Hinton提出了前馈算法，一个通过对输入数据按照重要进行排序的精准神经网络。 1989 卷积，Yann LeCun写了另外一篇旷世之作，描述了卷积神经网络。这些发现突破了计算机难以解决的问题，譬如从一张照片中找到一只猫。 1990——1991 人工智能计算机DARPA没能实现，政府投入缩减，进入第二次低谷 1997 IBM的DeepBlue战胜国际象棋冠军 1997 Schmidhuber发明了长短期记忆网络（LSTM） 第三阶段：深度学习 2000s—至今 2006 Hinton提出“深度学习”的神经网络 2011 苹果的Siri问世，技术上不断创新 2012 Google无人驾驶汽车上路（2009年宣布） 2012年，计算机视觉界顶级比赛ILSVRC中，多伦多大学Hinton团队所提出的深度卷积神经网络结构AlexNet一鸣惊人，同时也拉开了深度卷积神经网络在计算机视觉领域广泛应用的序幕。成功原因 大量数据，

深度学习（三）——卷积神经网络 文章目录 深度学习（三）——卷积神经网络 概述 CNN的神经网络层 卷积层 卷积核和卷积操作 零填充和填充卷积 感受野与扩张卷积 池化层 全连接层 转置卷积层 感兴趣区域（RoI）池化层 概述 这篇博文主要讨论 卷积神经网络 （Convolutional Neural Networks，CNN）。CNN是目前最流行的神经网络类型之一，特别是对于图像或是视频这种高维数据。与 多层感知器 不同，CNN层中的每层单元是一个二维（或高维）滤波器，这样的滤波器又被称为 卷积核 ，它能够对输入数据进行卷积运算，这是最关键的区别。 CNN的产生也同样来源于人类对自我认知过程的思考。考虑人类辨识一头大象的过程，人类往往是在看到大象的一部分，才能够辨识出这是大象的。例如看到大象的大耳朵、长鼻子、粗壮的腿等。但在计算机中，图像的每一个像素点都是三个数字。人类辨识图像的过程启示我们在辨识过程中， 单一的像素点是没有意义 的，只有将像素点放在一块区域中，才能显示出它的作用。 因此，利用卷积核，可以将一块区域中的像素值进行一些运算得到一个值，就实现了上面的过程。也因为这个，CNN在计算机视觉领域得到了非常广泛的应用。接下来就依次介绍CNN的各个组成部分和一些模型上的细节。 CNN的神经网络层 CNN是由几个基本构建块组成的，称为 CNN层 。最基本的CNN具备的层次有：

卷积神经网络的本质对是人的视觉形成进行的模仿操作。 人能够识别不同大小、不同角度的相同物体，那么卷积神经网络中的池化、卷积中的扫描就是相同的目的。 人能够识别不同类型的物体，识别的过程，也是识别物体特征的过程，每次注视只能注视一个点，最后通过扫视，形成物体的全貌。比如一只猫，第一眼看的是猫的形状、然后是局部细节等，只有都符合，才能准确判断这是一只猫。卷积神经网络中的卷积负责的是物体特征的提取，提取出物体特征或局部特征的形状、颜色、角度、距离等等等等，然后通过神经网络进行特征的非线性组合，最终给出判定结果。通过反向传播算法，对非线性组合的方式进行优化，让只有通过某种特定的非线性组合的方式，将提取的视觉特征进行组合，才能够得到正确判定结果。 多年视觉分类比赛中的算法，大多是对这个过程的优化与完善。 由对该算法的理解我想到了，如果是对自然现象的模拟，比如人识别一个物体，从自然出发真的是一个极好的出发点。 还有就是，对于特定的任务，要根据任务的特点来选择特征提取的技术、特征组合的技术。以到达就事论事的目的。 来源： CSDN 作者： 鹤随云 链接： https://blog.csdn.net/u012418164/article/details/104092135