Inception

前面的话 上次文章中，我们主要关注了 视觉应用中的Self-attention机制及其应用——Non-local网络模块 ，从最开始的了解什么是视觉注意力机制到对自注意力机制的细节把握，再到Non-local模块的学习。这次的文章我主要来关注 视觉注意力机制在分类网络中的应用 —— SENet、SKNet、CBAM。 我们通常将软注意力机制中的模型结构分为三大注意力域来分析： 空间域、通道域、混合域 。 （1） 空间域 —— 将图片中的的空间域信息做对应的 空间变换 ，从而能将关键的信息提取出来。对空间进行掩码的生成，进行打分，代表是Spatial Attention Module。 （2） 通道域 ——类似于 给每个通道上的信号都增加一个权重，来代表该 通道与关键信息的相关度 的话，这个权重越大，则表示相关度越高。对通道生成掩码mask，进行打分，代表是senet, Channel Attention Module。 （3） 混合域 —— 空间域的注意力是 忽略了通道域中的信息，将每个通道中的图片特征同等处理， 这种做法会将空间域变换方法局限在原始图片特征提取阶段，应用在神经网络层其他层的 可解释性不强 。 而通道域的注意力是 对一个通道内的信息直接全局平均池化，而忽略每一个通道内的局部信息 ，这种做法其实也是比较暴力的行为。所以结合两种思路，就可以设计出混合域的注意力机制模型。

Lable Smoothing 是分类问题中错误标注的一种解决方法。 对于分类问题，特别是多分类问题，常常把向量转换成one-hot-vector（独热向量） one-hot带来的问题：（对于独热的简单解释：https://blog.csdn.net/qq_43211132/article/details/96141409） 对于损失函数，我们需要用预测概率去拟合真实概率，而拟合one-hot的真实概率函数会带来两个问题： 1)无法保证模型的泛化能力，容易造成过拟合； 2) 全概率和0概率鼓励所属类别和其他类别之间的差距尽可能加大，而由梯度有界可知，这种情况很难适应。会造成模型过于相信预测的类别。 使用下面的 label smoothing 可以缓解这个问题： 原理：对于以Dirac函数分布的真实标签，我们将它变成分为两部分获得（替换）。 第一部分：将原本Dirac分布的标签变量替换为(1 - ϵ)的Dirac函数； 第二部分：以概率 ϵ ，在u(k) 中份分布的随机变量（u（k）是类别分之一） 代码： def label_smoothing(inputs, epsilon=0.1): K = inputs.get_shape().as_list()[-1] # number of channels return ((1-epsilon) * inputs) + (epsilon

今天我们来学习 CNN，大家可能都知道 CNN 主要应用于图像领域，但其实近几年在自然语言处理领域也经常使用 CNN 来做一些任务，这篇文章我们先介绍一下 CNN 的基础，下一篇将介绍一个很擅长处理图像任务的模型要如何用于文本序列任务。 什么是 CNN CNN：Convolutional Neural Network，卷积神经网络 ，主要用于图像领域，可以用来做图像分类任务，比如大家熟知的手写识别、聚类任务、如图片搜索，此外还有物体识别、人脸识别、自动驾驶、无人机、机器人学，医学诊断等领域中也表现出色。在 2016 年的 ImageNet Large Scale Visual Recognition Challenge（ILSVRC）的图像分类任务中，CNN 在 1000 个不同类别中就已经可以达到 98% 的准确率了。 都有哪些著名的卷积神经网络 在进入详细的理论部分，我们先看一下几大著名的卷积神经网络，这对我们后面了解基础结构也有一定的帮助。 我们将按照时间顺序简单介绍下面八种结构： LeNet-5 AlexNet VGG-16 Inception-v1 Inception-v3 ResNet-50 Xception ResNeXt-50 Alfredo Canziani 等人曾经发过一篇论文 AN ANALYSIS OF DEEP NEURAL NETWORK MODELS

项目背景 客户已有运行多年的官网老站（PC端），想在今年对老站进行一次UI全面更新、功能全部平移的升级，对接新的运营后端，然后建立官网小程序端且与官网PC端进行联动，使得品牌自有渠道能够更加全面化。 挑战 时间紧。五月份进行Inception Workshop，确定项目交付范围与架构方案。官网六月初开始开发，小程序八月份开始开发，整个项目九月中旬必须上线。 系统集成和数据迁移。系统需要对接客户的CRM，对接3个服务商，需要对老官网历史数据（订单、会员等）进行迁移。 多团队沟通。小程序设计稿由第三方提供，因此多出了沟通、确认的时间，以及把控第三方交付的时间，以避免交付进度的影响。 迭代计划 Inception Workshop一结束，差不多就开始整理整个项目涉及的故事和技术卡，按照两周一迭代进行迭代计划安排并与客户确认，每个迭代第一周周三安排跟客户showcase上一周的预定的交付结果，得到反馈并安排进行改进。官网项目比较顺利，改造自定义了一下SSR框架就能开始进行开发，并且因为历史原因，还能享受到上一个项目遗留的一些福利，当然也少不了一些坑。 小程序的时间比较紧，相当于整个复制了一遍官网的功能，主要是前端任务，后端可以复用官网后端，因此一开始就给团队同学同步到整个项目的情况，让大家有一个大概的心理准备。然后就是与官网类似的处理，整个交付内容进行迭代排期并与客户确认

Coursera 刚刚上新了 GAN 的专项课程，或许在这个国庆假期，你应该学习一波了。 作者：蛋酱 生成对抗网络（Generative Adversarial Network，GAN）是当前功能最强大的机器学习模型之一，其能够生成逼真的图像、视频和语音输出结果。基于 GAN 的应用十分广泛，比如防御对抗攻击和数据匿名化来保护隐私，以提升网络安全性，再比如生成新图像，为黑白图像着色、提高图像分辨率、2D 图像转 3D 等技术。 随着算力的增强，GAN 的普及程度和功能也不断提升，开启了许多新的方向：比如生成大量数据用来训练模型，让无监督模型生成更加清晰、准确的输出图像，同时也为相近研究领域提供了对抗学习、对抗样本、模型鲁棒性等方面的启示。 近日，DeepLearning.AI 推出了《生成对抗网络（GAN）专项课程》，系统介绍了使用 GAN 生成图像的理论及方法。此外还包括机器学习偏见、隐私保护等社会影响话题的讨论。 这门课程适用于对机器学习感兴趣并希望了解 GAN 的工作原理的软件工程师、学生和研究者。专项课程内容尽可能做到通俗易懂，让进入课程的人都真正理解 GAN 并学会使用。 但在进入这门课程之前，学习者应该具备关于深度学习、卷积神经网络的知识，具备一定的 Python 技能和深度学习框架（TensorFlow、Keras、PyTorch）的使用经验，且精通微积分、线性代数

由于良好的可扩展性，随机梯度下降（SGD）的并行实现是最近研究的热点。实现并行化SGD的关键障碍就是节点间梯度更新时的高带宽开销。因此，研究者们提出了一些启发式的梯度压缩方法，使得节点间只传输压缩后的梯度。尽管这些启发式方法在实践中很有效，但它们有时并不会收敛。 本文提出了量化SGD（Quantization SGD，QSGD），它是一类具有收敛保证且在实践中性能良好的压缩模式。QSGD允许用户平滑得权衡通信带宽和收敛时间：节点可以在每轮迭代时调整发送的比特数，代价可能是更高的方差。这种权衡是固有的，因为将其提高到某个阈值会违反信息理论的下限。QSGD在异步情况下保证了凸与非凸目标函数的收敛性，并且可以使用随机方差削减技术扩展。 当在图像识别与语音识别任务上训练深度神经网络时，QSGD显著地降低了端到端的训练时间。 1. Introduction 目前，许多研究者正在研究如何扩展大规模SGD算法。SGD算法的定义如下。令 \(f:\mathbb{R}^n\rightarrow\mathbb{R}\) 是我们要最小化的目标函数。我们可以得到随机梯度 \(\widetilde{g}\) ，即 \(\mathbb{E}[\widetilde{g}(x)]=\triangledown f(x)\) 。通过多次迭代，SGD可以收敛到最小值。 \[\boldsymbol{x}_{t+1}=

卷积神经网络经过不断的改进和优化，卷积早已不是当年的卷积，诞生了分组卷积（Group convolution）、空洞卷积（Dilated convolution 或 À trous）等各式各样的卷积。今天主要讲一下深度可分离卷积（depthwise separable convolutions），这是 Xception 以及 MobileNet 系列的精华所在。 从 Inception module 到 深度可分离卷积 Xception 的论文中提到， 对于卷积来说，卷积核可以看做一个三维的滤波器：通道维+空间维（Feature Map 的宽和高），常规的卷积操作其实就是实现通道相关性和空间相关性的联合映射。 Inception 模块的背后存在这样的一种假设：卷积层通道间的相关性和空间相关性是可以退耦合的，将它们分开映射，能达到更好的效果。 以上的图中， Figure 1 是一个 典型的 Inception 模块 ，它先在通道相关性上利用 1×1 卷积将输入的 Feature Map 映射到几个维度比原来更小的空间上， 相当于每个通道图乘上不同的因子做线性组合 ，再用 3×3 卷积这些小空间，对它的空间和通道相关性同时做映射。 其中，1*1卷积所作的操作即是 将输入进行降维处理，减少通道数 以便后面的卷积操作，这其实也就证明了空间相关性与通道相关性可以进行解耦分别处理。

pytorch快速加载预训练模型参数的方式 https://github.com/pytorch/vision/tree/master/torchvision/models 常用预训练模型在这里面 总结下各种模型的下载地址： 1 Resnet: 2 3 model_urls = { 4 ' resnet18 ' : ' https://download.pytorch.org/models/resnet18-5c106cde.pth ' , 5 ' resnet34 ' : ' https://download.pytorch.org/models/resnet34-333f7ec4.pth ' , 6 ' resnet50 ' : ' https://download.pytorch.org/models/resnet50-19c8e357.pth ' , 7 ' resnet101 ' : ' https://download.pytorch.org/models/resnet101-5d3b4d8f.pth ' , 8 ' resnet152 ' : ' https://download.pytorch.org/models/resnet152-b121ed2d.pth ' , 9 } 10 11 inception: 12 13 model_urls = { 14 #

一.安装inception及使用 1安装基础环境: 　　inception是一个集审核、执行、备份及生成回滚语句于一身的MySQL自动化运维工具. 注意，Centos7一定要制定bison版本不高于2.6，否则Inception可能会出现编译错误，该下载速度十分缓慢，可以考虑长时间等待或者更换镜像源。 下载Inception安装包: Inception源地址已没有源码，可以打开源地址，然后在右上角上面的fork处选择新的下载地址。 源码地址： https://github.com/mysql-inception/inception https://github.com/bbotte/inception-mysql 下载地址 安装基础环境: [root@CentOS ~] # yum -y install cmake libncurses5-dev libssl-dev g++ bison gcc gcc-c++ openssl-devel ncurses-devel mysql pymysql [root@CentOS ] # yum remove bison -y 安装bison: [root@CentOS ~] # wget http://ftp.gnu.org/gnu/bison/bison-2.5.1.tar.gz [root@CentOS ~] # tar -zxvf

 参考：