网络结构

参考文章： TensorFlow 2.0 implementation of Product-based Neural Network[1] Reference: [1] Product-based Neural Networks for User ResponsePrediction, Yanru Qu, Han Cai, Kan Ren, Weinan Zhang, Yong Yu, Ying Wen, Jun Wang [2] Tensorflow implementation of PNN https://github.com/Snail110/Awesome-RecSystem-Models/blob/master/Model/PNN_TensorFlow.py [3] https://zhuanlan.zhihu.com/p/37522266 概述 该系列主要是复现一些经典的网络结构与顶会论文的网络结构，我一开始看论文，以为看到网络结构和了解结构原理后，就完全学到了这篇论文的精髓，谁知，等到自己想要用这个网络结构时，无法打通理解与代码复现的这一步，这就导致我在科研或者工作时的束手无措，因此，我就决定探究如何将一篇论文中的结构和论文中的公式用代码的形式复现出来。 深度学习框架：tensorflow2.0 ，numpy。 语言：python。 复现的代码全部在：https:

文章目录 ABSTRACT 1. INTRODUCTION 2. RELATED WORK 2.1 Deep Neural Network 2.2 Network Embedding 3. STRUCTURAL DEEP NETWORK EMBEDDING 3.1 Problem Definition 3.2 The Model 3.2.1 Framework 3.2.2 Loss Functions 3.2.3 Optimization 3.3 Analysis and Discussions 4. EXPERIMENTS 4.1 Datasets 4.2 Baseline Algorithms 4.3 Evaluation Metrics 4.4 Parameter Settings 4.5 Experiment Results 4.5.1 Network Reconstruction 4.5.2 Multi-label Classification 4.5.3 Link Prediction 4.5.4 Visualization 4.6 Parameter Sensitivity 5. CONCLUSIONS ABSTRACT    网络嵌入是学习网络中顶点的低维表示的一种重要方法，旨在捕获和保留网络结构。几乎所有现有的网络嵌入方法都采用浅层模型。但是

inception-v1,v2,v3,v4----论文笔记 inception的四篇论文地址： Going deeper with convolutions：https://arxiv.org/pdf/1409.4842.pdf Batch Normalization: https://arxiv.org/pdf/1502.03167.pdf Rethinking the Inception Architecture for Computer Vision：https://arxiv.org/pdf/1512.00567.pdf Inception-v4, Inception-ResNet： https://arxiv.org/pdf/1602.07261.pdf Inception-v1 在这篇轮文之前，卷积神经网络的性能提高都是依赖于提高网络的深度和宽度，而这篇论文是从网络结构上入手，改变了网络结构，所以个人认为，这篇论文价值很大。 该论文的主要贡献：提出了inception的卷积网络结构。 从以下三个方面简单介绍这篇论文：为什么提出Inception，Inception结构，Inception作用 为什么提出Inception 提高网络最简单粗暴的方法就是提高网络的深度和宽度，即增加隐层和以及各层神经元数目。但这种简单粗暴的方法存在一些问题： 会导致更大的参数空间

@翻译：huangyongye 原文链接： Understanding LSTM Networks 前言 ：其实之前就已经用过 LSTM 了，是在深度学习框架 keras 上直接用的，但是到现在对LSTM详细的网络结构还是不了解，心里牵挂着难受呀！今天看了 tensorflow 文档上面推荐的这篇博文，看完这后，焕然大悟，对 LSTM 的结构理解基本上没有太大问题。此博文写得真真真好！！！为了帮助大家理解，也是怕日后自己对这些有遗忘的话可以迅速回想起来，所以打算对原文写个翻译。首先声明，由于本人水平有限，如有翻译不好或理解有误的多多指出！此外，本译文也不是和原文一字一句对应的，为了方便理解可能会做一些调整和修改。另外本文是作为我自己的学习笔记，没有经过原作者本人的授权，所以请勿转载） 1. 循环神经网络（RNNs) 人们思考问题往往不是从零开始的。就好像你现在阅读这篇文章一样，你对每个词的理解都会依赖于你前面看到的一些词，而不是把你前面看的内容全部抛弃了，忘记了，再去理解这个单词。也就是说，人们的思维总是会有延续性的。 传统的神经网络是做不到这样的延续性（它们没办法保留对前文的理解），这似乎成了它们一个巨大的缺陷。举个例子，在观看影片中，你想办法去对每一帧画面上正在发生的事情做一个分类理解。目前还没有明确的办法利用传统的网络把对影片中前面发生的事件添加进来帮助理解后面的画面。 但是

文章目录 1.绪论 1.1网络安全的基本概念 1.2.认识Internet上的严峻的安全形势并深入分析其根源。 2.网络协议基础 2.1了解网络体系结构各层的功能 2.2认识TCP/IP协议族中一些协议的安全问题 3.密码学在网络安全中的应用 3.1对称密码体制/非对称密码体制 3.2混合加密体制 3.3数字签名 3.4密钥管理 4.消息鉴别与身份认证 4.1认证分为哪两大类 4.2消息鉴别协议的核心——鉴别函数 4.3如何利用鉴别函数构造鉴别协议 4.4分析一个鉴别协议的安全问题* 4.5身份认证的概念、有哪些常用的身份认证方式，分析其优缺点 5.Internet安全 5.1各层协议的安全 5.2IPSec的思想、实现的目的、工作过程（AH和ESP）、工作模式、功能、密钥管理 5.3SSL/SET的思想 6.防火墙技术 6.1防火墙实现主要包括 （过滤机制）和（安全策略）。 6.2防火墙的分类，各自的特点。 6.3防火墙能否抵抗来自内网的攻击？ 7.VPN技术 7.1VPN是什么，其实现的目的 7.2有哪些类型 7.3主要应用的技术 1.绪论 网络安全的构成 1.1网络安全的基本概念 （定义、属性、模型、攻击手段、攻击方式、安全服务、安全机制） ▲网络安全的定义： （1）确保在计算机、网络环境运行的信息系统的安全运行，以及信息系统中所存储、传输和处理的信息的安全保护。 （2

本文首发于我的知乎专栏 深度学习与计算机视觉 , 欢迎关注，最新内容抢先看。 上一文 中介绍了如何用控制器（LSTM）搜索CNN网络和LSTM网络结构，从而生成出不逊于人类手工设计的网络结构。方法虽然已经work了，但是由于需要生成的参数很多，导致最后的网络结构的搜索空间非常的大，以至于非常耗时，在一个小的数据集上仍然需要800个GPU并行运算数天乃至一周之多。为了解决这个问题，文献[1]中提出了一种降低搜索空间的方法，使控制器能够更快的学到最优的网络结构。 需要注意的是，本文所探讨的要生成的神经网络是卷积神经网络。LSTM的网络设计并不在讨论范畴中，当然，LSTM仍然被用作控制器。 想法来源 在网络结构手工设计的时代，AlexNet，VGG，ResNet和Inception系列纷纷被设计出来，这些网络结构有一个共同的特点，那就是网络结构是层次性的，每层的结构都具有一定的相似性。因而，在这个基础上，自动学习的网络结构也可以是基于层的，设计出一个特定的结构来作为一层，然后将这个结构重复多遍，就得到一个完整的网络结构。 实现细节 基于上述的想法，首先，对之前的网络结构进行汇总分析可得，卷积神经网络的结构分为两个大类，一类是将输入的feature map等大小输出，即Normal Cell，另一类是将输入的feature map长宽各降低一半输出，即Reduction Cell。

文章目录 1. FCN全卷积网络-2014 2. 编解码结构SegNet-2015 3. U-Net分割网络-2015 4. DeepLab v1,v2,v3 -2015,2017,2018 5. 实时分割网络ENet-2016 6. CRFasRNN-空了看看 7. PSPNet-2017 8.Parsenet 9. UNet++ 2018 10. Deepmask 实例分割 2015 11. RefineNet 多分辨率特征融合 -2016 12. LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation 主要图像分割任务的区别： 语义分割：把一定数目不同的类别的图像分割出来，不需要分开多个相同的个体； 实例分割：区分一定数目相同类别的不同个体； 全景分割：区分未知数目相同类别的不同个体。 1. FCN全卷积网络-2014 参考： FCN 特点 ： 输入：整幅图像。输出：空间尺寸与输入图像相同，通道数等于全部类别个数。真值：通道数为1（或2）的分割图像。 池化层P5上采样（反卷积）+P4上采样+P3上采样作为最终的预测具有最好的效果。即把后阶段的特征加到前面的特征图，再更大的尺寸进行预测。（一般分类是下采样到最好层进行加操作，但是这里是上采样

一.概述 提出了一个Asymmetric Convolution Block (ACB),可以在普通的网络中加入一些ACB来代替普通的卷积，这个仅在训练的时候起作用，然后测试的时候可以使得网络恢复之前的结构，所以这种方法是提升了网络的性能但是完全不会破坏网络，所以原作者说是白给的性能。但是这个性能的提升也是以训练时间增加40%换来的。所以具体能不能应用到实际业务中就是仁者见仁智者见智了。 二.详解 ACNet的结构很简单，如下所示： ACNet这种设计来源于一个3*3的卷积核中的9个参数并不是具有相同重要性的， 在中央交叉位置上的五个参数会更加重要，而在边角的四个参数影响更小。中央交叉位置也叫做卷积核的骨架。每次将水平和竖直的加到骨架上，这样起到一个强化骨架的作用。由于卷积核的参数都是随机初始化的，所以有可能会导致它向着一个并不是强化骨架参数的方向优化，而通过这种结构和操作就可以避免这个问题。 整个工作的重点如下： 提出的ACNet的结构加强了卷积核的骨架，提升了性能，但是没有增加任何的inference时间。 ACNet很容易集成到现有模型中，就是用一个ACBlock来代替普通的卷积核。 在CIFAR-10,CIFAR-100和ImageNet等benchmark上显著提升了准确率 通过实验证明了卷积核的骨架更重要，且ACNet的结构增强了骨架

Image Super-Resolution Using Deep Convolutional Networks 论文总结 提示： 文中【】中的内容表示我没读懂的内容或不知道怎么翻译的内容 若文中有错误或知道【】中内容的正确含义，希望能在评论区中指出 Abstract 摘要讲了讲论文写了些啥： 作者提出了一种针对单图像超分辨的深度学习方法，即SRCNN。该方法直接学习低/高分辨率图像之间的端到端映射。映射是用一个低分辨率图像为输入，高分辨率图像为输出的深度卷积神经网络来表示的。 证明了传统基于稀疏编码的SR方法也可以看作是一个深度卷积网络。 传统方法是分别处理每个组件，而SRCNN联合优化所有层。 SRCNN具有轻量级的结构，同时有最先进的恢复质量，并且实现了快速的实际在线使用。 作者探索了不同的网络结构和参数设置，以实现性能和速度之间的权衡。 SRCNN可以同时处理三个颜色通道，表现出更好的整体重建质量。 Introduction 超分辨率问题本质是不适定的（ inherently ill-posed）或者说超分辨率是个欠定逆问题（ underdetermined inverse problem）。意思就是超分辨率是个解不是唯一的问题，因为对于任何给定的低分辨率像素都存在多重解。对于这个问题通常用强先验信息约束解空间来缓解，为了学习强先验信息，现在最先进的方法大多基于例子的策略

第八章 抽象数据类型与子程序 1.抽象数据类型：属性（数据和操作）明确地与特点地实现分离的容器。 数据结构：一种抽象数据类型中的复合数据域的实现。 容器：存放和其他操作其他对象的对象。 2.栈 栈和队列是抽象复合结构，二者常被同时提及，因为它们的行为完全不同，一定是因为一些历史原因。 栈是一种复合结构，只能从一端访问栈中的元素。可以在第一个位置插入元素，也可以删除第一个元素。这种设计模拟了日常生活中的很多事情。会计师称它为LIFO，即后进先出（Last In First Out）的缩写。 把栈比作自助餐厅的餐具架，使它插入和删除操作有了个惯用语，插入操作叫做Push(推进)，删除操作叫做Pop（弹出）。 栈没有长度属性，所有没有返回栈中项目个数的操作。 3.队列 -队列也是种抽象结构，队列的项目从一端入，从另一端出。会计师称之为FIFO,即先进先出(Fast In First Out)的缩写。插入操作在队列的rear（尾部）进行，删除操作在对列的front（头部）进行。 与栈一样，插入操作没有任何约束，整个FIFL行为都体现在删除操作上。无相关术语。Enqueue,Enque,Enq,Enter和Insert都可以表示插入操作。Dequeue，Deque，Deq和Remove都可以表示删除操作。 下面的算法读入数据后按照输入顺序进行输出。 WHILE(more data) Read