网络结构

　　近几年随著移动通信的迅猛发展，各个国家的移动电话普及率不断攀升，移动电话对于人们的日常生活也产生了巨大的影响，使人们的通信方式发生了革命化的改变。而同时，运营商在繁荣过后也面临著ARPU值下降和降低获得用户的成本问题。除了不断寻找新的像SMS一样深入人心的大众应用外，运营商们开始更加注重为企业用户提供服务，开发专门为集团用户提供服务的业务，其中MVPN（Mobile Virtual Private Network，移动虚拟专用网）最受运营商和企业用户的瞩目。 　　实际上近年来各种行业媒体出现了很多关于移动网络企业应用方面的词汇，包括MVPN、移动企业应用、无线企业等。从本质上讲，这些应用都是基于移动网络通过智能平台为企业或者特殊用户团体所提供的虚拟专用网业务，但在实现方式上，部分是基于现有的2G网络提供的，还有基于2.5G（如GPRS）和3G业务平台提供的，另外还有可能是仅仅对这类业务的特征以及业务功能进行描述，因此用了比较直观的概念如无线企业。在本文中，我们把目前已经出现或者未来3G网络支持的这一类业务进行综合的描述。 MVPN的出现与发展 　　固定网络上的VPN最早是建立在电话网上的，固定电话运营商利用共享式虚拟中继线连接同一企业不同地点的PBX，构成VPN。随著互连网的发展，VPN逐渐过度到互连网上，利用公共互连网和专用IP网建立虚拟的广域网，也称IP VPN

CNN的发展史 上一篇回顾讲的是2006年Hinton他们的Science Paper，当时提到，2006年虽然Deep Learning的概念被提出来了，但是学术界的大家还是表示不服。当时有流传的段子是Hinton的学生在台上讲paper时，台下的机器学习大牛们不屑一顾，质问你们的东西有理论推导吗？有数学基础吗？搞得过SVM之类吗？回头来看，就算是真的，大牛们也确实不算无理取闹，是骡子是马拉出来遛遛，不要光提个概念。 时间终于到了2012年，Hinton的学生Alex Krizhevsky在寝室用GPU死磕了一个Deep Learning模型，一举摘下了视觉领域竞赛ILSVRC 2012的桂冠，在百万量级的ImageNet数据集合上，效果大幅度超过传统的方法，从传统的70%多提升到80%多。个人觉得，当时最符合Hinton他们心境的歌非《我不做大哥好多年》莫属。 这个Deep Learning模型就是后来大名鼎鼎的AlexNet模型。这从天而降的AlexNet为何能耐如此之大？有三个很重要的原因： 大量数据，Deep Learning领域应该感谢李飞飞团队搞出来如此大的标注数据集合ImageNet； GPU，这种高度并行的计算神器确实助了洪荒之力，没有神器在手，Alex估计不敢搞太复杂的模型； 算法的改进，包括网络变深、数据增强、ReLU、Dropout等，这个后面后详细介绍。

　　目前，深度学习（Deep Learning，简称DL）在算法领域可谓是大红大紫，现在不只是互联网、人工智能，生活中的各大领域都能反映出深度学习引领的巨大变革。要学习深度学习，那么首先要熟悉神经网络（Neural Networks，简称NN）的一些基本概念。当然，这里所说的神经网络不是生物学的神经网络，我们将其称之为人工神经网络（Artificial Neural Networks，简称ANN）貌似更为合理。神经网络最早是人工智能领域的一种算法或者说是模型，目前神经网络已经发展成为一类多学科交叉的学科领域，它也随着深度学习取得的进展重新受到重视和推崇。 　　为什么说是“重新”呢？其实，神经网络最为一种算法模型很早就已经开始研究了，但是在取得一些进展后，神经网络的研究陷入了一段很长时间的低潮期，后来随着Hinton在深度学习上取得的进展，神经网络又再次受到人们的重视。本文就以神经网络为主，着重总结一些相关的基础知识，然后在此基础上引出深度学习的概念，如有书写不当的地方，还请大家评批指正。 1. 神经元模型 　　神经元是神经网络中最基本的结构，也可以说是神经网络的基本单元，它的设计灵感完全来源于生物学上神经元的信息传播机制。我们学过生物的同学都知道，神经元有两种状态：兴奋和抑制。一般情况下，大多数的神经元是处于抑制状态，但是一旦某个神经元收到刺激，导致它的电位超过一个阈值

解决的问题 ： 　　由于梯度消失，深层网络很难训练。因为梯度反向传播到前面的层，重复相乘可能使梯度无穷小。结果就是，随着网络的层数更深，其性能趋于饱和，甚至迅速下降。 核心思想： 　　 引入一个恒等快捷键（也称之为跳跃连接线），直接跳过一个或者多个层。如图一 　　　　　图一 　　 当有这条跳跃连接线时，网络层次很深导致梯度消失时，f(x)=0，y=g(x)=relu(x)=x 1. 在网络上堆叠这样的结构，就算梯度消失，我什么也学不到，我至少把原来的样子恒等映射了过去，相当于在浅层网络上堆叠了“复制层”，这样至少不会比浅层网络差。 2. 万一我不小心学到了什么，那就赚大了，由于我经常恒等映射，所以我学习到东西的概率很大。 关于为什么残差结构（即多了一条跳跃连接线后）为什么一定程度缓解了梯度消散的数学推导： 相加是尺寸一样时才可以相加，尺寸一样时如上述， 当尺寸不一样时 ， 而所谓Resnet-18,Resnet-50,等，不过是层数不一罢了，如下图，惯用的是Resnet-50与101 来源： https://www.cnblogs.com/qianchaomoon/p/12315906.html

VRF实例说明 Virtual Routing Forwarding VPN 路由 转发表 ，也称VPN-instance（VPN实例），是PE为直接相连的site建立并维护的一个专门实体，每个site在PE上都有自己的VPN-instance，每个VPN-instance包含到一个或多个与该PE直接相连的CE的路由和转发表，另外如果要实现同一VPN各个Site间的互通，该VPN-instance还就应该包含连接在其他PE上的发出该VPN的Site的路由信息。 MPLS VPN网络 主要由CE、PE和P等3部分组成：CE(Customer Edge Router，用户网络边缘 路由器 ）设备直接与服务提供商网络（图1中的MPLS骨干网络）相连，它“感知”不到VPN的存在；PE(Provider Edge Router，骨干网边缘路由器）设备与用户的CE直接相连，负责VPN业务接入，处理VPN-IPv4路由，是MPLS三层VPN的主要实现者：P(Provider Router，骨干网 核心路由器 ）负责快速转发数据，不与CE直接相连。在整个MPLS VPN中，P、PE设备需要支持MPLS的基本功能，CE设备不必支持MPLS。 PE是MPLS VPN网络的 关键设备 ，根据PE路由器是否参与客户的路由，MPLS VPN分成Layer3 MPLS VPN和Layer2 MPLS VPN

参考简书文章 AutoML研究分析 ，少有改动 文章目录 1. Auto Keras 2. 其它AutoML产品（工具包） 2.1 AutoWEKA 2.2 Auto-sklearn 2.3 H2O AutoML 2.4 Google Cloud AutoML 3. AutoML实现原理分析 3.1 NAS 3.1.1 搜索空间 3.1.2 搜索策略 3.1.3 性能评估策略 3.1.4 NAS未来的方向 3.1.5 NAS的演进 3.2 Hyper-parameter optimization 3.3 Meta-Learning 3.4 算法相关 3.4.1 强化学习 3.4.2 进化算法 3.4.3 贝叶斯优化 4. AutoML应用场景 参考材料 AutoML全称是automated machine learning，下面有一段AutoML不是什么的描述： AutoML is not automated data science. While there is undoubtedly overlap, machine learning is but one of many tools in the data science toolkit, and its use does not actually factor in to all data science tasks.

循环神经网络（Recurrent Neural Networks） 人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时，你会根据之前理解过的信息来理解下面看到的文字。在理解当前文字的时候，你并不会忘记之前看过的文字，从头思考当前文字的含义。 传统的神经网络并不能做到这一点，这是在对这种序列信息（如语音）进行预测时的一个缺点。比如你想对电影中的每个片段去做事件分类，传统的神经网络是很难通过利用前面的事件信息来对后面事件进行分类。 而循环神经网络（下面简称RNNs）可以通过不停的将信息循环操作，保证信息持续存在，从而解决上述问题。RNNs如下图所示 1.png 可以看出A是一组神经网络（可以理解为一个网络的自循环），它的工作是不停的接收 并且输出 。从图中可以看出A允许将信息不停的再内部循环，这样使得它可以保证每一步的计算都保存以前的信息。 这样讲可能还是有点晕，更好的理解方式，也是很多文章的做法，将RNNs的自循环结构展开，像是将同一个网络复制并连成一条线的结构，将自身提取的信息传递给下一个继承者，如下图所示。 2.png 这种链式的结构揭示了RNNs与序列和列表类型的数据密切相关。好像他们生来就是为了处理序列类型数据的。 谁说不是呢！在过去的几年里，RNNs在语音识别、文字建模、翻译、字幕等领域有很成功的应用。在Andrej Karpathy写的博客 The

ResNet 核心就是残差学习单元，相比常规神经网络残差学习单元能够避免出现梯度消失的现象。 ResNet使用两种残差单元，左图（BasicBlock）对应的是浅层网络，而右图（Bottleneck）对应的是深层网络。 在每组残差单元中，第一个单元需要进行下采样从而与单元输出的结果进行匹配。 resnet18采用的都是BasicBlock进行的叠加，前两组残差单元如下图： resnet50采用的都是Bottleneck进行的叠加，前两组残差单元如下图： 文字功力有限，直接上代码： import torch import torch . nn as nn from torchsummary import summary def conv3x3 ( in_planes , out_planes , padding = 0 , stride = 1 , bn = True , rl = True ) : """3x3 convolution with padding""" layers = [ ] layers . append ( nn . Conv2d ( in_planes , out_planes , kernel_size = 3 , padding = padding , stride = stride ) ) if bn : layers . append ( nn .

本文由Zouxy责编，全面介绍了深度学习的发展历史及其在各个领域的应用，并解释了深度学习的基本思想，深度与浅度学习的区别和深度学习与神经网络之间的关系。 深度学习 ， 即Deep Learning,是一种学习算法（Learning algorithm）,亦是人工智能领域的一个重要分支。从快速发展到实际应用，短短几年时间里，深度学习颠覆了语音识别、图像分类、文本理解等众多领域的算法设计思路，渐渐形成了一种从训练数据出发，经过一个端到端（end-to-end）的模型，然后直接输出得到最终结果的一种新模式。那么，深度学习有多深？学了究竟有几分？本文将带你领略深度学习高端范儿背后的方法与过程。 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1、特征表示的粒度 4.2、初级（浅层）特征表示 4.3、结构性特征表示 4.4、需要有多少个特征？ 五、Deep Learning的基本思想 六、浅层学习（Shallow Learning）和深度学习（Deep Learning） 七、Deep learning与Neural Network 八、Deep learning训练过程 8.1、传统神经网络的训练方法 8.2、deep learning训练过程 九、Deep Learning的常用模型或者方法 9.1、AutoEncoder自动编码器 9.2、Sparse Coding稀疏编码 9

人工智能、机器学习及深度学习的起源和发展 发展时间线 第一阶段：人工智能起步期 1956—1980s 1956达特茅斯会议标志AI诞生 1957神经网络Perceptron被罗森布拉特发明 1970受限于计算能力，进入第一个寒冬 第二阶段：专家系统推广 1980s—1990s 1980 XCON专家系统出现，每年节约4000万美元 1986 BP ，Geoffrey Hinton提出了前馈算法，一个通过对输入数据按照重要进行排序的精准神经网络。 1989 卷积，Yann LeCun写了另外一篇旷世之作，描述了卷积神经网络。这些发现突破了计算机难以解决的问题，譬如从一张照片中找到一只猫。 1990——1991 人工智能计算机DARPA没能实现，政府投入缩减，进入第二次低谷 1997 IBM的DeepBlue战胜国际象棋冠军 1997 Schmidhuber发明了长短期记忆网络（LSTM） 第三阶段：深度学习 2000s—至今 2006 Hinton提出“深度学习”的神经网络 2011 苹果的Siri问世，技术上不断创新 2012 Google无人驾驶汽车上路（2009年宣布） 2012年，计算机视觉界顶级比赛ILSVRC中，多伦多大学Hinton团队所提出的深度卷积神经网络结构AlexNet一鸣惊人，同时也拉开了深度卷积神经网络在计算机视觉领域广泛应用的序幕。成功原因 大量数据，