网络优化

参考简书文章 AutoML研究分析 ，少有改动 文章目录 1. Auto Keras 2. 其它AutoML产品（工具包） 2.1 AutoWEKA 2.2 Auto-sklearn 2.3 H2O AutoML 2.4 Google Cloud AutoML 3. AutoML实现原理分析 3.1 NAS 3.1.1 搜索空间 3.1.2 搜索策略 3.1.3 性能评估策略 3.1.4 NAS未来的方向 3.1.5 NAS的演进 3.2 Hyper-parameter optimization 3.3 Meta-Learning 3.4 算法相关 3.4.1 强化学习 3.4.2 进化算法 3.4.3 贝叶斯优化 4. AutoML应用场景 参考材料 AutoML全称是automated machine learning，下面有一段AutoML不是什么的描述： AutoML is not automated data science. While there is undoubtedly overlap, machine learning is but one of many tools in the data science toolkit, and its use does not actually factor in to all data science tasks.

防火墙和系统安全防护和优化 什么是防火墙？ 　　 所谓防火墙指的是一个由软件和硬件设备组合而成、在内部网和外部网之间、专用网与公共网之间的界面上构造的保护屏障.是一种获取安全性方法的形象说法，它是一种计算机硬件和软件的结合，使Internet与Intranet之间建立起一个安全网关（Security Gateway），从而保护内部网免受非法用户的侵入，防火墙主要由服务访问规则、验证工具、包过滤和应用网关4个部分组成，防火墙就是一个位于计算机和它所连接的网络之间的软件或硬件。该计算机流入流出的所有网络通信和数据包均要经过此防火墙。 防火墙是在两个网络通讯时执行的一种访问控制尺度，能最大限度阻止网络中的黑客访问你的网络。是指设置在不同网络（如可信任的企业内部网和不可信的公共网）或网络安全域之间的一系列部件的组合。它是不同网络或网络安全域之间信息的唯一出入口，能根据企业的安全政策控制（允许、拒绝、监测）出入网络的信息流，且本身具有较强的抗攻击能力。它是提供信息安全服务，实现网络和信息安全的基础设施。在逻辑上，防火墙是一个分离器，一个限制器，也是一个分析器，有效地监控了内部网和Internet之间的任何活动，保证了内部网络的安全。 防护墙有什么功能？ 1、入侵检测功能 网络防火墙技术的主要功能之一就是入侵检测功能，主要有反端口扫描、检测拒绝服务工具、检测CGI/IIS服务器入侵

这个网站上已经有很多性能问题，但我发现几乎所有问题都是针对特定问题而且相当狭窄。 几乎所有人都重复这些建议，以避免过早优化。 我们假设： 代码已经正常工作 所选择的算法对于问题的情况已经是最佳的 已经测量了代码，并且已经隔离了违规的例程 所有优化尝试也将被测量，以确保它们不会使事情变得更糟 我在这里寻找的是在一个关键算法中挤出最后几个百分点的策略和技巧，除此之外别无他法。 理想情况下，尝试使答案语言不可知，并在适用的情况下指出建议策略的任何缺点。 我将使用我自己的初步建议添加回复，并期待Stack Overflow社区可以想到的任何其他内容。 #1楼 我花了一些时间来优化在低带宽和长延迟网络（例如卫星，远程，离岸）上运行的客户端/服务器业务系统，并且能够通过相当可重复的过程实现一些显着的性能改进。 措施 ：首先了解网络的基础容量和拓扑。 与业务中的相关网络人员交谈，并利用ping和traceroute等基本工具在典型的运营期间（至少）建立每个客户端位置的网络延迟。 接下来，对显示有问题症状的特定最终用户功能进行准确的时间测量。 记录所有这些测量值，以及它们的位置，日期和时间。 考虑在客户端应用程序中构建最终用户“网络性能测试”功能，允许高级用户参与改进过程; 当你处理因表现不佳的系统而感到沮丧的用户时，像这样赋予他们权力可能会产生 巨大的 心理影响。 分析

无论你在做前端、后端还是运维，HTTP都是不得不打交道的网络协议。它是最常用的应用层协议，对它的优化，既能通过降低时延带来更好的体验性，也能通过降低资源消耗带来更高的并发性。 可是，学习HTTP不久的同学，很难全面说出HTTP的所有优化点。这既有可能是你没好好准备过大厂的面试:-)，也有可能你没有加入一个快速发展的项目，当产品的用户量不断翻番时，需求会倒逼着你优化HTTP协议。 这篇文章是根据我在2019年GOPS全球运维大会上海站的演讲PPT，重新提炼文字后的总结。我希望能 从四个全新的维度，带你覆盖绝大部分的HTTP优化技巧 。这样，即使还不需要极致方法去解决当前的性能瓶颈，也会知道优化方向在哪，当需求来临时，能够到Google上定向查阅资料。 第一个维度，是从编码效率上，更快速地把消息转换成更短的字符流。这是最直接的性能优化点。 一、编码效率优化 如果你对HTTP/1.1协议做过抓包分析，就会发现它是用“ whitespace-delimited ”方式编码的。用空格、回车来编码，是因为HTTP在诞生之初 追求可读性 ，这样更有利于它的推广。 然而在当下，这种低效的编码方式已经严重影响性能了，所以2009年Google推出了基于二进制的SPDY协议，大幅提升了编码效率。2015年，稍做改进后它被确定为HTTP/2协议，现在50%以上的站点都在使用它。 这是编码优化的大方向

http://www.zdnet.com.cn/wiki-GSLB GSLB GSLB 是英文Gobal Server Load Balance的缩写，意思是全局负载均衡。 作用：实现在广域网(包括互联网)上不同地域的服务器间的流量调配，保证使用最佳的服务器服务离自己最近的客户，从而确保访问质量。 分类：基于DNS实现、基于重定向实现、基于路由协议实现。特点：能通过判断服务器的负载，包括CPU占用、带宽占用等数据，决定服务器的可用性，同时能判断用户(访问者)与服务器间的链路状况，选择链路状况最好的服务器。因此GSLB是对服务器和链路进行综合判断来决定由哪个地点的服务器来提供服务，实现异地服务器群服务质量的保证。 使用范围：所有有多个站点的系统，最常见的是在CDN系统中作为核心的流量调度系统 常见的全局负载均衡策略 方式一:基于DNS重定向 当用户在浏览器访问时,首先要进行DNS解析,即查找出的IP地址,然后用户与该IP地址建立TCP连接访问网站内容,DNS流量分配方式工作在DNS解析过程中?通过在域的DNS服务器上增加一条NS记录,即的NS纪录指向位于某一全局负载均衡设备(不失一般性,假设为位于分布1的L4交换机)的控制IP地址,对的解析将由该Layer4 Switch负责,由DNS的工作过程可以知道如下过程: 1)用户将DNS请求发到其本地DNS服务器

防火墙和系统安全防护和优化 防火墙 简介 防火墙技术是通过有机结合各类用于安全管理与筛选的软件和硬件设备，帮助计算机网络于其内、外网之间构建一道相对隔绝的保护屏障，以保护用户资料与信息安全性的一种技术。 防火墙技术的功能主要在于及时发现并处理计算机网络运行时可能存在的安全风险、数据传输等问题，其中处理措施包括隔离与保护，同时可对计算机网络安全当中的各项操作实施记录与检测，以确保计算机网络运行的安全性，保障用户资料与信息的完整性，为用户提供更好、更安全的计算机网络使用体验。 基本定义 所谓“防火墙”是指一种将内部网和公众访问网（如Internet）分开的方法，它实际上是一种建立在现代通信网络技术和信息安全技术基础上的应用性安全技术，隔离技术。越来越多地应用于专用网络与公用网络的互联环境之中，尤其以接入Internet网络为最甚。 防火墙代主要是借助硬件和软件的作用于内部和外部网络的环境间产生一种保护的屏障，从而实现对计算机不安全网络因素的阻断。只有在防火墙同意情况下，用户才能够进入计算机内，如果不同意就会被阻挡于外，防火墙技术的警报功能十分强大，在外部的用户要进入到计算机内时，防火墙就会迅速的发出相应的警报，并提醒用户的行为，并进行自我的判断来决定是否允许外部的用户进入到内部，只要是在网络环境内的用户，这种防火墙都能够进行有效的查询，同时把查到信息朝用户进行显示

防火墙和系统安全防护和优化 防火墙 1、防火墙简介 防火墙（Firewall），也称防护墙，它是一种位于内部网络与外部网络之间的网络安全系统。一项信息安全的防护系统，依照特定的规则，允许或是限制传输的数据通过。 防火墙的发明者是吉尔·舍伍德。 2、防火墙的类型 网络层防火墙 应用层防火墙 数据库防火墙 3、基本特性与优点 基本特性： 内部网络和外部网络之间的所有网络数据流都必须经过防火墙 只有符合安全策略的数据流才能通过防火墙 防火墙自身应具有非常强的抗攻击免疫力 应用层防火墙具备更细致的防护能力 数据库防火墙针对数据库恶意攻击的阻断能力 优点： 防火墙能强化安全策略。 防火墙能有效地记录Internet上的活动。 防火墙限制暴露用户点。防火墙能够用来隔开网络中一个网段与另一个网段。这样，能够防止影响一个网段的问题通过整个网络传播。 防火墙是一个安全策略的检查站。所有进出的信息都必须通过防火墙，防火墙便成为安全问题的检查点，使可疑的访问被拒绝于门外。 4、功能 （1）入侵检测功能 网络防火墙技术的主要功能之一就是入侵检测功能，主要有反端口扫描、检测拒绝服务工具、检测CGI/IIS服务器入侵、检测木马或者网络蠕虫攻击、检测缓冲区溢出攻击等功能，可以极大程度上减少网络威胁因素的入侵，有效阻挡大多数网络安全攻击。 （2）网络地址转换功能

NAT IPv4地址只有32位，最多只能提供大致42.9亿个唯一IP地址，当设备越来越多时，IP地址变得越来越稀缺，不能为每个设备都分配一个IP地址。于是，作为NAT规范就出现了。NAT（Network Address Translation，网络地址转换）是1994年提出的，其当在专用网内部的一些主机本来已经分配到了本地IP地址（即仅在本专用网内使用的专用地址），但现在又想和因特网上的主机通信（并不需要加密）时，可使用NAT方法。每个NAT设备负责维护一个包含本地IP、端口和外网IP、端口的映射表。所有使用本地地址的主机在和外界通信时，都要在NAT路由器上将其本地地址转换成全球IP地址，才能和因特网连接。其大致过程如下： NAT的实现方式有如下三种，即： 静态转换(Static NAT)：将内部网络的私有IP地址转换为公有IP地址，IP地址对是一对一的，是一成不变的，某个私有IP地址只转换为某个公有IP地址； 动态转换(Dynamic NAT)：将内部网络的私有IP地址转换为公用IP地址时，IP地址是不确定的，是随机的，所有被授权访问上Internet的私有IP地址可随机转换为任何指定的合法IP地址，当ISP提供的合法IP地址略少于网络内部的计算机数量时。可以采用动态转换的方式； 端口多路复用(Port NAT)：改变外出数据包的源端口并进行端口转换，即端口地址转换

1.LTE网络架构 不同的网络类型有不同的网络架构，包含有不同的网络模块和组件。目前来说，LTE是运营商布设网络的首选，而且其架构更加简洁，组件更少、依赖更少，性能也更好。本文就以LTE为例介绍其网络架构。 无线接入网络 无线接入网络（RAN）在任何类型的网络中都是非常关键的逻辑组件。它主要负责把请求转发到分配好的无线信道，从用户设备接收或者向设备发送数据。RAN是一个无线资源控制器控制和管理的组件，在LTE中每个无线基站(eNodeB)都安装有RRC，负责维护RRC状态机并为小区内每个用户分配资源。 当设备处在网络中时，如果还能接收到其他邻居小区的信号，它会选择信号强度最大的进入连接；当前小区超载时，也会被转移到邻居小区进行数据传输。移动终端设备无线电移交比较频繁，需要不断的进行小区转移协商，空闲状态下也不例外，网络需要时刻知道设备所在小区，以备将来数据传输。 核心网络 核心网络（EPC），在LTE中负责数据路由、账户、策略管理，是无线网络和公共互联网连接起来的关键部分。 PGW：在EPC系统中引入的PGW（Packet GateWay，分组网关）网元实体，其英文全称为PDN Gateway，它类似于GGSN网元的功能，为EPC网络的边界网关，提供用户的会话管理和承载控制、数据转发、IP地址分配以及非3GPP用户接入等功能。还负责执行所有公共策略，比如分组过滤、QoS分配

防火墙和系统安全防护和优化 防火墙 防火墙(Firewall)，也称防护墙，是由Check Point创立者Gil Shwed于1993年发明并引入国际互联网(US5606668(A)1993-12-15)。它是一种位于内部网络与外部网络之间的网络安全系统。一项信息安全的防护系统，依照特定的规则，允许或是限制传输的数据通过。 定义 所谓防火墙指的是一个由软件和硬件设备组合而成、在内部网和外部网之间、专用网与公共网之间的界面上构造的保护屏障.是一种获取安全性方法的形象说法，它是一种计算机硬件和软件的结合，使Internet与Intranet之间建立起一个安全网关（Security Gateway），从而保护内部网免受非法用户的侵入，防火墙主要由服务访问规则、验证工具、包过滤和应用网关4个部分组成，防火墙就是一个位于计算机和它所连接的网络之间的软件或硬件。该计算机流入流出的所有网络通信和数据包均要经过此防火墙。[2] 在网络中，所谓“防火墙”，是指一种将内部网和公众访问网(如Internet)分开的方法，它实际上是一种隔离技术。防火墙是在两个网络通讯时执行的一种访问控制尺度，它能允许你“同意”的人和数据进入你的网络，同时将你“不同意”的人和数据拒之门外，最大限度地阻止网络中的黑客来访问你的网络。换句话说，如果不通过防火墙，公司内部的人就无法访问Internet