网络架构

今日完成 完成了tensorborad的可视化部分 新增了四十余组crime数据，现在loss function正在训练，稳步下降中，如上图loss可视化所示 明日计划 继续训练，继续等，看最后的结果，继续收集更多的数据。 如果可能的话把代码移植一下，移植到GPU上去跑，这样效率大概会快四五倍 数据还需要继续的大量收集，现在两百份左右的数据完全不够 今日感想 太开心了 原来其实是我的网络架构没有问题的 只是需要等就好了 要是爱情有这么简单就好了 来源： https://www.cnblogs.com/I-AM-DUMBASS/p/11440299.html

主要语义分割网络调研 介绍 图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。虽然自 2007 年以来，语义分割/场景解析一直是计算机视觉社区的一部分，但与计算机视觉中的其他领域很相似，自 2014 年 Long等人 首次使用全卷积神经网络对自然图像进行端到端分割，语义分割才产生了大的突破。 网络架构 一般的语义分割架构可以被认为是一个 编码器-解码器 网络。 编码器 通常是一个预训练的分类网络，像 VGG、ResNet，然后是一个 解码器 网络。这些架构不同的地方主要在于 解码器 网络。 解码器 的任务是将 编码器 学习到的可判别特征（较低分辨率）从语义上投影到像素空间（较高分辨率），以获得密集分类。 不同于分类任务中网络的最终结果（对图像分类的概率）是唯一重要的事，语义分割不仅需要在像素级有判别能力，还需要有能将编码器在不同阶段学到的可判别特征投影到像素空间的机制。不同的架构采用不同的机制（跳跃连接、金字塔池化等）作为解码机制的一部分。 Fully Convolution Networks (FCNs) 全卷积网络 Fully Convolutional Networks for Semantic Segmentation(2015) 作者将当前分类网络（AlexNet, VGG net 和 GoogLeNet）修改为全卷积网络

• 比特币前端 ○ 钱包 ：钱包保存用户私钥，管理用户余额，提供比特币交易(支付，转账)功能 § 分类 □ 决定性钱包：决定性指私钥是否由种子生成 □ 非决定性钱包：直接保存私钥，私钥都保存在DB上面 ® 非决定性钱包不够安全 ® 管理不方便 □ 决定性钱包：所有私钥都由一个私钥种子通过单向的哈希算法生成 ® 备份方便，只要备份私钥种子，就可以一次性恢复所有的私钥 ® 分类 ◊ 普通决定性钱包：由私钥种子直接生成所有的私钥 ◊ 层级决定性钱包：由私钥种子生成父私钥，父私钥生成子私钥 § 部署场景分类 □ 移动钱包：运行在手机，移动终端的轻量级钱包。移动钱包不会下载整条区块链，采用“简化支付验证(SPV)”方法验证交易，也叫SPV钱包。 ® SPV验证：依靠网络上的可信任节点 查询所有区块的区块头，以及按照交易的确认数，再有就是能否在相应的区块中找到该笔交易来验证支付的真伪。 □ 桌面钱包 ® 分类 ◊ 厚钱包：下载整条区块链，进行完整交易 } bitcoinCore:提供完整钱包功能，包括签名，钱包加密，备份，密钥导入，导出等 } 厚钱包主要优势是安全，但有交易验证的开销，适合于安全性要求很高的场景 ◊ 薄钱包：不会下载整条区块链，而是采用SPV等方式来验证与用户相关支付交易 } 薄钱包主要优势是灵活性高，但是安全性相对较差，适合于小额支付场景 □ 互联网钱包 ®

一、微服务介绍 1. 什么是微服务 在介绍微服务时，首先得先理解什么是微服务，顾名思义，微服务得从两个方面去理解，什么是"微"、什么是"服务"， 微 狭义来讲就是体积小、著名的"2 pizza 团队"很好的诠释了这一解释（2 pizza 团队最早是亚马逊 CEO Bezos提出来的，意思是说单个服务的设计，所有参与人从设计、开发、测试、运维所有人加起来 只需要2个披萨就够了 ）。 而所谓服务，一定要区别于系统，服务一个或者一组相对较小且独立的功能单元，是用户可以感知最小功能集。 2. 微服务由来 微服务最早由Martin Fowler与James Lewis于2014年共同提出，微服务架构风格是一种使用一套小服务来开发单个应用的方式途径，每个服务运行在自己的进程中，并使用轻量级机制通信，通常是HTTP API，这些服务基于业务能力构建，并能够通过自动化部署机制来独立部署，这些服务使用不同的编程语言实现，以及不同数据存储技术，并保持最低限度的集中式管理。 3. 为什么需要微服务？ 在传统的IT行业软件大多都是各种独立系统的堆砌，这些系统的问题总结来说就是扩展性差，可靠性不高，维护成本高。到后面引入了SOA服务化，但是，由于 SOA 早期均使用了总线模式，这种总线模式是与某种技术栈强绑定的，比如：J2EE。这导致很多企业的遗留系统很难对接，切换时间太长，成本太高

背景 最近因工作原因开始了解Service Mesh与Envoy，为系统性梳理所学内容，因此沉淀了此文档，但由于所知有限，如文档中有描述不当之处，希望不吝赐教。 提到Envoy就不得不提Service Mesh，说到Service Mesh就一定要谈及微服务了，那么我们就先放下Envoy，简单了解下微服务、Service Mesh以及Envoy在Service Mesh中处于一个什么样的角色。 过去几年间，架构领域最火的方向非微服务莫属，那么微服务架构到底为我们带来了什么样的好处呢？下面通过一张图说明架构的演进，如下： 伴随着业务规模的变大，微服务的好处显而易见，例如它本身所具备的可扩展性、易维护性、故障和资源隔离性等诸多特性使得产品的生产研发效率大大提高，同时，基于微服务架构设计，研发人员可以构建出原生对于“云”具备超高友好度的系统，让产品的持续集成与发布变得更为便捷。 然而没有所谓的银弹，微服务带来很多好处的同时也引入了很多问题。在云原生模型里，一个应用可以由数百个服务组成，每个服务可能有数千个实例，每个实例的状态可能持续的发生变化，此时，服务间的通信不仅异常复杂，而且都是运行时的行为，管理好服务间通信对于保证端到端的性能与可靠性来说无疑成为重中之重。在Service Mesh没有出现之前，微服务框架之间的通讯大多采用SDK方案，但该方式短板也非常明显，例如对业务有侵入性

介绍 AutoML这个topic在机器学习领域越来越火，新的研究成果也是层出不穷。在网络架构(NAS)，模型压缩(AMC)，数据增强(AutoAugment)，优化器设计(Neural Optimizer Search)，平台相关优化(AutoTVM)等领域，我们都可以看到相应的研究成果表明机器学习可以达到比人肉调参更优的结果。自动化方法正在逐步替代调参工。相信不久的将来，我们面对一个场景，只要喂数据，其他的由机器一条龙完成，而且还能比人肉优化出来人牛X。它们本质上都是大规模空间中的最优参数搜索问题，因此很多方法基本都是相通的。其中网络架构的搜索(Neural Architecture Search, NAS)一直是业界主要研究对象，各种云服务也开始推出相关的服务。一开始的时候，这项技术需要依赖巨大的计算成本。随着各种改进，它的算力需求大大减少，使得它开始有可能飞入寻常百姓家。之前写过一篇简单讨论了相关的技术 《神经网络架构搜索（Neural Architecture Search）杂谈》 ，这里就不重复了。本文主要学习一下 Auto-Keras 这个开源项目中的实现，使用它我们可以在本地进行网络架构搜索。官方有一篇相关的paper介绍- Auto-Keras: An Efficient Neural Architecture Search System 。 安装过程很简单，详见

OSI和TCP/IP是很基础但又非常重要的网络基础知识 （1）OSI七层模型 OSI中的层 功能 TCP/IP协议族 应用层 文件传输，电子邮件，文件服务，虚拟终端 TFTP，HTTP，SNMP，FTP，SMTP，DNS，Telnet 表示层 数据格式化，代码转换，数据加密 没有协议 会话层 解除或建立与别的接点的联系 没有协议 传输层 提供端对端的接口 TCP，UDP 网络层 为数据包选择路由 IP，ICMP，RIP，OSPF，BGP，IGMP 数据链路层 传输有地址的帧以及错误检测功能 SLIP，CSLIP，PPP，ARP，RARP，MTU 物理层 以二进制数据形式在物理媒体上传输数据 ISO2110，IEEE802，IEEE802.2 （2）TCP/IP五层模型的协议 应用层 传输层 网络层 数据链路层 物理层 物理层：中继器、集线器、还有我们通常说的双绞线也工作在物理层 数据链路层：网桥（现已很少使用）、以太网交换机（二层交换机）、网卡（其实网卡是一半工作在物理层、一半工作在数据链路层） 网络层： 路由器 、三层 交换机 传输层：四层交换机、也有工作在四层的路由器 二、TCP/UDP协议 TCP (Transmission Control Protocol)和UDP(User Datagram Protocol)协议属于传输层协议。其中TCP提供IP环境下的数据可靠传输

title: 区块链技术：架构及进展 总结归纳 1 引言 传统数据库 传统的关系型数据库管理系统、NoSQL数据库管理系统 单一机构进行管理和维护 单一机构对所有数据拥有绝对的控制权 其他机构无法完整了解数据更新过程 无法信任数据库中的数据 在多个机构协作模式下，中心化的数据库管理系统始终存在信任问题 区块链 是一种去中心化、不可篡改、可追溯、多方共同维护的分布式数据库 能够将传统单方维护的仅涉及自己业务的多个孤立数据库整合在一起，分布式存储在多方共同维护地多节点上，任何一方都无法完全控制这些数据 只按照严格地规则和共识进行更新，从而实现了 可信的多方间的信息共享和监督 避免繁琐的人工对账 提高业务处理效率 降低交易成本 解决数据可信问题所使用的技术 P2P技术 非对称加密 共识机制 块链结构 通过应用区块链技术，无需借助任何第三方可信机构，互不了解、互不信任的多方可实现可信、对等的价值传输 比特币 BitCoin 时间：2008年 作者：中本聪(Satoshi Nakamoto) 区块链源自于比特币的底层技术 可以在没有任何权威中介机构统筹的情况下，互不信任的人可以直接用比特币进行支付。 以太坊 Etherenum 时间：2013年12月 作者：Buterin 可基于内置的以太币(Ether)实现数字货币交易 提供图灵完备的编程语言以编写智能合约(smart contract)

概述：虚拟化是一个广义术语，通常是指计算元件在虚拟的基础上而不是真实的基础上运行，是一个为了简化管理，优化资源的解决方案.服务器虚拟化则是一项用以整合基于x86服务器，来提高资源利用效率和性能的技术.本文从企业业务系统和管理角度出发，着重分析研究了X86技术架构下，虚拟网卡与SR-IOV、NUMA、虚拟磁盘格式相应的特点，并探索了不同应用场景下的资源划分和性能优化方案，希望能够通过多应用系统下的实践和最优配置，来提高X86服务器的性能和资源利用效率. 1 x86虚拟化两种常见的架构 对于x86虚拟化，有两种常见的架构：寄居架构和裸金属架构.寄居架构将虚拟化层运行在操作系统之上，当作一个应用来运行，对硬件的支持很广泛.相对的，裸金属架构直接将虚拟化层运行在x86的硬件系统上，可以直接访问硬件资源，无需通过操作系统来实现硬件访问，因此效率更高.Vmware Workstation和VMware Server都是基于寄居架构而实现的，而VMware ESX Server是业界第一个裸金属架构的虚拟化产品，目前已经发布了第五代产品.ESX Server需要运行在VMware认证的硬件平台上，可以提供出色的性能，完全可以满足大型数据中心对性能的要求.本文主要论述的也是基于X86裸金属架构下的服务器的资源划分和性能优化问题. 2 x86虚拟化资源划分的三个层面 服务器的资源划分简单的讲

一、Kubernetes的整体架构 Kubernetes属于主从分布式架构，主要由Master Node和Worker Node组成，以及包括客户端命令行工具kubectl和其它附加项。 Master Node：作为控制节点，对集群进行调度管理；Master Node由API Server、Scheduler、Cluster State Store和Controller-Manger Server所组成； Worker Node：作为真正的工作节点，运行业务应用的容器；Worker Node包含kubelet、kube proxy和Container Runtime；kubectl：用于通过命令行与API Server进行交互，而对Kubernetes进行操作，实现在集群中进行各种资源的增删改查等操作； Add-on：是对Kubernetes核心功能的扩展，例如增加网络和网络策略等能力。 二、Master Node（控制节点） 2.1 API Server（API服务器） API Server主要用来处理REST的操作，确保它们生效，并执行相关业务逻辑，以及更新etcd（或者其他存储）中的相关对象。API Server是所有REST命令的入口，它的相关结果状态将被保存在etcd（或其他存储）中。 API Server的基本功能包括： REST语义，监控，持久化和一致性保证，API