分布式架构

什么是 zookeeper? Zookeeper 是google的chubby一个开源实现，是hadoop的分布式协调服务 它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 在Hbase中会用到。 Zk(zookeeper简称)可以用来保证数据在zk集群之间的数据的事物性一致。 Zk默认数据2M以下。 zookeeper架构图 如何搭建Zookeeper服务器集群 zk服务器集群规模不小于3节点，要求服务器之间系统时间要保持一致。 将下载的zookeeper复制到/usr/local 里，解压： tar –zxvf zookeeper-3.4.5.tar.gz 重命名： mv zookeeper-3.4.5.tar.gz zk 在hadoop的/usr/local目录下，解压缩zk….tar.gz，设置环境变量 设置环境变量： 加入： export ZOOKEEPER_HOME=/usr/local/zk 在PATH 后面追加： :$ZOOKEEPER_HOME/bin 使环境变量生效： source /etc/profile 在conf目录下，修改文件 mv zoo_sample.cfg zoo.cfg [root@hadoop zk]# cd conf [root@hadoop conf]# ls configuration.xsl

CSDN看到一篇介绍架构设计的博客，内容提纲挈领，内容丰富。依据原文整理，加上自己的理解和总结。 推荐给大家。点击原文可以查看出处。 原文链接： https://blog.csdn.net/hguisu/article/details/78258430 什么是架构和架构本质 在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。此君说的架构和彼君理解的架构未必是一回事。因此我们在讨论架构之前，我们先讨论架构的概念定义，概念是人认识这个世界的基础，并用来沟通的手段，如果对架构概念理解不一样，那沟通起来自然不顺畅。 Linux有架构，MySQL有架构，JVM也有架构，使用Java开发、MySQL存储、跑在Linux上的业务系统也有架构，应该关注哪一个？ 想要清楚以上问题需要梳理几个有关系又相似的概念：系统与子系统、模块与组建、框架与架构: 区分系统、模块、组件、框架和架构 S君： 区分系统、模块、组件、框架和架构 系统(system)和子系统：有 关联 的个体，根据某种 规则 运行，共同完成独特的 功能 。子系统：系统的组成部分。 模块(module)和组件(component)：模块和组件都是系统的组成部分，只是从不同角度拆分系统而已。 从逻辑角度拆分得到的是模块，从物理角度拆分得到的是组件。 模块是为了实现职责分离， 组件是为了实现复用。 框架

3 月，跳不动了？>>> CSDN看到一篇介绍架构设计的博客，内容提纲挈领，内容丰富。依据原文整理，加上自己的理解和总结。 推荐给大家。点击原文可以查看出处。 原文链接： https://blog.csdn.net/hguisu/article/details/78258430 什么是架构和架构本质 在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。此君说的架构和彼君理解的架构未必是一回事。因此我们在讨论架构之前，我们先讨论架构的概念定义，概念是人认识这个世界的基础，并用来沟通的手段，如果对架构概念理解不一样，那沟通起来自然不顺畅。 Linux有架构，MySQL有架构，JVM也有架构，使用Java开发、MySQL存储、跑在Linux上的业务系统也有架构，应该关注哪一个？ 想要清楚以上问题需要梳理几个有关系又相似的概念：系统与子系统、模块与组建、框架与架构: 区分系统、模块、组件、框架和架构 S君： 区分系统、模块、组件、框架和架构 系统(system)和子系统：有 关联 的个体，根据某种 规则 运行，共同完成独特的 功能 。子系统：系统的组成部分。 模块(module)和组件(component)：模块和组件都是系统的组成部分，只是从不同角度拆分系统而已。 从逻辑角度拆分得到的是模块，从物理角度拆分得到的是组件。 模块是为了实现职责分离， 组件是为了实现复用。 框架

作者：李小翀 链接： https://www.zhihu.com/question/22764869/answer/31277656 来源：知乎 1.初始 初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征：应用程序、数据库、文件等所有的资源都在一台服务器上。描述：通常服务器操作系统使用linux，应用程序使用JSP/PHP/ASP开发，然后部署在Apache上，数据库使用Mysql，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了。 特征： 应用程序、数据库、文件等所有的资源都在一台服务器上。 描述： 通常服务器操作系统使用linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用Mysql，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了 2.应用服务和数据服务分离 好景不长，发现随着系统访问量的再度增加，webserver机器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台webserver 特征： 应用程序、数据库、文件分别部署在独立的资源上。 描述： 数据量增加，单台服务器性能及存储空间不足，需要将应用和数据分离，并发处理能力和数据存储空间得到了很大改善。 3.使用缓存提高性能 特征： 数据库中访问较集中的一小部分数据存储在缓存服务器中，减少数据库的访问次数，降低数据库的访问压力

在信息产业高速发展的今天， 企业 间的竞争将更加激烈。随着规模的不断扩大和业务的不断更新，企业迫切需求完整的分布式解决方案，用于管理复杂的异构环境，实现不同硬件设备、软件系统、网络环境及数据库系统之间的完整集成。 背景介绍 纵观人类计算机的发展历史，每隔十年至十五年，信息产业就会发生周期性的变革，1950年至1970年期间，企业主要采用大型主机－终端的体系结构，企业 应用 系统则采用单一、集中的方式为用户提供资源共享服务。80年代初期，开放系统与关系型数据库管理系统被企业大量采用，有别于集中式系统，应用程序逻辑分散在主从两端。随着Windows的普及，90年代则是图形化的应用时代，Client/Server体系结构也被广泛采用。90年代后期，信息产业出现了分布式对象技术，应用程序可以分布在不同的系统平台上，通过分布式技术实现异构平台间对象的相互通信。将企业已有系统集成于分布式系统，可以极大地提高企业应用系统的扩展性。90年代末出现的 多层 分布式应用为企业进一步简化应用系统的开发指明了方向。 在传统的Client/Server结构中，应用程序逻辑通常分布在 客户端 和 服务器 两端，客户端发出数据资源访问请求，服务器端将结果返回客户端。Client/Server结构的缺陷是，当客户端数目激增时，服务器的性能将会因为无法进行负载平衡而大大下降。而一旦应用的需求发生变化

章节一压力测试课程介绍 1、2018年亿级流量压测系列之Jmeter4.0课程介绍和效果演示 简介： 讲解课程安排，使用的Jmeter版本 讲课风格：涉及的组件，操作配置多，不会一次性讲解，会先讲部分，然后在后续操作中慢慢补充，更容易消化和理解 2、常用压力测试工具对比 简介：目前用的常用测试工具对比 1、loadrunner 性能稳定，压测结果及细粒度大，可以自定义脚本进行压测，但是太过于重大，功能比较繁多 2、apache ab(单接口压测最方便) 模拟多线程并发请求,ab命令对发出负载的计算机要求很低，既不会占用很多CPU，也不会占用太多的内存，但却会给目标服务器造成巨大的负载, 简单DDOS×××等 3、webbench webbench首先fork出多个子进程，每个子进程都循环做web访问测试。子进程把访问的结果通过pipe告诉父进程，父进程做最终的统计结果。 章节二 JMeter4.x基础知识讲解和压测实操 3、Jmeter基本介绍和使用场景 简介 1、压测不同的协议和应用 1) Web - HTTP, HTTPS (Java, NodeJS, PHP, ASP.NET, …) 2) SOAP / REST Webservices 3) FTP 4) Database via JDBC 5) LDAP 轻量目录访问协议 6) Message-oriented

大数据开发总体架构： Hadoop是大数据开发所使用的一个核心框架。使用Hadoop可以方便的管理分布式集群，将海量数据分布式的存储在集群中，并使用分布式并行程序来处理这些数据。 Hadoop由许多子系统组成，如下图： Hadoop1.x与2.x的对比： YARN：管理集群资源（内存、CPU） 来源： https://www.cnblogs.com/dreamboy/p/12512702.html

C/S架构的应用程序，将一些复杂的计算逻辑由客户端转移到服务器端可以改善性能，同时也为了其它方面的控制。.NET Remoting在局域网内调用的性能相当不错。ERP系统中基于.NET Remoting和WCF构建一个应用程序服务器(Application Server)。 分布式应用设计目标： 1 客户端的连接，服务器要能控制。服务器根据授权许可文件的内容，控制客户端并发数。 2 服务器崩溃，客户端要得到通知，挂起当前数据输入操作，当服务器可用时，客户端可自动重新连接 。 3 支持数据加密，对敏感的数据可用加密的端口和通道传输。 4 支持数据压缩，改善数据传输效率，因为要做一个压缩与解压缩动作，性能有所降低。 5 安全控制，应用程序服务器阻止未授权的或未签名的应用程序的连接。 6 客户端向服务器传送大文件，传送图片需要时性能优化 7 服务器端发现错误时，支持堆栈传回客户端以诊断原因。 8 开发和部署简单方便。 先设计服务器与客户端通信的接口，一个简单销售合同数据表的访问接口代码如下所示。 public interface ISalesContractManager { SalesContractEntity GetSalesContract(Guid sessionId, String ContractNo); SalesContractEntity

以下是消息队列以下的大纲，本文主要介绍消息队列概述，消息队列应用场景和消息中间件示例（电商，日志系统）。 本次分享大纲 消息队列概述 消息队列应用场景 消息中间件示例 JMS消息服务 常用消息队列 参考（推荐）资料 本次分享总结 一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。 二、消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景。 2.1异步处理 场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种1.串行的方式；2.并行方式。 （1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。（架构KKQ：466097527，欢迎加入） （2）并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户端。与串行的差别是，并行的方式可以提高处理的时间。 假设三个业务节点每个使用50毫秒钟，不考虑网络等其他开销，则串行方式的时间是150毫秒

本文是大型网站架构系列：消息队列（二），主要分享JMS消息服务，常用消息中间件（Active MQ，Rabbit MQ，Zero MQ，Kafka）。【第二篇的内容大部分为网络资源的整理和汇总，供大家学习总结使用，最后有文章来源】 本次分享大纲 消息队列概述（见第一篇： 大型网站架构系列：分布式消息队列（一） ） 消息队列应用场景（见第一篇： 大型网站架构系列：分布式消息队列（一） ） 消息中间件示例（见第一篇： 大型网站架构系列：分布式消息队列（一） ） JMS消息服务 常用消息队列 参考（推荐）资料 本次分享总结 四、JMS消息服务 讲消息队列就不得不提JMS 。JMS（JAVA Message Service,java消息服务）API是一个消息服务的标准/规范，允许应用程序组件基于JavaEE平台创建、发送、接收和读取消息。它使分布式通信耦合度更低，消息服务更加可靠以及异步性。 在EJB架构中，有消息bean可以无缝的与JM消息服务集成。在J2EE架构模式中，有消息服务者模式，用于实现消息与应用直接的解耦。 4.1消息模型 在JMS标准中，有两种消息模型P2P（Point to Point）,Publish/Subscribe(Pub/Sub)。 4.1.1 P2P模式 P2P模式包含三个角色：消息队列（Queue），发送者(Sender)，接收者(Receiver)