分布式部署

　　这是分布式集群环境下，如何实现session共享系列的第五篇。在上一篇： 分布式集群环境下，如何实现session共享四（部署项目测试） 中，针对nginx不同的负载均衡策略：轮询、ip_hash方式，测试了session的不同使用情况，并且留下了一个问题： 有没有可能针对nginx负载均衡策略（轮询）的基础上，对session实现共享呢？？？ 　　本篇在nginx负载均衡策略（轮询的基础上），通过spring-session将session存储到redis，实现session共享。 1.改造项目 　　1.1.导入依赖 <!--spring 版本--> <spring.version>5.0.2.RELEASE</spring.version> <spring.session.data.redis.version>1.3.1.RELEASE</spring.session.data.redis.version> <lettuce.version>3.5.0.Final</lettuce.version> <!-- spring web包 --> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-web</artifactId> <version>${spring.version}<

1、普通锁和分布式锁 为什么有了普通锁还需要分布式锁，当然是因为普通锁和分布式锁各有各的使用场景。普通针对多线程的场景，一般可以synchronized和lock。而分布式针对的是分布式的环境，系统部署在多个机器中，也会出现并发问题，并且场景是多个进程之间的并发问题。使用内存标记无法解决这个问题，因为内存是线程共享的。 2、普通锁 主要有两种synchronized和lock。下面介绍一下两个锁的异同点： 1）Lock是一个接口，而synchronized是Java中的关键字，synchronized是内置的语言实现； 　　2）synchronized除了在流程走完释放锁，还在发生异常时，会自动释放线程占有的锁，因此不会导致死锁现象发生；而Lock在发生异常时，如果没有主动通过unLock()去释放锁，则很可能造成死锁现象，因此使用Lock 时需要在finally块中释放锁； 　　3）Lock可以让等待锁的线程响应中断，而synchronized却不行，使用synchronized时，等待的线程会一直等待下去，不能够响应中断；当通过lockInterruptibly()方法获取某个锁时，如果不能获取到，只有进行等待的情况下，是可以响应中断的。 　　4）通过Lock可以知道有没有成功获取锁，而synchronized却无法办到。 　　5）Lock可以提高多个线程进行读操作的效率

（ 转载至： http://www.36dsj.com/archives/98977 ） 随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验，特别是 机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务 等核心部分的设计、架构经验。微博深度学习平台极大地提升了深度学习开发效率和业务迭代速度，提高了深度学习模型效果和业务效果。 人工智能和深度学习 人工智能为机器赋予人的智能。随着计算机计算能力越来越强，在重复性劳动和数学计算方面很快超过了人类。然而，一些人类通过直觉可以很快解决的问题，例如自然语言理解、图像识别、语音识别等，长期以来很难通过计算机解决。随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在这些领域也取得了重大的突破，甚至已经超越人类。深度学习大大拓展了人工智能的领域范围。 深度学习框架 深度学习框架是进行深度学习的工具。 简单来说，一套深度学习框架就是一套积木，各个组件就是某个模型或算法； 开发者通过简单设计和组装就能获得自己的一套方案。深度学习框架的出现降低了深度学习门槛。开发者不需要编写复杂的神经网络代码，只需要根据自己的数据集，使用已有模型通过简单配置训练出参数。 当前主流的深度学习开源框架如下： TensorFlow： 的优势是社区最活跃

一、前言&回顾 在上篇文章 Session分布式共享 = Session + Redis + Nginx 中，好多同学留言问了我好多问题，其中印象深刻的有：nginx挂了怎么办？采用Redis的Session方案与微软Session方案相比，有什么优势呢？Cookie也可以取代Session的，采用Redis的Session方案优势在哪里？Nginx的iphash方式到底是什么？MachineKey有啥用？Net Core怎样实现？ 那会儿看到大家的提问，我的回答也只是从应用层面回答，基本上的回答可以总结为：“别人这么做了，解决了这个问题，我用这个方法也解决了这个问题，原理请看链接。”很惭愧的说，那时的我并没有完全理解他真正的优势在哪里，只是凭着直觉和经验知道这样做比较好，知道当一部分东西不可控时候，将其解耦、可视化、集群就可以让一个系统更加健壮，但没有一个理论支撑。经过最近一段时间的查阅资料和阅读书籍，对此有了深刻理解，本文将从网站架构的可用性角度对这种Session共享进行分析和讲解，并用.net core再次实现这种架构模式。（Session分布式共享的net core版，因为工作没有机会应用到生产环境，过往经验就更别提了，所以只是研究性的，请大家注意，但园子里早有大牛写出了相关文章，本文结束会将相关文章贴出） 二、网站可用性--Session管理

第5章 数据分析 5.1 日志收集 5.1.1 inotify机制 通过inotify机制，能够对文件系统的变化进行监控，如对文件进行删除，修改等操作，可以及时通知应用程序进行相关事件的处理。 5.1.2 ActiveMQ-CPP C++接口的消息订阅系统 5.1.3 架构和存储 数据需要经过inotify客户端，经由ActiveMQ进行转发，通过storm进行实时处理，再存储到Mysql、HDFS、Hbase或者Memcache这些存储系统当中，最后再进行深度分析或者实时的展现 5.1.4 Chukwa 5.2 离线数据分析 5.2.1 Hadoop项目简介 Hadoop：HDFS，MapReduce，Zookeeper、Hbase、Hive、Pig、Mahout 5.2.2 Hadoop环境搭建 略 5.2.3 MapReduce编写 5.2.4 Hive的使用 略 5.3 流式数据分析 5.3.1 Storm的介绍 1、Storm是一个开源的分布式实时计算系统，可以简单，可靠地对大量的流式数据进行分析。 2、通过zeroMQ作为底层的消息队列，可以保证消息能得到很快的处理 5.3.2 安装部署storm 略 5.3.3 storm的使用 5.4 数据同步 在线的OLTP 或 日志系统-----OLAP系统----->多维度复杂的数据分析和汇总操作 5.4.1 离线数据同步 1

首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。 Hadoop主要包含三个模块： HDFS模块：HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。 YARN模块：YARN是一个通用的资源协同和任务调度框架，是为了解决Hadoop中MapReduce里NameNode负载太大和其他问题而创建的一个框架。YARN是个通用框架，不止可以运行MapReduce，还可以运行Spark、Storm等其他计算框架。 MapReduce模块：MapReduce是一个计算框架，它给出了一种数据处理的方式，即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适用于大数据的离线处理，对实时性要求很高的应用不适用。多相关信息可以参考博客： 初识HDFS（10分钟了解HDFS、NameNode和DataNode） 。

3 月，跳不动了？>>> 本次分享的内容主要包括五个大部分： Redis、RedisCluster和Codis; 我们更爱一致性; Codis在生产环境中的使用的经验和坑们; 对于分布式数据库和分布式架构的一些看法; Q & A环节。   Codis是一个分布式Redis解决方案，与官方的纯P2P的模式不同，Codis采用的是Proxy-based的方案。今天我们介绍一下Codis及下一个大版本RebornDB的设计，同时会介绍一些Codis在实际应用场景中的tips。最后抛砖引玉，会介绍一下我对分布式存储的一些观点和看法，望各位首席们雅正。 一、 Redis，RedisCluster和Codis    Redis ：想必大家的架构中，Redis已经是一个必不可少的部件，丰富的数据结构和超高的性能以及简单的协议，让Redis能够很好的作为数据库的上游缓存层。但是我们会比较担心Redis的单点问题，单点Redis容量大小总受限于内存，在业务对性能要求比较高的情况下，理想情况下我们希望所有的数据都能在内存里面，不要打到数据库上，所以很自然的就会寻求其他方案。 比如，SSD将内存换成了磁盘，以换取更大的容量。更自然的想法是将Redis变成一个可以水平扩展的分布式缓存服务，在Codis之前，业界只有Twemproxy，但是Twemproxy本身是一个静态的分布式Redis方案，进行扩容

作者：李小翀 链接： https://www.zhihu.com/question/22764869/answer/31277656 来源：知乎 1.初始 初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征：应用程序、数据库、文件等所有的资源都在一台服务器上。描述：通常服务器操作系统使用linux，应用程序使用JSP/PHP/ASP开发，然后部署在Apache上，数据库使用Mysql，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了。 特征： 应用程序、数据库、文件等所有的资源都在一台服务器上。 描述： 通常服务器操作系统使用linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用Mysql，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了 2.应用服务和数据服务分离 好景不长，发现随着系统访问量的再度增加，webserver机器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台webserver 特征： 应用程序、数据库、文件分别部署在独立的资源上。 描述： 数据量增加，单台服务器性能及存储空间不足，需要将应用和数据分离，并发处理能力和数据存储空间得到了很大改善。 3.使用缓存提高性能 特征： 数据库中访问较集中的一小部分数据存储在缓存服务器中，减少数据库的访问次数，降低数据库的访问压力

章节一压力测试课程介绍 1、2018年亿级流量压测系列之Jmeter4.0课程介绍和效果演示 简介： 讲解课程安排，使用的Jmeter版本 讲课风格：涉及的组件，操作配置多，不会一次性讲解，会先讲部分，然后在后续操作中慢慢补充，更容易消化和理解 2、常用压力测试工具对比 简介：目前用的常用测试工具对比 1、loadrunner 性能稳定，压测结果及细粒度大，可以自定义脚本进行压测，但是太过于重大，功能比较繁多 2、apache ab(单接口压测最方便) 模拟多线程并发请求,ab命令对发出负载的计算机要求很低，既不会占用很多CPU，也不会占用太多的内存，但却会给目标服务器造成巨大的负载, 简单DDOS×××等 3、webbench webbench首先fork出多个子进程，每个子进程都循环做web访问测试。子进程把访问的结果通过pipe告诉父进程，父进程做最终的统计结果。 章节二 JMeter4.x基础知识讲解和压测实操 3、Jmeter基本介绍和使用场景 简介 1、压测不同的协议和应用 1) Web - HTTP, HTTPS (Java, NodeJS, PHP, ASP.NET, …) 2) SOAP / REST Webservices 3) FTP 4) Database via JDBC 5) LDAP 轻量目录访问协议 6) Message-oriented

C/S架构的应用程序，将一些复杂的计算逻辑由客户端转移到服务器端可以改善性能，同时也为了其它方面的控制。.NET Remoting在局域网内调用的性能相当不错。ERP系统中基于.NET Remoting和WCF构建一个应用程序服务器(Application Server)。 分布式应用设计目标： 1 客户端的连接，服务器要能控制。服务器根据授权许可文件的内容，控制客户端并发数。 2 服务器崩溃，客户端要得到通知，挂起当前数据输入操作，当服务器可用时，客户端可自动重新连接 。 3 支持数据加密，对敏感的数据可用加密的端口和通道传输。 4 支持数据压缩，改善数据传输效率，因为要做一个压缩与解压缩动作，性能有所降低。 5 安全控制，应用程序服务器阻止未授权的或未签名的应用程序的连接。 6 客户端向服务器传送大文件，传送图片需要时性能优化 7 服务器端发现错误时，支持堆栈传回客户端以诊断原因。 8 开发和部署简单方便。 先设计服务器与客户端通信的接口，一个简单销售合同数据表的访问接口代码如下所示。 public interface ISalesContractManager { SalesContractEntity GetSalesContract(Guid sessionId, String ContractNo); SalesContractEntity