集群技术

分布式缓存集群方案特性使用场景（Memcache/Redis(Twemproxy/Codis/Redis-cluster)）优缺点对比及选型 分布式缓存特性： 1) 高性能:当传统数据库面临大规模数据访问时,磁盘I/O 往往成为性能瓶颈,从而导致过高的响应延迟.分布式缓存将高速内存作为数据对象的存储介质,数据以key/value 形式存储,理想情况下可以获得DRAM 级的读写性能; 2) 动态扩展性:支持弹性扩展,通过动态增加或减少节点应对变化的数据访问负载,提供可预测的性能与扩展性;同时,最大限度地提高资源利用率; 3) 高可用性:可用性包含数据可用性与服务可用性两方面.基于冗余机制实现高可用性,无单点失效(single point of failure),支持故障的自动发现,透明地实施故障切换,不会因服务器故障而导致缓存服务中断或数据丢失.动态扩展时自动均衡数据分区,同时保障缓存服务持续可用; 4) 易用性:提供单一的数据与管理视图;API 接口简单,且与拓扑结构无关;动态扩展或失效恢复时无需人工配置;自动选取备份节点;多数缓存系统提供了图形化的管理控制台,便于统一维护; 5) 分布式代码执行(distributed code execution):将任务代码转移到各数据节点并行执行,客户端聚合返回结果,从而有效避免了缓存数据的移动与传输.最新的Java 数据网格规范JSR

文章目录 一、redis集群简介 1、集群 2、redis集群 3、redis集群的优势 4、redis集群工作原理 5、哈希槽 6、容错 二、实验 实验环境： 2、搭建redis集群 3、redis集群中添加新结点 4、集群重新分片 （1）手动分配哈希槽 （2）自动平均分配哈希槽 5、移除节点 （1）移除从Slave节点 （1）移除Master节点 一、redis集群简介 1、集群 集群是一组相互独立的、通过高速网络互相联通的节点，构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群就是一个独立的服务器。 集群技术是一种通用的技术，其目的是为了解决单机运算能力的不足、IO能力的不足、提高服务的可靠性、获得规模可扩展能力，降低整体方案的运维成本（运行、升级、维护成本）。能在大流量访问下提供稳定的业务，集群化是存储的必然形态。 2、redis集群 Redis 集群是一个分布式（distributed）、容错（fault-tolerant）的 Redis 实现， 集群可以使用的功能是普通单机 Redis 所能使用的功能的一个子集（subset），提供在多个Redis节点之间共享数据的程序集。。 Redis 集群并不支持同时处理多个键的 Redis 命令，因为这需要在多个节点间移动数据，这样会降低redis集群的性能，在高负载的情况下可能会导致不可预料的错误。

文章目录 ==官方网站== 概念 三种负载均衡方式 名词解释 VS/NAT VS/DR VS/TUN 官方网站 http://www.linuxvirtualserver.org/zh/lvs1.html（LVS项目介绍） http://www.linuxvirtualserver.org/zh/lvs2.html（LVS集群的体系结构） http://www.linuxvirtualserver.org/zh/lvs3.html（LVS集群中的IP负载均衡技术） http://www.linuxvirtualserver.org/zh/lvs4.html（LVS集群的负载调度） 概念 LVS：【Linux Virtual Server】即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，针对高可伸缩、高可用网络服务的需求，给出了基于IP层和基于内容请求分发的负载平衡调度解决方法，并在Linux内核中实现了这些方法，将一组服务器构成一个实现可伸缩的、高可用网络服务的虚拟服务器 LVS目标 ：使用集群技术和Linux操作系统实现一个高性能、高可用的服务器，它具有很好的可伸缩性（Scalability）、可靠性（Reliability）和可管理性（Manageability） LVS集群采用三层结构： 负载调度器【load balancer】，它是整个集群对外面的前端机

架构扼要 想读懂此文，读者必须先要明确以下几点，以作为阅读后续内容的基础知识储备： Mapreduce是一种模式。 Hadoop是一种框架。 Hadoop是一个实现了mapreduce模式的开源的分布式并行编程框架。 所以，你现在，知道了什么是mapreduce，什么是hadoop，以及这两者之间最简单的联系，而本文的主旨即是，一句话概括：在hadoop的框架上采取mapreduce的模式处理海量数据。下面，咱们可以依次深入学习和了解mapreduce和hadoop这两个东西了。 Mapreduce模式 前面说了，mapreduce是一种模式，一种什么模式呢?一种云计算的核心计算模式，一种分布式运算技术，也是简化的分布式编程模式，它主要用于解决问题的程序开发模型，也是开发人员拆解问题的方法。 Ok，光说不上图，没用。如下图所示，mapreduce模式的主要思想是将自动分割要执行的问题（例如程序）拆解成map（映射）和reduce（化简）的方式，流程图如下图1所示： 在数据被分割后通过Map 函数的程序将数据映射成不同的区块，分配给计算机机群处理达到分布式运算的效果，在通过Reduce 函数的程序将结果汇整，从而输出开发者需要的结果。 MapReduce 借鉴了函数式程序设计语言的设计思想，其软件实现是指定一个Map 函数，把键值对(key/value)映射成新的键值对(key

刚刚过去的春节，新型冠状病毒疫情突如其来地横扫大江南北。为了响应国家号召，许多软件公司和互联网公司也将在较长一段时间内建议员工采取远程办公的方式，同时也存在骨干工程师无法及时返岗的问题，使得生产力大受影响。 对于软件企业来说，研发与测试是两大核心命脉。研发团队保障着产品新功能新特性的及时发布，而测试团队则如同马的缰绳，确保产品不会由于迭代速度过快、设计考虑角度不周，而导致软件缺陷的产生。 巨杉数据库在9年的自研和技术创新历程中，在研发体系构建、自动化测试、团队线上线下结合等方面积累了很多经验。从2011年团队成立之初开始，巨杉数据库的整个技术研发体系就以面向流程协作的方式进行构建。其核心思想是，任何员工可以在任何地点，只要遵循正确的流程，就可以与整个团队有机地衔接在一起。 在这个非常时刻，为了帮助在远程办公期间内保质保量完成新版本的迭代与测试工作，我们也将我们自己的一些经验分享给大家，主要介绍巨杉如何在无人值守的环境下，完成产品的自动化测试与研发协作。 基础体系 网络基础设施 我们的整个开发环境分为内外网两大网络，其中外部网络可以连接到广域网Internet，而内部网络则没有广域网连接。外网包括办公室中每个员工的台式机，以及可供员工进行远程连接的***服务器与防火墙。工程师们无论使用办公室的电脑，还是通过配发的笔记本电脑从远程通过***接入，均连入公司的外网网段。

刚刚过去的春节，新型冠状病毒疫情突如其来地横扫大江南北。为了响应国家号召，许多软件公司和互联网公司也将在较长一段时间内建议员工采取远程办公的方式，同时也存在骨干工程师无法及时返岗的问题，使得生产力大受影响。 对于软件企业来说，研发与测试是两大核心命脉。研发团队保障着产品新功能新特性的及时发布，而测试团队则如同马的缰绳，确保产品不会由于迭代速度过快、设计考虑角度不周，而导致软件缺陷的产生。 巨杉数据库在9年的自研和技术创新历程中，在研发体系构建、自动化测试、团队线上线下结合等方面积累了很多经验。从2011年团队成立之初开始，巨杉数据库的整个技术研发体系就以面向流程协作的方式进行构建。其核心思想是，任何员工可以在任何地点，只要遵循正确的流程，就可以与整个团队有机地衔接在一起。 在这个非常时刻，为了帮助在远程办公期间内保质保量完成新版本的迭代与测试工作，我们也将我们自己的一些经验分享给大家，主要介绍巨杉如何在无人值守的环境下，完成产品的自动化测试与研发协作。 基础体系 网络基础设施 我们的整个开发环境分为内外网两大网络，其中外部网络可以连接到广域网Internet，而内部网络则没有广域网连接。外网包括办公室中每个员工的台式机，以及可供员工进行远程连接的VPN服务器与防火墙。工程师们无论使用办公室的电脑，还是通过配发的笔记本电脑从远程通过VPN接入，均连入公司的外网网段。

一 TiDb简介 　TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。TiDB 的目标是为 OLTP(Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。TiDB 具备如下核心特点： 1 高度兼容 MySQL 　大多数情况下，无需修改代码即可从 MySQL 轻松迁移至 TiDB，分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。 2水平弹性扩展 　通过简单地增加新节点即可实现 TiDB 的水平扩展，按需扩展吞吐或存储，轻松应对高并发、海量数据场景。 3分布式事务 　TiDB 100% 支持标准的 ACID 事务。 4 真正金融级高可用 　相比于传统主从 (M-S) 复制方案，基于 Raft 的多数派选举协议可以提供金融级的 100% 数据强一致性保证，且在不丢失大多数副本的前提下，可以实现故障的自动恢复 (auto-failover)，无需人工介入。 5

大数据处理从hadoop开始经过了几年的发展，生态越来越丰富，也越来越重要。就从目前的各个招聘网站来看也是薪资最高的。但是对于想进入大数据方面的开发人员从何处学习呢？我在网络收集了一些相关的资源，希望可以帮助到大家。 大数据处理流程与应用 一、Github上的学习资源BigData-Notes Github地址 : https://github.com/heibaiying/BigData-Notes 这个github上的资源是最为丰富的。该资源中详细的介绍了大数据学习的各个方面。从大数据收集、存储、分析、实时计算、还有其他相关的辅助技术。 1、数据收集：Flume 、Logstash、Kibana 2、数据存储：Hadoop HDFS 、KFS、GFS 3、数据分析：Hadoop MapReduce、Spark、Flink、Storm 4、实时计算：Spark、Flink、Storm 大数据学习路线图 二、Flink实时计算框架flink-learning Github地址 :https://github.com/zhisheng17/flink-learning 该资源介绍了flink相关的知识点，同时也包含与各种中间件集成的例子。是个不错的学习资源。 总之学习大数据要先学会相关的开发语言。目前大数据相关的开发语言Java、Scala。另外就是要知道相关的大数据收集相关的框架了

数据库的冷备份与热备份 数据导出不完全等于数据备份： 数据导出是指将数据库中的数据逆向成SQL语句进行导出，所以导出的是SQL文件。通常用作把数据从一个系统迁移到另一个系统，目的是屏蔽系统之间的差异性 数据备份是指将数据库中数据存储的相关文件进行拷贝，用于保存一个数据库的全部物理数据，所以备份后的数据与原本数据在细节及状态上都是完全一致的。不会像SQL那样在使用了一些函数的情况下，可能会在不同的时间点或不同的系统上产生不一样的结果 冷备份与热备份： 冷备份：在数据库已经关闭的情况下，对数据的备份称作冷备份 热备份：与冷备份相反，在数据库节点不停机的状态下进行的备份被称作热备份 冷备份的限制： 数据库必须停机备份，这对一些线上数据库是无法接受的 备份的数据文件非常占用存储空间，并且不支持增量备份 冷备份是备份所有的数据文件和日志文件，所以无法单独备份某个逻辑库和数据表 联机冷备份： 单节点的数据库在冷备份时需要停机，这就会对业务系统产生影响。为了解决这个问题，我们可以组建集群然后挑选集群中的一个节点进行停机冷备份。由于集群中还有其他节点在运行，所以不必担心影响正在运行的系统。等备份结束之后再启动该节点，这样就能解决停机备份带来的影响 热备份的限制： 数据库在热备份的时候会全局加读锁，备份期间节点只能读取数据不能写入数据 联机热备份： 同样的方式，为了避免全局加锁

出处： https://cizixs.com/2018/08/26/what-is-istio 创作不易，在满足创作共用版权协议的基础上可以转载，但请以超链接形式注明出处。 前言 随着微服务架构的流行，服务网格技术获得了业界的广泛关注，作为实现云原生的重要积木，各大厂商也纷纷开始布局，Amazon在2019年4月份推出了App Mesh；Google、IBM、Lyft联合开发了Istio。 Istio作为下一代服务网格的整体解决方案，得到了业界的普遍认可，站在kubernetes巨人的肩膀上，极大地提升了分布式微服务应用的研发和运维效率。 2020是云原生普及的一年，如何部署、使用、运维Istio将是必须要学习的知识。 什么是 istio？ 官方对 istio 的介绍浓缩成了一句话： An open platform to connect, secure, control and observe services. 翻译过来，就是”连接、安全加固、控制和观察服务的开放平台“。开放平台就是指它本身是开源的，服务对应的是微服务，也可以粗略地理解为单个应用。中间的四个动词就是 istio 的主要功能，官方也各有一句话的说明。这里再阐释一下： 连接（Connect）：智能控制服务之间的调用流量，能够实现灰度升级、AB 测试和红黑部署等功能 安全加固（Secure）