replica

　　1、分片和副本机制 　　1、index包含多个shard 　　2、每个shard都是一个最小工作单元，承担部分数据；每个shard都是一个lucene示例，有完整的建立索引和处理请求的能力 　　3、增减节点时，shard会自动在nodes中负载均衡 　　4、primary shard和replica shard，每个document只存在于某个primary shard以及其对应的replica shard中，不可能存在于多个primary shard 　　5、replica shard是primary shard的副本，负责容错，以及承担读请求负载 　　6、primary shard的数量在创建索引的时候就固定了，replica shard的数量可以随时修改。 　　7、primary shard的默认数量是5，replica默认是1，（总共默认有10个shard，5个primary shard，5个replica shard） 　　8、primary shard不能和自己的replica shard放在同一个 节点上（否则节点宕机，primary shard和副本都丢失，起不到容错的作用， 　　　 但是可以和其它primary shard的replica shard放在同一个节点上） 　　2、单节点环境下创建索引分析 　　PUT /myindex{"settings":{

云数据库Redis版不管主从版还是集群规格，replica作为备库不对外提供服务，只有在发生HA的时候，replica提升为master后才承担读写流量。这种架构读写请求都在master上完成，一致性较高，但性能受到master数量的限制。经常有用户数据较少，但因为流量或者并发太高而不得不升级到更大的集群规格。 背景 云数据库Redis版不管主从版还是集群规格，replica作为备库不对外提供服务，只有在发生HA的时候，replica提升为master后才承担读写流量。这种架构读写请求都在master上完成，一致性较高，但性能受到master数量的限制。经常有用户数据较少，但因为流量或者并发太高而不得不升级到更大的集群规格。 为满足读多写少的业务场景，最大化节约用户成本，云数据库Redis版推出了读写分离规格，为用户提供透明、高可用、高性能、高灵活的读写分离服务。 架构 Redis集群模式有redis-proxy、master、replica、HA等几个角色。在读写分离实例中，新增read-only replica角色来承担读流量，replica作为热备不提供服务，架构上保持对现有集群规格的兼容性。redis-proxy按权重将读写请求转发到master或者某个read-only replica上；HA负责监控DB节点的健康状态，异常时发起主从切换或重搭read-only

什么是Kafka？ 通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署，使用，但他和其他的消息中间件有什么不同呢？ Kafka的基本原理，术语，版本等等都是怎么样的？到底什么是Kafka呢？ 一、Kafka简介 http://kafka.apache.org/intro 2011年，LinkIn开源， November 1, 2017 1.0版本发布 July 30, 2018 2.0版本发布 参考官网的图： Kafka®用于构建实时数据管道和流式应用程序。它具有水平可扩展性、容错性、速度极快，并在数千家公司投入生产。 kafka官网最新的定义：Apache Kafka® is a distributed streaming platform 也就是分布式流式平台。 介绍： 三个特点： Publish and subscribe to streams of records, similar to a message queue or enterprise messaging system. Store streams of records in a fault-tolerant durable way. Process streams of records as they

课程大纲 1、shard&replica机制再次梳理 2、图解单node环境下创建index是什么样子的 ------------------------------------------------------------------------------------------------ 1、shard&replica机制再次梳理 （1）index包含多个shard （2）每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力 （3）增减节点时，shard会自动在nodes中负载均衡 （4）primary shard和replica shard，每个document肯定只存在于某一个primary shard以及其对应的replica shard中，不可能存在于多个primary shard （5）replica shard是primary shard的副本，负责容错，以及承担读请求负载 （6）primary shard的数量在创建索引的时候就固定了，replica shard的数量可以随时修改 （7）primary shard的默认数量是5，replica默认是1，默认有10个shard，5个primary shard，5个replica shard （8）primary shard不能和自己的replica

1.查看集群中有多少个Node 　 --　kubectl get nodes 2.查看某个Node的详细信息 　--　kubectl describe node <node_name> 3.查看Deployment的信息 　--　kubectl get deployments 查询结果如下图： DESIRED:Pod副本数量的期望值，即Deployment定义的Replica CURRENT:当前Replica的值，实际上是Deployment所创建的Replica Set里的Replica值，这个值不断增加，直到达到DESIRED为止，表明整个部署过程完成。 UP-TO-DATE：最新版本的Pod的副本数量，用于指示在滚动升级的过程中，有多少个Pod副本已经成功升级 AVAILABLE：当前集群中可用的Pod副本数量，即集群中当前存活的Pod数量 来源： https://www.cnblogs.com/yfacesclub/p/10838864.html

（1）9 shard，3 node （2）master node宕机，自动master选举，red （3）replica容错：新master将replica提升为primary shard，yellow （4）重启宕机node，master copy replica到该node，使用原有的shard并同步宕机后的修改，green 来源： CSDN 作者： 潇凝子潇 链接： https://blog.csdn.net/xu990128638/article/details/104108495

一、kafka基础介绍 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一，Kafka可以实现高效文件存储，实际应用效果极好。 1.1） kafka名词解释（架构的四个部分） - producer：生产者。 - consumer：消费者。 - topic: 消息以topic为类别记录,Kafka将消息种子(Feed)分门别类,每一类的消息称之为一个主题(Topic)。 - broker：以集群的方式运行,可以由一个或多个服务组成

学习kafka必会名词 producer：生产者，就是它来生产“鸡蛋”的。 consumer：消费者，生出的“鸡蛋”它来消费。 topic：你把它理解为标签，生产者每生产出来一个鸡蛋就贴上一个标签（topic），消费者可不是谁生产的“鸡蛋”都吃的，这样不同的生产者生产出来的“鸡蛋”，消费者就可以选择性的“吃”了。相当于“队列” broker：就是篮子了。 kafka的架构 一个典型的Kafka包含若干Producer，若干broker（Kafka支持水平扩展，一般broker越多，吞吐量越高），若干Consumer Group，以及一个zookeeper集群，通过zookeeper管理集群配置，选举leader，Producer使用push将消息发送到broker，Consumer使用pull模式从broker订阅并消费消息。 Kafka会为每一个Consumer Group保留一些metadata信息——当前消费的消息的position，也即offset。这个offset由Consumer控制。正常情况下Consumer会在消费完一条消息后递增该offset。 使用Consumer high level API时，同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费，但多个Consumer Group可同时消费这一消息。 优化：

1、环境 操作系统版本：CentOS Linux release 8.0.1905 (Core) PostgreSQL版本：10.6 主机： test1 192.168.1.11 test2 192.168.1.12 test3 192.168.1.13 2、在3台机器安装并初始化PostgreSQL [root@test1 ~]# yum install postgresql-server -y [root@test1 ~]# postgresql-setup initdb WARNING: using obsoleted argument syntax, try --help WARNING: arguments transformed to: postgresql-setup --initdb --unit postgresql * Initializing database in '/var/lib/pgsql/data' * Initialized, logs are in /var/lib/pgsql/initdb_postgresql.log 3、主库配置 编辑主库配置文件 [root@test1 ~]# vim /var/lib/pgsql/data/postgresql.conf listen_addresses = '192.168.1.11' wal_log

Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 1.前言 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。 1.1 Kafka的特性: - 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 - 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） - 高并发：支持数千个客户端同时读写 1.2 Kafka的使用场景： - 日志收集