configServer

SpringCloud.H心法总纲

穿精又带淫゛_ 提交于 2019-12-09 13:52:15
1、 立足于SpringCloud + 入门介绍(1) 2、 立足于SpringCloud.H + eureka-server(2) 3、 立足于SpringCloud.H + eureka-client(3) 4、 立足于SpringCloud.H + config-Server(4) 5、 立足于SpringCloud.H + config-client(5) 6、 立足于SpringCloud.H + Config服务化(6) 来源: oschina 链接: https://my.oschina.net/mdxlcj/blog/3139176

消息队列设计精要

老子叫甜甜 提交于 2019-12-04 10:34:34
消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。 当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。 本文不会一一介绍这些消息队列的所有特性,而是探讨一下自主开发设计一个消息队列时,你需要思考和设计的重要方面。过程中我们会参考这些成熟消息队列的很多重要思想。 本文首先会阐述什么时候你需要一个消息队列,然后以Push模型为主,从零开始分析设计一个消息队列时需要考虑到的问题,如RPC、高可用、顺序和重复消息、可靠投递、消费关系解析等。 也会分析以Kafka为代表的pull模型所具备的优点。最后是一些高级主题,如用批量/异步提高性能、pull模型的系统设计理念、存储子系统的设计、流量控制的设计、公平调度的实现等。其中最后四个方面会放在下篇讲解。 当你需要使用消息队列时,首先需要考虑它的必要性。可以使用mq的场景有很多,最常用的几种,是做业务解耦/最终一致性/广播/错峰流控等。反之,如果需要强一致性,关注业务逻辑的处理结果,则RPC显得更为合适。 解耦 解耦是消息队列要解决的最本质问题。所谓解耦,简单点讲就是一个事务,只关心核心的流程。而需要依赖其他系统但不那么重要的事情

关于配置中心调研

≡放荡痞女 提交于 2019-12-04 06:44:28
概述 随着程序功能的日益复杂,程序的配置日益增多:各种功能的开关、参数的配置、服务器的地址…… 对程序配置的期望值也越来越高:配置修改后实时生效,分环境、分集群管理配置,代码安全、审核机制…… 在这样的大环境下,传统的通过配置文件、数据库等方式已经越来越无法满足开发人员对配置管理的需求。 所以,配置中心应运而生。 环境简介 目前公司使用阿里云管理所有服务,原因是为了降低运维成本——傻瓜式运维。 服务部署使用edas,配置管理使用acm。 调研目的 将所有代码中的基础依赖(如数据库、分布式存储等)相关配置回收到配置中心(acm或其他开源工具)管理,提升安全性,使资源可复用,减少因版本差异带来的开发工作量。 方案比较 方案 优点 缺点 备注 edas-acm 运维介入少,便于维护 扩容不方便,每次扩容都要重新为ecs实例单独授权,授权期间扩容实例服务不可用(4xx、5xx) edas团队有优化计划,但目前无排期 第三方 扩容方便 运维成本较高(服务器、人力),负载能力、稳定性待验证 第三方配置中心产品 Disconf:百度开源的配置管理中心, 目前已经不维护了 Spring Cloud Config: Spring Cloud 生态组件,可以和Spring Cloud体系无缝整合。 Apollo: 携程开源的配置管理中心,具备规范的权限、流程治理等特性。 Nacos:

MongoDB4.0.2集群搭建

不想你离开。 提交于 2019-12-03 08:17:57
MongoDB4.0.2集群搭建 2018年09月30日 10:03:08 TOTORO_zip 阅读数 916更多 分类专栏: MangoDB https://www.jianshu.com/p/e1855a1d38b7 MongoDB4.0.2集群搭建 根据对象存储平台Django+MongoDB+Ceph的需求,现搭建部署一个十节点的MongoDB集群,主要以下关键点: 根据最新版本MongoDB推荐,配置文件采用yaml方式来配置 一共10台服务器,即10个节点。对数据集进行分片,共分10个shard 每一个shard都进行副本集配置,由于硬件磁盘已进行raid多副本备份,考虑到存储效率,本集群在副本集只需要一个备服务器,故采用1主+1备 +1仲裁(必须有仲裁节点,不然被服务器无法通过心跳机制升级为主服务器)的副本及配置方式 环境准备 系统:CentOS7.0 64bit 十台服务器:mongo00-mongo09 服务器规划: mongo00 mongo01 mongo02 mongo03 mongo04 mongo05 mongo06 mongo07 mongo08 mongo09 mongos mongos mongos mongos mongos mongos mongos config config config shard0主 shard1主 shard2主

mongodb 3.4 集群搭建升级版 五台集群

情到浓时终转凉″ 提交于 2019-12-02 19:26:23
mongodb 3.4 集群搭建升级版 五台集群 纯洁的微笑 2017-09-21 原文 最新版mongodb推荐使用yaml语法来做配置,另外一些旧的配置在最新版本中已经不在生效,所以我们在生产实际搭建mongodb集群的时候做了一些改进。如果大家不熟悉什么是分片、副本集、仲裁者的话请先移步查看上一篇文章: mongodb 3.4 集群搭建:分片+副本集 和前一个版本相比,改动点有: 配置文件采用yaml方式来配置 生产中取消了仲裁者的角色,因为仲裁者也不会存储数据,只是起到选举的作用,线上为了保证数据安全,每份数据都会配置两个副本集,也就是每份数据存储了三份。 优化配置,采用五台集群 使用非root账户搭建mongodb集群。 环境准备 系统系统 centos6.9 五台服务器:192.168.0.31/32/33/34/35 安装包: mongodb-linux-x86_64-3.4.6.tgz 服务器规划 服务器31 服务器32 服务器33 服务器34 服务器35 mongos server mongos server config server config server config server shard1 server shard2 server shard3 server shard4 server shard5 server shard5 server

MongoDB4.0构建分布式分片群集

喜你入骨 提交于 2019-12-02 02:08:45
MongoDB4.0构建分布式分片群集 你讲多次 关注0人评论 2087人阅读 2018-08-09 20:48:43 MongoDB分片简述 高数据量和吞吐量的数据库应用会对单机的性能造成较大压力,大的查询量会将单机的 CPU 耗尽,大的数据量对单机的存储压力较大,最终会耗尽系统的内存而将压力转移到磁盘 IO 上。 MongoDB 分片是使用多个服务器存储数据的方法,以支持巨大的数据存储和对数据进行操作。分片技术可以满足 MongoDB 数据量大量增长的需求,当一台 MongoDB 服务器不足以存储海量数据或不足以提供可接受的读写吞吐量时,我们就可以通过在多台服务器上分割数据,使得数据库系统能存储和处理更多的数据。 MongoDB分片优势 分片为应对高吞吐量与大数据量提供了方法: 使用分片减少了每个分片需要处理的请求数,因此,通过水平扩展,群集可以提高自己的存储容量。比如,当插入一条数据时,应用只需要访问存储这条数据的分片。 使用分片减少了每个分片村存储的数据。 分片的优势在于提供类似线性增长的架构,提高数据可用性,提高大型数据库查询服务器的性能。当MongoDB单点数据库服务器存储成为瓶颈、单点数据库服务器的性能成为瓶颈或需要部署大型应用以充分利用内存时,可以使用分片技术。 MongoDB分片群集的组成 MongoDB分片群集主要有如下三个组件: Shard:分片服务器

MongoDB3.6集群搭建(分片+副本集)

大城市里の小女人 提交于 2019-12-01 23:59:35
MongoDB3.6集群搭建(分片+副本集) 分片则指为处理大量数据,将数据分开存储,不同服务器保存不同的数据,它们的数据总和即为整个数据集。追求的是高性能。 在生产环境中,通常是这两种技术结合使用,分片+副本集 环境准备 配置服务器搭建副本集 三台分片服务器搭建副本集 配置路由服务器 分片 测试 注意事项 1、 环境准备 系统系统 centos7.0 三台服务器:192.168.221.130/131/132 安装包: mongodb-linux-x86_64-3.6.3.tgz 服务器130 服务器131 服务器132 mongos mongos mongos config server config server config server shard server1 主节点 shard server1副节点 shard server1 仲裁 shard server2 仲裁 shard server2主节点 shard server2 副节点 shard server3 副节点 shard server3 仲裁 shard server3 主节点 端口分配:mongos:23000 config:24000 shard1:25001 shard2:25002 shard3:25003 1.安装mongodb(见另一博客:mongodb 3.63(Linux CentOS

带你入门SpringCloud统一配置 | SpringCloud Config

百般思念 提交于 2019-11-30 05:27:26
前言 在微服务中众多服务的配置必然会出现相同的配置,如果配置发生变化需要修改,一个个去修改然后重启项目的方案是绝对不可取的。而 SpringCloud Config 就是一个可以帮助你实现统一配置选择之一。 如果你不懂 SpringCloud Config 环境搭建,那么该篇博客将会帮助到你,文中通过具体操作带你了解 SpringCloud Config 环境搭建的入门操作。 阅读本文需要你熟悉 SpringBoot 项目的基本使用即可,还有一点需要注意的是在操作过程中尽量和我本地环境一致,因为环境不一致可能会带来一些问题。我本地环境如下: SpringBoot Version: 2.1.0.RELEASE SpringCloud Version: Greenwich.RELEASE Apache Maven Version: 3.6.0 Java Version: 1.8.0_144 IDEA:Spring Tools Suite (STS) 接下来就开始 SpringCloud Config 环境搭建操作介绍! 搭建 SpringCloud Config 环境 SpringCloud Config 环境搭建最小环境需要 3个 SpringCloud 项目:一台 Eureka Server 端、一台 Config Server 端(也是Eureka Client 端)

搭建高可用MongoDB集群(分片)

风格不统一 提交于 2019-11-30 03:06:32
搭建高可用MongoDB集群(分片) MongoDB基础请参考: https://blog.51cto.com/kaliarch/2044423 MongoDB(replica set)请参考: https://blog.51cto.com/kaliarch/2044618 一、概述 1.1 背景 为解决mongodb在replica set每个从节点上面的数据库均是对数据库的全量拷贝,从节点压力在高并发大数据量的场景下存在很大挑战,同时考虑到后期mongodb集群的在数据压力巨大时的扩展性,应对海量数据引出了分片机制。 1.2 分片概念 分片是将数据库进行拆分,将其分散在不同的机器上的过程,无需功能强大的服务器就可以存储更多的数据,处理更大的负载,在总数据中,将集合切成小块,将这些块分散到若干片中,每个片只负载总数据的一部分,通过一个知道数据与片对应关系的组件mongos的路由进程进行操作。 1.3 基础组件 其利用到了四个组件:mongos,config server,shard,replica set mongos :数据库集群请求的入口,所有请求需要经过mongos进行协调,无需在应用层面利用程序来进行路由选择,mongos其自身是一个请求分发中心,负责将外部的请求分发到对应的shard服务器上,mongos作为统一的请求入口,为防止mongos单节点故障

Docker MongoDB v4.0.0 集群搭建

喜夏-厌秋 提交于 2019-11-30 03:04:49
Docker MongoDB v4.0.0 集群搭建 2018年07月21日 16:17:41 vincerom 阅读数 3642 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接: https://blog.csdn.net/vincerom/article/details/81145938 Docker MongoDB v4.0.0 集群搭建 简单地在Docker环境上搭建一个无认证的MongoDB集群。 本文基于CentOS 7.4,MongoDB版本为4.0.0,Docker版本为17.09.0-ce 1. 本文使用的容器 集群角色 ContainerName IP:port Config Server cfg_1 10.1.1.2:27019 Config Server cfg_2 10.1.1.3:27019 Config Server cfg_3 10.1.1.4:27019 Shard Server shard1_1 10.1.1.5:27018 Shard Server shard1_2 10.1.1.6:27018 Shard Server shard1_3 10.1.1.7:27018 Shard Server shard2_1 10.1.1.8:27018 Shard Server