高可用

基于DRBD实现数据库高可用

ぃ、小莉子 提交于 2021-01-11 04:07:00
基于DRBD实现数据库高可用 金融行业对数据的一致性要求较高,比较当前主流的高可用架构,选择了DRBD,通过使用COROSYNC来提供集群信息以及状态监测,PACEMAKER负责故障转移以及资源的启动停止和监控,在PRIMARY出现问题的时候,通过PACEMAKER控制VIP迁移来实现高可用,使用KEEPALIVED来避免HAPROXY服务器的单点故障。 详细解读 和小伙伴们一起来吐槽 来源: oschina 链接: https://my.oschina.net/u/856019/blog/273787

DRBD项目实施之NFS高可用架构(NFS+Heartbeat+Drbd)

£可爱£侵袭症+ 提交于 2021-01-11 03:40:50
由于目前线上的两台NFS服务器,一台为主,一台为备。主到备的数据同步,靠rsync来做。由于数据偏重于图片业务,并且还是千万级的碎图片。在目前的业务框架下,NFS服务是存在单点的,并且数据的同步也不能做完全实时性,从而导致不能确保一致性。因此,出于对业务在线率和数据安全的保障,目前需要一套新的架构来解决 NFS 服务单点和数据实时同步的问题。 然后,就没有然后了。 下面是一个丑到爆的新方案架构图,已经在公司测试环境的部署,并且进行了不完全充分的测试。 架构拓扑 : 简单描述: 两台 NFS 服务器,通过 em1 网卡与内网的其他业务服务器进行通信,em2网卡主要负责两台 NFS 服务器之间心跳通信,em3网卡主要负责drbd数据同步的传输。 前面的2台图片服务器通过 NFS 集群提供出来的一个VIP 192.168.0.219 来使用 NFS 集群服务。 一、项目基础设施及信息介绍 1、设备信息 现有的两台 NFS 存储服务器的硬件配置信息: CPU: Intel(R) Xeon(R) CPU E5-2609 0 @ 2.40GHz MEM: 16G Raid: RAID 1 Disk: SSD 200G x 2 网卡:集成的 4 个千兆网卡 Link is up at 1000 Mbps, full duplex 前端两台静态图片服务器硬件配置信息: 略 2、网络 浮动 VIP

CentOS7 Keepalived+LVS 实现高可用

别说谁变了你拦得住时间么 提交于 2020-10-30 09:06:46
系统环境: 操作系统:Centos7.2 依赖软件:net-tools 网络环境: Keepalived Master:192.168.5.251 Keepalived Backup:192.168.5.252 VIP: 192.168.5.100 RIP: 192.168.5.254 Keepalived Master ! Configuration File for keepalived global_defs { notification_email { acassen@firewall.loc failover@firewall.loc sysadmin@firewall.loc } notification_email_from Alexandre.Cassen@firewall.loc smtp_server 192.168.200.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_mantaince_down { script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0" interval 1 weight 2 } vrrp_instance VI_1 { state MASTER interface eno16777736

四行shell脚本实现zabbix_server的高可用

二次信任 提交于 2020-04-07 11:21:08
场景模拟: 高可用的重要性 一家中小型企业需要使用zabbix_server监控大量设备,某天,一位新来的员工操作服务器失误,导致zabbix_server服务器系统奔溃无法开机。这时候zabbix_server服务中断了,这家企业的所有设备都无法进行监控,假如此时,监控的设备中有重要的业务主机,出现了告警,但是由于zabbix_server无法采集数据,导致运维人员不知道业务主机出现了一个严重的告警,业务也受到了影响。最后给企业带来巨大的经济损失。 名词解析: 什么是高可用? 高可用技术简单的说就是,保障业务在出现故障的时候,进行快速的切换,从而不影响到业务的正常运转。 什么是VIP(虚拟IP)? 高可用技术离不开VIP,高可用的原理其实就是用户通过VIP访问业务,而VIP会映射到对应的服务器IP。 默认情况下,客户端通过192.168.74.150的IP映射到的192.168.74.149这台主zabbix_server的服务,如果主zabbix_server服务器的关机了,那么客户端继续使用192.168.74.150的ip就会映射到备用zabbix_server(192.168.74.148)这台服务。 准备内容: 安装两台zabbix_server,一台数据库服务器(主zabbix_server和备zabbix_server的数据都保存在这台数据库上) 备:zabbix

hadoop8天课程——第五天,hadoop的HA机制

老子叫甜甜 提交于 2020-04-06 16:40:27
hadoop的机制,是在hadoop的2.x中才有的功能,该功能的实现,非常依赖于一个分布式组件:zookeeper。 zookeeper简要介绍 zookeeper主要做分布式协调服务。主要实现的功能:1.提供对少量数据的存储和管理。2.提供对数据节点的监听功能。 zookeeper的角色:leader(负责数据的写操作)和follower。leader和follower实在启动的时候动态选举出来的。 zookeeper的作用:主控机器选举,分布式协调操作。 zookeeper管理数据采用了类似于文件树结构。每个节点成为一个datanode。节点能够保存一定的数据(小于1M)也可以拥有子节点。 zookeeper的应用场景。 统一命名服务:Dubbo 远程调用:webservice和rpc。统一命名:将多个机器上的服务给予 一个统一的命名。 统一配置管理 将所有分布式应用的数据存入到zookeeper集群中。 集群管理 利用zookeeper实现动态主控节点的选举 NN高可用方案实现机制 问题:相应客户的读写请求的是角色是NN,所以一旦NN宕机了,那么整个集群的服务就停止了。NN+SN机制,只能实现元数据的可靠性,但无法做到服务的高可用性。 解决方案:再加入一个NN。思考点: 能否两个NN收正常客户请求? 否,两个NN只能有一个相应客户请求(状态为active)

Redis 简介

蓝咒 提交于 2020-04-06 09:30:49
Redis 是一种基于键值对(key-value)的NoSql 数据库。Redis 中的值可以是由string(字符串)、hash(哈希)、list(列表)、set(集合)、zset(有序集合)、Bitmaps(位图)、HyperLogLog、GEO(地理信息定位)等多种数据结构和算法组成,因此Redis 可以满足很多场景的应用。而且,因为Redis 会将所有数据都存放在内存中,所以它的读写性能非常惊人。不仅如此,Redis 还可以将内存的数据利用快照和日志的形式保存到硬盘上,这样在发生类似断电或者机器故障的时候,内存中的数据不会 “丢失” 。除了上述功能以外,Redis 还提供了键过期、发布订阅、事务、流水线、Lua 脚本等附加功能。 Redis 特性 1.速度快 官方给出的数字是读写性能可以达到10万/秒,当然这也取决于机器的性能。大致归纳速度快的四点原因如下: # Redis 的所有数据都是放在内存中的,这也是最主要的原因; # Redis 是用C 语言实现的,“距离” 操作系统更近,执行速度相对会更快; # Redis 使用了单线程架构,预防了多线程可能产生的竞争问题; # 源代码精细,集性能与优雅与一身; 2.基于键值对的数据结构服务器 与很多键值对数据库不同的是,Redis 中的值不仅可以是字符串,而且还可以是具体的数据结构,这样不仅便于在许多应用场景开发

企业数据库上云新选择!阿里云发布云数据库SQL Server 2019版本

萝らか妹 提交于 2020-04-06 06:24:05
1、赋予企业更多可能,云数据库SQL Server 2019版发布 云数据库SQL Server 2019标准版正式在阿里云上线,带来了更多新的体验。SQL Server 2019版本提供了大数据群集新特性,更高引擎性能及安全、可用性等数据库能力的增强。 云数据库SQL Server 2019版本又进一步基于云平台,提供了高可用、高安全、高性能及轻运维的全套数据库解决方案,为客户的业务场景带来引擎能力和运维能力的全面提升。除了既有实例的升级,云数据库SQL Server2019版也可更好地支撑机器学习、人工智能等新兴领域的数据库应用。 2、共享型规格族上线,正版又便宜 云数据库SQL Server标准版系列全新发布共享型规格族,相比早期的独享型规格族,有超过50%的费用下降,进一步降低企业上云成本。 共享型实例独享被分配的内存资源,通过阿里云数据库的规模红利效应,实例CPU部分复用同一宿主物理机上的CPU资源,从而进一步提升性价比。共享型实例具备主从高可用架构,使得用户在更多普适性场景上,有了一种兼具高可用和低成本的更优化选择。 3、云数据库SQL Server专属集群——客户专属的RDS SQL Server集群云 云数据库SQL Server全新专属集群形态上线,为企业级客户提供了无缝上云的选择。在专属集群形态下,客户独享集群资源池内所有物理机的资源,可在主机上自由灵活分配资源

分布式协调服务——Zookeeper

回眸只為那壹抹淺笑 提交于 2020-04-06 03:39:01
Zookeeper常用的应用场景 分布式协调: 简单来说就是有人对Zookeeper中的数据做了监听,如果修改了Zookeeper中被监听的数据,Zookeeper反过来就会告诉发起监听的人数据变更。比如在kafka的设计中,kafka的一个节点在Zookeeper中创建了一个数据,kafka的策略是谁创建了这个数据谁就是kafka集群的主节点,其余的节点都会去监听这个数据。如果主节点宕机了,这Zookeeper对应的数据就会发送变更,即而监听这个数据的其余节点就会感知到主节点宕机,然后重新进行选举。 元数据管理: 很多分布式的程序需要集中式管理自己的元数据,这个时候Zookeeper就是一个很好的选择。比如kafka、Storm等分布式的工具就会把集群里核心的元数据存放在Zookeeper中。 高可用: 很多分布式项目都是主从架构(一个主节点+多个从节点)。如果只有一个主节点的话,程序就会有单点故障问题,那么这个时候就需要部署多个从节点实现高可用。如HDFS就是靠Zookeeper实现高可用的 分布式锁: 注意的是Zookeeper不支持高并发,在高并发的情况建议使用Redis实现分布式锁,并发不太高的情况下使用Zookeeper实现分布式锁比较方便。 Zookeeper架构 在Zookeeper集群中,集群的服务角色分为leader和learner

构建高可用ZooKeeper集群

匆匆过客 提交于 2020-04-03 10:21:27
构建高可用ZooKeeper集群 2017/01/23 | 分类: 技术架构 | 0 条评论 | 标签: ZOOKEEPER 分享到: 9 原文出处: cyfonly ZooKeeper 是 Apache 的一个顶级项目,为分布式应用提供高效、高可用的分布式协调服务,提供了诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知和分布式锁等分布式基础服务。由于 ZooKeeper 便捷的使用方式、卓越的性能和良好的稳定性,被广泛地应用于诸如 Hadoop、HBase、Kafka 和 Dubbo 等大型分布式系统中。 本文的目标读者是对 ZooKeeper 有一定了解的技术人员,将从 ZooKeeper 运行模式、集群组成、容灾和水平扩容四方面逐步深入,最终构建出高可用的 ZooKeeper 集群。 一、运行模式 Zookeeper 有三种运行模式:单机模式、伪集群模式和集群模式。 1.1 单机模式 这种模式一般适用于开发测试环境,一方面我们没有那么多机器资源,另外就是平时的开发调试并不需要极好的稳定性。 在 Linux 环境下运行单机模式需要执行以下步骤: 1. 准备 Java 运行环境 安装 Java 1.6 或更高版本的 JDK,并配置好 Java 相关的环境变量 $JAVA_HOME 。 2. 下载 ZooKeeper 安装包 下载地址: http://zookeeper

haproxy+keepalived实现高可用负载均衡

亡梦爱人 提交于 2020-03-30 19:37:58
https://www.cnblogs.com/daixiang/p/5575477.html 一、haproxy介绍:   HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。HAProxy实现了一种事件驱动、单一进程模型,此模型支持非常大的并发连接数。多进程或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制,很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户端(User-Space) 实现所有这些任务,所以没有这些问题。此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。   在linux内核版本为2.6或打了epoll补丁的linux2.4上运行haproxy能获得其最好的性能。 二、keepalived介绍:     keepalived理论工作原理       keepalived可提供vrrp以及health-check功能,可以只用它提供双机浮动的vip