单点故障

生成树协议

拥有回忆 提交于 2019-12-04 21:22:17
由于网络中会存在单点故障而导致网络无法访问,系统瘫痪,因此在网络中提供冗余链路即引入备份链路来解决单点故障问题,可以减少单点故障,增加网络可靠性;缺点是:产生交换环路,会导致广播风暴、多帧复制、MAC地址表抖动。因此生成树协议是为了提供冗余链路,解决环路问题(作用)。 来源: https://www.cnblogs.com/fn07216/p/11884668.html

Hadoop YARN单点故障解决方案(HA)介绍

柔情痞子 提交于 2019-12-01 00:11:01
在Apache Hadoop 2.0的第一个稳定版本2.2.0中,资源管理系统YARN存在单点故障,且尚未解决。YARN ResourceManage HA的相关jira为 YARN-149 ,目前正在火热开发中,但尚未公布将来的发布版本。由于YARN是一个通用管理系统,是上层计算框架(MapReduce、Tez、Spark、Storm等)的基础服务,它的重要性不言而喻,提高它的可靠性和容错性是当务之急。 在Cloudera公司最新发布的 CDH5 (基于apache hadoop 2.2.0下载地址为: CDH5-beta-1下载 )中,自带了YARN HA实现,尽管该版本目前为beta版,但考虑到该方案采用了Hadoop 2.0中自带的HA框架实现(HDFS HA和MapReduce HA均采用该框架实现),因此,具有一定通用性,本文将介绍CDH5-beta中的YARN HA实现。 在“ Hadoop 2.0单点故障解决方案 ”一文中,我已经详细介绍了Hadoop 2.0自带的HA框架,HDFS和YARN的单点故障均会基于该框架解决。值得一说的是,该框架是通用的,且已经做成了一个库放在Common中,你可以将它作为三方库使用。 YARN的单点故障指的是ResourceManager单点问题,ResourceManager负责整个系统的资源管理和调度

大规模数据如何检索?

倖福魔咒の 提交于 2019-11-29 07:07:08
思考:大规模数据如何检索? 如:当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题: 1)用什么数据库好?(mysql、sybase、oracle、达梦、神通、mongodb、hbase…) 2)如何解决单点故障;(lvs、F5、A10、Zookeep、MQ) 3)如何保证数据安全性;(热备、冷备、异地多活) 4)如何解决检索难题;(数据库代理中间件:mysql-proxy、Cobar、MaxScale等;) 5)如何解决统计分析问题;(离线、近实时) 来源: https://www.cnblogs.com/zeenzhou/p/11462649.html

常见分布式文件系统

蹲街弑〆低调 提交于 2019-11-28 04:26:05
分布式文件系统: 分布式文件系统 (Distributed File System) 是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机 / 服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外,对等特性允许一些系统扮演客户机和服务器的双重角色。例如,用户可以 " 发表 " 一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就像使用本地 驱动器 一样。(服务器间的数据访问从一对多变为多对多) (1)原始的文件管理系统图: 一、MooseFS(MFS)文件系统 MFS 文件系统结构 : (1)包含 4 种角色 : 管理服务器 managing server (master) 元数据日志服务器 Metalogger server ( Metalogger ) 数据存储服务器 data servers (chunkservers) 客户机挂载使用 client computers (2) 4 种角色作用 : 管理服务器 : 负责各个数据存储服务器的管理 , 文件读写调度 , 文件空间回收以及恢复 . 多节点拷贝 元数据日志服务器 : 负责备份 master 服务器的变化日志文件,文件类型为 changelog_ml.*.mfs ,以便于在 master server 出问题的时候接替其进行工作

MySQL读写分离架构(KHPM)

允我心安 提交于 2019-11-26 04:52:53
MySQL读写分离架构(KHPM) Keepalived HAProxy ProxySQL MySQL Keepalived+HAProxy 应用程序入口无单点故障 ProxySQL Cluster ProxySQL无单点故障 MHA MySQL无单点故障(MHA Manager后续用ORCH RAFT代替,实现无单点故障) 来源: 51CTO 作者: 易语随风去 链接: https://blog.51cto.com/aimax/2430628