SequoiaDB

数据库的高可用是指最大程度地为用户提供服务，避免服务器宕机等故障带来的服务中断。数据库的高可用性不仅仅体现在数据库能否持续提供服务，而且也体现在能否保证数据的一致性。 SequoiaDB 巨杉数据库作为一款100%兼容 MySQL 的国产开源分布式数据库，它在高可用方面的表现如何？它的高可用性是如何实现的？本文将详细描述SequoiaDB巨杉数据库的高可用性原理，并进行测试验证。 01 巨杉分布式集群架构 SequoiaDB 巨杉数据库采用计算与存储分离架构，SequoiaSQL-MySQL 是 SQL 计算层，存储层由协调节点、编目节点和数据节点组成。 图1 SequoiaDB分布式架构 如图1所示是最简单的 SequoiaDB 分布式数据库集群架构图，由1个协调节点，1个编目节点，3个数据节点和 SequoiaSQL-MySQL 构成。其中数据节点在三个服务器上，包括三个数据复制组1、2、3，每个数据复制组由3个完全相同的数据副本组成，数据副本之间通过日志同步保持数据一致。 A, A1, A2组成数据复制组1，三者是完全相同数据副本。数据复制组2、3类似于数据复制组1。在 SequoiaDB 分布式集群中，每个复制组最多支持 7 个数据副本。 本文的高可用测试环境采用图1所示的分布式集群架构，其中主节点有读写功能，两个备副本可以执行读操作或备份。 02 巨杉数据库高可用实现

本文来自社区用户投稿，感谢这位小伙伴的技术分享 巨杉数据库架构简介 巨杉数据库作为分布式数据库是计算和存储分离架构，由数据库实例层和存储引擎层组成的。存储引擎层负责数据库核心功能比如数据读写存储以及分布式事务管理。数据库实例层也就是这里的的SQL层负责把应用SQL请求处理后发存储引擎层处理，并且把存储引擎层响应结果反馈给应用层。支持结构化实例比如MySQL实例/PG实例/spark实例，也支持非结构化实例比如 Json实例/S3对象存储实例/PosixFs实例等等。这种架构支持的实例类型比较多，方便从传统数据库无缝迁移到巨杉数据库，减小了开发学习成本，之前也跟数据库圈同行交流，他们对架构也是十分认可。 这里的SQL层采用的是MySQL实例，存储引擎层是有三个数据节点和协调节点编目节点组成。其中数据节点就是用来存储数据的，协调节点不存储数据，是用来把MySQL的请求进行路由分发到数据库节点。编目节点用来存储集群的系统信息比如用户信息/分区信息等等。这里用一个容器来模拟一个物理机或云虚拟机，这里设置的是MySQL实例在一个容器里，编目和节点和协调节点放在了一个容器，三个数据节点分别放在一个容器，三个数据节点构成了三个数据组，每个数据组三个副本。Web应用的海量数据是通过分片切分的方式分散给不同的数据节点，像这里的数据ABC通过分片打散到三台机器。

当今时代，企业数据越发膨胀。数据是企业的价值，但数据处理也是一种技术挑战。在海量数据处理的场景，即使单机计算能力再强，也无法满足日益增长的数据处理需求。所以，分布式才是解决该类问题的根本解决方案。而在分布式领域，有两类典型产品，分别是分布式存储和分布式计算。用户只有将两者的特性充分利用，才可以真正发挥分布式架构的存储和计算能力。 本文介绍 SequoiaDB（分布式存储）和 Spark（分布式计算）两款产品的对接使用，以及在海量数据场景下如何提高统计分析性能。 01 SequoiaDB 与 SparkSQL 介绍 SequoiaDB 是一款开源的金融级分布式关系型数据库，支持标准 SQL 和事务功能，支持复杂索引查询、与 Hadoop、Hive、Spark 都有较深度的集成。SequoiaDB 在分布式存储功能上，较一般的大数据产品能提供更多的数据切分规则，包括：水平切分、范围切分、主子表切分（类似 partition 分区）和多维切分方式，用户可以根据不用的场景选择相应的切分方式，以提高系统的存储能力和操作性能。 Spark 近年来发展特别迅猛，使用 SparkSQL 做大数据处理和分析的开发者越来越多。SparkSQL 是 Spark 产品中一个组成部分，SQL 的执行引擎使用 Spark 的 RDD 和 Dataframe 实现。 SparkSQL 和另外一款流行的大数据

上周五（7月12日）巨杉数据库参与了由得到App主办八里庄技术沙龙活动，分享主题是关于分布式数据库架构与实战。 以下就是根据巨杉数据库现场分享的内容进行的分享实录整理。 巨杉数据库简介 巨杉，专注新一代分布式数据库技术研发，自2011年成立以来，坚持从零开始打造分布式开源数据库引擎，是中国首家连续两年入选 Gartner 数据库报告的数据库厂商。 巨杉数据库的主要产品包括 SequoiaDB 分布式关系型数据库与 SequoiaCM 企业内容管理软件，应用场景包括分布式在线交易、数据中台、分布式内容管理等。 目前，巨杉数据库已在近百家大型商业银行核心生产业务上线，并广泛应用于金融、电信、政府、互联网、交通等领域，企业用户总数超过1000家。 数据库应如何应对微服务发展趋势 很多企 业 内部的 应 用开 发 都在从 传统 中 间 件加数据 库 的 “ 烟囱式 ” 开 发 ，向微服 务 架构 转 型。而在微服 务 体系架构中，几乎每个微服 务 都需要提供数据持久化的能力，而用 户 也希望每个微服 务 所承 载 的数据量能 够 无限的 弹 性 扩张 。但是，在采用微服 务 架构的 过 程中，每个微服 务 使用自身独立的数据 库 存 储 又会使 过 去集中在一个地方的数据分散到很多不同的 设备 中，造成整个 IT 架构的数据 严 重碎片化。 实际上，当企业用户采用微服务体系架构的时候

近期，巨杉数据库中标张家口银行，保定银行项目，应用业务场景包括联机业务、数据中台等，这标志这巨杉数据库银行业布局再进一步。 城商行是目前我国具有重要意义的一类银行，近年来随着市场的变化，城商行的机遇更加多元，但同时行业竞争和金融风险的也在逐渐增加。因此，城商行也迫切的进行着业务的创新与升级，科技创新成为了其中至关重要的核心环节。 巨杉数据库作为金融级分布式关系型数据库，能为城商行业务技术提供和架构的双重助力，帮助城商行实现分布式、云化架构的升级转型，提供高性能、稳定安全、通用性兼容性强的数据管理和访问能力。 商业银行客户由于强监管和高要求，以及其本身业务的复杂性，可以说是基础软件产品的唯一“试金石”。巨杉数据库技术的先进性，产品稳定性安全性和技术服务已经可以完全满足银行核心系统的严苛标准。通过在近百家商业银行客户的试炼，巨杉数据库在众多银行的联机交易等核心业务已经得到规模应用，核心应用场景不断增多，业务规模和数据量不断扩大。 关于张家口银行 张家口银行于2003年3月8日挂牌成立，2015年11月10日经中国银监会河北银监局批准由“张家口市商业银行”更名为“张家口银行”。截至2017年7月末，下辖10家分行、149家传统支行、95家社区支行和小微支行，1家小企业信贷中心，全行总资产1745亿元，各项存款余额1272亿元，各项贷款余额642亿元

日前，巨杉数据库中标渤海银行实时数据交换系统项目，助力渤海银行分布式架构转型。渤海银行也是巨杉正式签约合作的第六家大型股份制银行。 大型商业银行客户由于强监管和业务的额复杂性，高要求，可以说是基础软件产品的“试金石“。通过在超过50家商业银行客户的试炼，巨杉数据库在头部金融客户核心业务系统已经得到规模应用，核心应用场景不断增多，业务规模和数据量不断扩大。这也充分说明了巨杉数据库技术的先进性，产品稳定性和技术服务已经满足银行核心系统的严苛标准。 本次合作，巨杉数据库将帮助渤海银行与最前沿的金融科技快速接轨， 实现智能化经营水平的全面提升，帮助渤海银行 应用金融科技技术，提高数字化水平，破解银行发展难题，以此构建银行金融机构独特的竞争优势。 关于渤海银行 渤海银行是1996年至今国务院批准新设立的唯一一家全国性股份制商业银行，是第一家在发起设立阶段就引进境外战略投资者的中资商业银行，是第一家总部设在天津的全国性股份制商业银行。渤海银行2017年总资产达到10028亿元，实现营业收入252.04亿元，实现净利润67.54亿元，在英国《银行家》杂志公布的“全球银行1000强”排名中，渤海银行综合排名在200位。渤海银行已在全国设立了22家一级分行、23家二级分行、119家支行、87家社区小微支行，并在香港设立了代表处，下辖分支机构网点总数达到252家，网点布局覆盖了环渤海、长三角

近期，巨杉数据库中标东莞农村商业银行非结构化内容管理平台项目，通过新一代分布式数据库技术，助力东莞农商银行智慧化转型。 本次合作，巨杉数据库将帮助东莞农商银行与东莞银行接轨最前沿的金融科技技术， 实现智能化经营水平的全面提升，帮助两家银行 应用金融科技技术，提高数字化水平，破解银行发展难题，以此构建银行金融机构独特的竞争优势。 关于东莞农村商业银行 东莞农村商业银行是一家具有独立法人资格的总行级地方性股份制商业银行。东莞农商银行2004年统一法人体制改革，2009年12月完成股份制改制，是广东省率先启动改制为农村商业银行的三个试点之一。 截至2018年6月末，东莞农商银行资产总额达3743.68亿元，位居全国地级市农商行首位，全国农信系统第6位；各项存款余额达2463.63亿元，各项贷款余额达到1494.63亿元。据英国权威杂志《银行家》2018年统计，按一级资本计算，东莞农商银行位居全球银行业第290位，中国银行业第40位。 东莞农商银行目前设立了518个营业机构（含总行），下辖38个一级分支机构（含南沙分行、横琴分行、惠州支行和清新支行4个异地分支机构），173个二级支行和306个分理处，共517个营业网点。 （摘自东莞农商银行官网） 巨杉数据库金融级分布式数据库简介 巨杉数据库专注新一代分布式数据库技术研发，SequoiaDB巨杉数据库成立自2011年来以技术驱动产品

近期，巨杉数据库中标广州银行影像内容管理平台项目，助推广州银行智慧业务升级。 随着银行在智慧化转型的不断发展，影像、音视频甚至用户生物特征信息等非结构化数据在银行数据管理中的比重越来越大。因此，构建新一代非结构化数据管理平台，成为银行智慧化业务转型的重中之重。 本次合作，巨杉数据库将通过分布式数据库的弹性扩展性、高性能、安全性、稳定性和易运维等优势，帮助广州银行构建新一代非结构化数据管理平台，提高效率，简化运维，支撑更多创新业务，助力广州银行实现智慧化转型，进一步提升核心竞争力。 广州银行 广州银行是由广州市政府控股的 股份制商业银行 ，其前身为在46家 城市信用合作社 的基础上组建的广州城市合作银行，成立于1996年9月17日。后更名为广州市商业银行股份有限公司。截至2017年末，广州银行资产规模4401.52亿元，各项存款余额2815.85亿元，各项贷款余额1694.11亿元，实现利润总额38.52亿元，净利润32.20亿元。广州银行于2018 年入选，《The Banker》全球银行500强。 巨杉数据库金融级分布式数据库简介 巨杉数据库专注新一代分布式数据库技术研发，SequoiaDB巨杉数据库成立自2011年来以技术驱动产品，坚持从零开始打造分布式开源数据库引擎，专注打造金融级分布式数据库，是中国首家连续两年入选Gartner数据库报告的数据库厂商。 巨杉的主要产品之一

金融级分布式关系型数据库，巨杉数据库中标吉林省农村信用社联合社联机交易场景业务，助力农信银行智能化转型升级。 为了适应微服务、云化架构的转型需求，各省级农信银行纷纷推进分布式架构的实践项目，在架构转型以及新技术创新上投入不断增加。特别是在互联网金融、网贷、直销银行、开放银行等新兴金融业务中，银行对于数据基础架构的微服务化、扩展性、高可用和实时访问能力都提出了新的要求。因此，这些业务也成为了银行联机交易应用新一代分布式技术的主要场景。 本次合作，巨杉数据库将帮助吉林省农信实现微服务业务转型，提高智能化水平，应对互联网业务需求下的数据管理需求。 大型商业银行客户由于强监管和业务的复杂性，高要求，可以说是基础软件产品的唯一“试金石“。巨杉数据库作为金融级分布式关系型数据库，技术的先进性，产品稳定性安全性和技术服务已经可以完全满足银行核心系统的严苛标准。通过在近百家商业银行客户的试炼，巨杉数据库在众多银行的联机交易等核心业务已经得到规模应用，核心应用场景不断增多，业务规模和数据量不断扩大。 关于吉林省农村信用社联合社 吉林省农村信用社联合社成立于2004年5月20日，经省政府授权，对全省农村信用社履行“服务、指导、协调和行业管理”职能。现辖32家农村商业银行、19家县联社；员工26,743名，服务网点1,631个，是省内网点最多、服务范围最广、支农力度最大的地方金融机构。截至2015年末

日前，SequoiaDB巨杉数据库成功中选民生银行新一期“年度生产运营商业软件许可和服务采购”项目，再次携手推进分布式数据库管理平台建设。自从2014年正式和民生银行建立合作，巨杉数据库至今已经管理超过2PB的数据，节点数超过130台物理服务器，并已经在数据中台、分布式影像管理等多个核心业务系统、平台规模使用。 民生银行简介 ： 民生银行是中国第一家主要由民营企业发起设立的全国性股份制商业银行，截至2017年末，中国民生银行已经成为资产总额59,020.86亿元，一级资本净额超过3800亿元、资产总额超过5.9万亿元、分支机构近3000家、员工近5.8万人的大型商业银行。在英国《银行家》杂志2017年7月发布的全球1000家大银行排名中，中国民生银行位居第29位。民生银行坚持“民营企业的银行、科技金融的银行、综合服务的银行”的战略定位，锐意变革创新，加速战略转型，致力于成为一家特色鲜明、价值成长、持续创新的标杆性银行。 (摘自民生银行官网) 巨杉数据库金融级分布式数据库简介 巨杉数据库专注新一代分布式数据库技术研发，SequoiaDB巨杉数据库成立自2011年来以技术驱动产品，坚持从零开始打造分布式开源数据库引擎，专注打造金融级分布式数据库，是中国首家连续两年入选Gartner数据库报告的数据库厂商。 SequoiaDB巨杉数据库的技术维度包括分布式 NewSQL