SequoiaDB

随着企业应用的类型不断拓展，在海量数据、高并发、多类型数据的应用场景下，底层数据平台对于混合数据类型、混合业务场景处理能力的要求不断扩大，这就催生了 HTAP（混合事务和分析处理）的需求。 新一代分布式数据库，对于HTAP类型的处理有着无可比拟的优势。而本文将从实战出发，带大家了解HTAP场景下分布式数据库使用的几个技术要点，帮助大家使用分布式数据库六招轻松“搞定”HTAP场景。 传统数据库架构面临的痛点 1. 集群分散不利于整合，数据结构同步工作量大 目前传统数据库架构各个业务之间数据分散，往往一个比较全面的关联查询需要找不同的机构去不同的库中查询数据。甚至有些数据已经使用磁盘落库的方式永久尘封，数据没有使用的价值。怎么能够把各个业务系统打通，如何把数据盘活，让数据能够给业务带来新的增长点是现在面临比较棘手的问题。 2. 传统方式存储，后续扩展同样面临生产当前问题 因为核心系统普遍使用小型机架构，传统关系型数据库扩容会非常麻烦，且扩容成本会很高。只能不断把生产数据剥离出来同步到历史库中，应用查询往往需要对接查询多个不同库，且每天数据切割工作给运维人员带来不小压力。 3. SQL查询界面和服务形式单一 传统架构只有一个数据查询窗口，伴随着机器宕机、和某些用户使用不当会拖垮整个库的性能，这样是对整个业务是有很大影响的。且业务对应的SQL查询形式比较单一，无法适应目前互联网多样化的需求

随着企业应用的类型不断拓展，在海量数据、高并发、多类型数据的应用场景下，底层数据平台对于混合数据类型、混合业务场景处理能力的要求不断扩大，这就催生了 HTAP（混合事务和分析处理）的需求。 新一代分布式数据库，对于HTAP类型的处理有着无可比拟的优势。而本文将从实战出发，带大家了解HTAP场景下分布式数据库使用的几个技术要点，帮助大家使用分布式数据库六招轻松“搞定”HTAP场景。 传统数据库架构面临的痛点 1. 集群分散不利于整合，数据结构同步工作量大 目前传统数据库架构各个业务之间数据分散，往往一个比较全面的关联查询需要找不同的机构去不同的库中查询数据。甚至有些数据已经使用磁盘落库的方式永久尘封，数据没有使用的价值。怎么能够把各个业务系统打通，如何把数据盘活，让数据能够给业务带来新的增长点是现在面临比较棘手的问题。 2. 传统方式存储，后续扩展同样面临生产当前问题 因为核心系统普遍使用小型机架构，传统关系型数据库扩容会非常麻烦，且扩容成本会很高。只能不断把生产数据剥离出来同步到历史库中，应用查询往往需要对接查询多个不同库，且每天数据切割工作给运维人员带来不小压力。 3. SQL查询界面和服务形式单一 传统架构只有一个数据查询窗口，伴随着机器宕机、和某些用户使用不当会拖垮整个库的性能，这样是对整个业务是有很大影响的。且业务对应的SQL查询形式比较单一，无法适应目前互联网多样化的需求

数据库调优实践案例 数据库作为基础数据支撑层的核心部分，对于应用和平台整体性能表现有着决定性的影响。因此，数据库性能优化可以说是最考验DBA能力的工作了。本文我们就由数据库内核专家来，以 SequoiaDB 5.0 内核的部分性能优化为例，带领各位数据库爱好者揭开数据库性能优化的“神秘面纱”。 通常优化思路： 提高数据库性能的方式有很多，总结起来从易到难无外乎如下三种： 最简单直观的是通过使用数据库提供的工具，找到SQL语句执行中消耗资源最大或耗时最长的部分，也即性能瓶颈。然后通过调整数据本身或数据库配置解决这些性能瓶颈。比如说发现数据分布不均匀，我们可以通过切分数据(split)达到数据均衡(rebalance)；再比如我们发现某些网络时延较长，在确定不是网络本身的问题后，我们可以通过调整连接端口数和通讯处理线程提高数据库消息处理能力；再比如单点磁盘IO过多，需要调整缓存或调整部分数据的分布。SequoiaDB提供了图形化的性能诊断工具SequoiaPerf，可以协助用户完成上述的调优。 业界经验证明，效果最明显，成本最低的方法其实是SQL语句的调优，通常是通过理解分析访问计划，对比实际语句执行时的开销来判断语句是否优化。比如对比索引读和表读的个数判断否创建使用了合适的索引；对比访问计划的打分和时间执行开销来判断表/集合/索引的统计信息是否反映当前最新的状态

数据库调优实践案例 数据库作为基础数据支撑层的核心部分，对于应用和平台整体性能表现有着决定性的影响。因此，数据库性能优化可以说是最考验DBA能力的工作了。本文我们就由数据库内核专家来，以 SequoiaDB 5.0 内核的部分性能优化为例，带领各位数据库爱好者揭开数据库性能优化的“神秘面纱”。 通常优化思路： 提高数据库性能的方式有很多，总结起来从易到难无外乎如下三种： 最简单直观的是通过使用数据库提供的工具，找到SQL语句执行中消耗资源最大或耗时最长的部分，也即 性能瓶颈 。然后通过调整数据本身或数据库配置解决这些性能瓶颈。比如说发现数据分布不均匀，我们可以通过切分数据(split)达到数据均衡(rebalance)；再比如我们发现某些网络时延较长，在确定不是网络本身的问题后，我们可以通过调整连接端口数和通讯处理线程提高数据库消息处理能力；再比如单点磁盘IO过多，需要调整缓存或调整部分数据的分布。SequoiaDB提供了图形化的性能诊断工具SequoiaPerf，可以协助用户完成上述的调优。 业界经验证明，效果最明显，成本最低的方法其实是 SQL语句的调优 ，通常是通过理解分析访问计划，对比实际语句执行时的开销来判断语句是否优化。比如对比索引读和表读的个数判断否创建使用了合适的索引；对比访问计划的打分和时间执行开销来判断表/集合/索引的统计信息是否反映当前最新的状态

近日， 巨杉数据库 与飞腾完成技术兼容和认证工作。经双方联合严格测试，SequoiaDB 巨杉数据库 v3.4 在飞腾 FT-2000+/64 处理器顺利安装，稳定运行，安全可靠，性能卓越，相互兼容，能够为用户应用提供全面保障。 FT-2000+/64处理器是国际首款兼容ARMv8指令集的64核通用CPU，也是中国首款自主设计的64核通用CPU。在云计算应用领域以及国内金融、电信、能源等关键行业应用系统中，可部分实现对Intel “至强”服务器芯片的替代，提供面向企业级信息化基础设施建设所需的计算能力和访存通信带宽。 SequoiaDB 巨杉数据库作为国内领先的分布式数据库，其计算存储分离架构与云环境的弹性扩张的特性均与当前业界主流技术方向一致。同时，巨杉数据库还提供原生分布式存储引擎，支持完整 ACID和分布式事务，保证金融级OLTP业务的事务安全性；数据库计算层引擎支持所有标准 SQL 访问，兼容MySQL、PGSQL和SparkSQL；支持可配置的多副本机制，无单点故障，保证数据的高可用同时，可以实现读写分离和HTAP；支持数据库内核级别的高可用以及跨数据中心灾备多活能力，目前已经实现异地容灾备份，可满足“三地五中心”的容灾支持。 作为国内软件和硬件的代表，未来双方将进一步加深合作，充分发挥各自优势，为银行、证券、保险、电信、政府、互联网

使用背景 公司近期上线了一个新应用，底层数据库采用了 国产的分布式数据库 – SequoiaDB 。 因为需要将 SequoiaDB 集群纳入到公司的整个监控体系中，所以需要对 SequoiaDB 的状态、性能指标等信息收集起来，然后提供监控系统使用。 SequoiaDB 数据库本身提供了一个图形化的监控界面 – SAC，但是里面的监控项，和我们公司过去常用的指标有很大出入。所以在咨询了 SequoiaDB 的相关人员后，决定自己开发一套监控程序。 SequoiaDB 存储引擎的监控 在 SequoiaDB 数据库，存在两个大的体系，一个是计算层，像我们就是使用了 MySQL 实例，另外一个就是 SequoiaDB 的分布式存储层，也是整个数据库对性能影响最大的部分。 关于 MySQL 的监控，公司本来就已经存在一整套完备的监控程序，所以这块就不需要再额外的开发了。但是对于 SequoiaDB 底层的分布式，还是非常有必要将相关指标收集起来的。 SequoiaDB 在监控体系上，其实做得还是比较完整的，只是在展现方式上，还需要再打磨一下。SequoiaDB 底层分布式的所有运行信息，用户都可以通过snapshot，或者是list 命令获取。 我从 SequoiaDB 的技术人员中了解到，其实像 SAC，或者 sdbtop 等这种 SequoiaDB 官方提供的监控工具

数据库调优实践案例 数据库作为基础数据支撑层的核心部分，对于应用和平台整体性能表现有着决定性的影响。因此，数据库性能优化可以说是最考验DBA能力的工作了。本文我们就由数据库内核专家来，以 SequoiaDB 5.0 内核的部分性能优化为例，带领各位数据库爱好者揭开数据库性能优化的“神秘面纱”。 通常优化思路： 提高数据库性能的方式有很多，总结起来从易到难无外乎如下三种： 最简单直观的是通过使用数据库提供的工具，找到SQL语句执行中消耗资源最大或耗时最长的部分，也即 性能瓶颈 。然后通过调整数据本身或数据库配置解决这些性能瓶颈。比如说发现数据分布不均匀，我们可以通过切分数据(split)达到数据均衡(rebalance)；再比如我们发现某些网络时延较长，在确定不是网络本身的问题后，我们可以通过调整连接端口数和通讯处理线程提高数据库消息处理能力；再比如单点磁盘IO过多，需要调整缓存或调整部分数据的分布。SequoiaDB提供了图形化的性能诊断工具SequoiaPerf，可以协助用户完成上述的调优。 业界经验证明，效果最明显，成本最低的方法其实是 SQL语句的调优 ，通常是通过理解分析访问计划，对比实际语句执行时的开销来判断语句是否优化。比如对比索引读和表读的个数判断否创建使用了合适的索引；对比访问计划的打分和时间执行开销来判断表/集合/索引的统计信息是否反映当前最新的状态

一、概述 在数据作为生产资料的今天，数据早已成为各行各业的生命源泉，数据安全的重要性不言而喻。数据备份是数据安全的基础,完整的备份和有效的恢复手段是应对一切突发状况的重要保障。同时数据备份也对数据的重新利用，发挥数据更大价值，有着重大的作用。 而数据备份的重点是对数据库的备份。定期对数据库进行数据备份，以便能在未来发生系统故障、人为误操作等情况时，进行数据恢复，防范于未然。 巨杉数据库作为新一代分布式交易型数据库，采用“计算与存储分离”的架构；和同时期发展分布式数据库的灯塔厂商AWS在架构上不谋而合。能够在微服务时代更好支撑应用便捷开发的需求。 计算与存储分离的架构，也使得巨杉数据库拥有多种多样的备份恢复方法。在巨杉数据库的存储引擎层和SQL实例层都可以达到对数据库备份恢复的目的。 计算与存储分离架构图 二、存储引擎层的备份恢复 巨杉数据库采用自研的 SequoiaDB 分布式存储引擎，支持物理备份(db.backup)与逻辑备份(sdbexprt)。 物理备份是指转储数据库物理文件(如数据文件、日志文件等),一旦数据库发生故障,可以利用这些文件进行还原；通常可以分为全量备份与增量备份。巨杉数据库物理备份可以针对全库进行或者指定数据组进行； 巨杉数据库做物理备份和恢复工作时，要注意分布式数据库与关系型数据库的不同，即分布式数据库数据恢复会涉及到多台服务器的数据库物理文件

一、概述 在数据作为生产资料的今天，数据早已成为各行各业的生命源泉，数据安全的重要性不言而喻。数据备份是数据安全的基础,完整的备份和有效的恢复手段是应对一切突发状况的重要保障。同时数据备份也对数据的重新利用，发挥数据更大价值，有着重大的作用。 而数据备份的重点是对数据库的备份。定期对数据库进行数据备份，以便能在未来发生系统故障、人为误操作等情况时，进行数据恢复，防范于未然。 巨杉数据库作为新一代分布式交易型数据库，采用“计算与存储分离”的架构；和同时期发展分布式数据库的灯塔厂商AWS在架构上不谋而合。能够在微服务时代更好支撑应用便捷开发的需求。 计算与存储分离的架构，也使得巨杉数据库拥有多种多样的备份恢复方法。在巨杉数据库的存储引擎层和SQL实例层都可以达到对数据库备份恢复的目的。 计算与存储分离架构图 二、存储引擎层的备份恢复 巨杉数据库采用自研的 SequoiaDB 分布式存储引擎，支持物理备份(db.backup)与逻辑备份(sdbexprt)。 物理备份是指转储数据库物理文件(如数据文件、日志文件等),一旦数据库发生故障,可以利用这些文件进行还原；通常可以分为全量备份与增量备份。巨杉数据库物理备份可以针对全库进行或者指定数据组进行； 巨杉数据库做物理备份和恢复工作时，要注意分布式数据库与关系型数据库的不同，即分布式数据库数据恢复会涉及到多台服务器的数据库物理文件

本期要点 DB-Engines数据库排行榜 一、RDBMS MySQL发布8.0.20版本，5.6版本于2021年2月停止更新 DB2发布11.5.2版本，且看容器化是否可为DB2注入新活力 PostgreSQL所有版本的小版本更新到最新版，停止维护9.4 OceanBase发布2.2.5版本 二、NoSQL Redis发布6 RC1版本，值得期待（把玩有风险，上线需谨慎） RocksDB发布6.7.3版本 ArangoDB发布3.6版本 三、NewSQL TiDB发布4.0 RC版本 SequoiaDB发布v5.0 Beta版本 四、时序数据库 InfluxDB发布2.0.0 Beta 8版本 TimescaleDB发布1.6.1版本 五、大数据生态圈 Flink发布1.9.2版本，带来大量bug修复 Elasticsearch发布7.6.2版本 Greenplum发布6.7版本 六、国产数据库 ArkDB发布3.0版本 QianBase发布1.5.4正式版 OushuDB即将发布4.0版本 七、云数据库 阿里云三款数据库产品更新 腾讯云六款产品更新 京东智联云五款数据库产品更新 RadonDB即将发布1.1.0版本 推出dbaplus Newsletter的想法 感谢名单 为方便阅读、重点呈现，本文对各板块内容进行了精简，需阅读完整版可 登录云盘下载： https://pan