SequoiaDB

3 月，跳不动了？>>> 01 背景 由于业务形式的发展，越来越多的需求需要对交易数据进行实时分析，例如推荐、决策、监控等，传统的处理办法是使用ETL的方式把OLTP业务产生的数据同步到OLAP的数据数据库，导致了数据需要在不同的数据库之间流转，耗费时间成本的同时需要耗费人力成本运维多套数据库产品。 近年来业界开始兴起HTAP的概念，对于数据库，HTAP代表一个数据库既能支持OLTP(在线事务处理)，又能支持OLAP(在线分析处理)，从而满足大部分企业级应用的需求。相比传统使用多款数据库进行不同的业务处理方式，HTAP数据库能够避免传统复杂的ETL过程，省去数据在不同数据库之间的流转时间；同时避免维护多一套用于分析的数据库，从而节省人力和时间的成本，提高数据的价值。 SequoiaDB巨杉数据库采用“计算存储分离”架构，支持MySQL、PostgreSQL与SparkSQL三种关系型数据库实例、类MongoDB的JSON文档类数据库实例、以及S3对象存储与Posix文件系统的非结构化数据实例。在事务场景可以利用SDBAPI、MySQL和PGSQL实例对数据进行操作，在分析场景借助分布式计算框架Spark的并发计算性能，提高计算效率，从而实现HTAP功能 02 技术特性 巨杉数据库作为一款优秀的分布式数据库有着许多技术优势：分布式多节点、支持索引、基于代价的优化器

3 月，跳不动了？>>> 课程背景和规划介绍 巨杉大学的学习和认证包括SCDA（巨杉数据库认证技术专员），SCDP（巨杉数据库中级工程师认证），SCDE（巨杉数据库高级工程师认证)，SCDD（巨杉数据库认证开发者）等计划，未来还将持续推出针对行业用户、数据库运维、开发者和开源社区爱好者更多学习计划，共同拓展行业广度和技术深度。 巨杉大学的 SCDP（巨杉数据库中级工程师认证）计划，直接上手操作使用，直观体验分布式数据库功能技术。在线交互学习测试，根据代码验证测试结果，帮助大家快速掌握分布式数据库运维管理。 Talk is cheap，show your code！ 分布式数据库进阶： 在线动手操作分布式数据库，代码交互和学习测试，快速掌握分布式数据库使用 全功能快速掌握： 内容覆盖分布式数据库所有功能亮点，无需复杂部署配置，在线交互快速掌握 分布式数据库进阶： 进阶技术课程，突出分布式数据库优势点，操作场景结合应用实践，快速成为分布式数据库DBA 丰富学习支持： 学习认证采用小班指导，辅助材料帮助学习，更多维度帮助用户学习 课程参与方式 目前 SCDP中级工程师认证 以学习班模式按批次进行学习考试，每期40人，添加小助手报名，我们会根据班次安排进行课程通知。 报名参与方式： 注册并登录巨杉数据库官网，在 SCDP 课程页面点击考试申请 添加小助手“杉杉”or“快乐的杉杉” 备注（

3 月，跳不动了？>>> 1 前言 在应用程序中，应用配置连接的数据库IP地址和端口号都是固定一个的，当所属IP地址的服务器宕机后，需要人为手工更改IP地址切换数据库服务器。同时当应用接收到成千上万的并发 http 请求时，会导致服务器消耗大量系统资源，轻则响应速度降低，严重的甚至会引发宕机。 为了充分合理的利用服务器资源，提高数据服务的性能和稳定性，在较低成本的前提下，保证在部分服务器宕机或发生故障的情况下不影响业务的正常运作。本文主要介绍 Nginx+Keepalived 连接 SequoiaDB -MySQL 实例的高可用方案与实践。 2 SequoiaDB 数据库介绍 SequoiaDB 巨杉数据库是一款完全自研的金融级分布式数据库产品，采用计算与存储分离架构，由数据库实例层和数据库存储引擎层组成。数据库实例层负责解析请求并转发至数据库存储引擎层处理，同时会将数据库存储引擎层的响应结果反馈给应用层，数据库实例层支持包括针对结构化数据的 MySQL 实例、PostgreSQL 实例、SparkSQL 实例，以及针对非结构化数据的 S3 和 PosixFS 文件系统的对象存储实例实例，而数据库存储引擎层是由 SequoiaDB 巨杉数据库的协调节点、编目节点和数据节点组成。该数据库集群架构能方便用户实现由传统数据库到巨杉数据库的无缝迁移，减少应用开发者的开发和学习成本。 2.1

01 引言 随着用户的增长、业务的发展，大型企业用户的业务系统的数据量越来越大，超大数据表的性能问题成为阻碍业务功能实现的一大障碍。其中，流水表作为最常见的一类超大表，是企业级用户经常碰到的性能瓶颈。 本文就以流水类的超大表，探讨基于SequoiaDB巨杉数据库存储的超大表进行的性能调优。SequoiaDB 巨杉数据库，作为新一代 OLTP 的分布式数据库，被广泛使用于海量数据存储与高并发操作场景中。对于海量数据的存储和高并发操作，分布式数据库相较于传统数据库有着天然的优势，合理利用SequoiaDB巨杉数据库多种特性，轻松解决超大表的性能问题。 02 数据存储规划很重要 对于流水类超大表，前期的数据存储规划尤为重要，合理的数据存储规划能有效利用数据库集群硬件资源，提供更高性能、更高效率的数据服务。 集群规模评估与硬件配置搭配 在数据库集群规划伊始，需要通过调研数据库集群支撑应用规模、系统定位和业务长期发展规划进行摸底，用以评估集群规模以及各服务器的CPU、内存、硬盘、网卡的合理搭配。 精准的评估一个数据库集群规模，是一个宏大且复杂的综合工程，需要有的业务需求评估数据加以支持。通常情况下，由于业务需求变化快、业务增长普遍高于预期，小集群规划可以按照业务调研信息的1.5~2倍进行评估，大集群规划可以按1~1.5倍进行评估。 集群规模需要通过业务规模、数据存储规模

随着业务负载的不断加重，容器化、虚拟化也成为各类在线应用必须要具备的能力。对于分布式数据库，容器化也是提升快速部署、提高运维效率的一个很好的路径。 我们重新优化了 Docker部署的方式，帮助大家更快的上手SequoiaDB集群，本文就将介绍基于 Docker 的SequoiaDB分布式集群快速部署。 1.集群配置 我们将在六个容器中部署一个多节点，高度可用的 SequoiaDB 集群，如下所示: （本文以 SequoiaDB v3.2.3 版本为例） 该集群包括一个协调器节点、一个目录节点、三个数据组，每个数据组有三个副本数据节点和一个 MySQL 实例节点。 环境 ​​​​​​​ OS : Ubuntu 18 Docker Version : 18.09.7 Docker Compose Version: 1.25.3 Database Version : SequoiaDB 3.2.3 MySql Client: Sequoiasql-mysql Cluster Deployment : 1 coordinator, 1 catalog, 3 data nodes, and 1 MySQL instance 2.1 Docker安装 2.1.1 Docker 对于在不同平台上的 Docker 安装，用户可以参阅 Docker 安装指南。 sudo apt-get

随着业务负载的不断加重，容器化、虚拟化也成为各类在线应用必须要具备的能力。对于分布式数据库，容器化也是提升快速部署、提高运维效率的一个很好的路径。 我们重新优化了 Docker部署的方式，帮助大家更快的上手SequoiaDB集群，本文就将介绍基于 Docker 的SequoiaDB分布式集群快速部署。 1.集群配置 我们将在六个容器中部署一个多节点，高度可用的 SequoiaDB 集群，如下所示: （本文以 SequoiaDB v3.2.3 版本为例） 该集群包括一个协调器节点、一个目录节点、三个数据组，每个数据组有三个副本数据节点和一个 MySQL 实例节点。 2. 环境 OS : Ubuntu 18 Docker Version : 18.09.7 Docker Compose Version: 1.25.3 Database Version : SequoiaDB 3.2.3 MySql Client: Sequoiasql-mysql Cluster Deployment : 1 coordinator, 1 catalog, 3 data nodes, and 1 MySQL instance 2.1 Docker安装 2.1.1 Docker 对于在不同平台上的 Docker 安装，用户可以参阅 Docker 安装指南。 sudo apt-get install -y

本文为SequoiaDB社区用户贡献的文档教程，帮助大家快速入门SequoiaDB适配C#，并进行简单的开发。 安装Microsoft Visual Studio 2017 通过以下网址： https://www.visualstudio.com/zh-hans/free-developer-offers/ 下载最新版本的Microsoft Visual Studio 2017版本。 使用以下命令创建一个离线安装版本： 下载时间比较长，完全下载之后，在目录下执行vs_setup.exe 在开始菜单中找到Visual Studio的启动程序。 调试SequoiaDB自带的Sample Code 方法一： 利用安装包自带的sequoiadb.dll 从sdb的安装路径下，找到自带的sequoiadb.dll文件。这个dll动态链接库支持.NETFramework v4.0版本。 方法二：利用sdb开源的代码编译自己的sequoiadb.dll。可以通过工程中设置依赖的.NETFrameWork的版本，这个方法应对特殊的应用需求。 从github上下载 sdb driver for C#，如下图： 用Visual Studio 打开工程项目： 在Visual Studio工程界面内，右键选择driver工程，重新编译生成。 在输出的目录下找到生成的动态编译库：

01 引言 随着用户的增长、业务的发展，大型企业用户的业务系统的数据量越来越大，超大数据表的性能问题成为阻碍业务功能实现的一大障碍。其中，流水表作为最常见的一类超大表，是企业级用户经常碰到的性能瓶颈。 本文就以流水类的超大表，探讨基于SequoiaDB巨杉数据库存储的超大表进行的性能调优。SequoiaDB 巨杉数据库，作为新一代 OLTP 的分布式数据库，被广泛使用于海量数据存储与高并发操作场景中。对于海量数据的存储和高并发操作，分布式数据库相较于传统数据库有着天然的优势，合理利用SequoiaDB巨杉数据库多种特性，轻松解决超大表的性能问题。 02 数据存储规划很重要 对于流水类超大表，前期的数据存储规划尤为重要，合理的数据存储规划能有效利用数据库集群硬件资源，提供更高性能、更高效率的数据服务。 1. 集群规模评估与硬件配置搭配 在数据库集群规划伊始，需要通过调研数据库集群支撑应用规模、系统定位和业务长期发展规划进行摸底，用以评估集群规模以及各服务器的CPU、内存、硬盘、网卡的合理搭配。 精准的评估一个数据库集群规模，是一个宏大且复杂的综合工程，需要有的业务需求评估数据加以支持。通常情况下，由于业务需求变化快、业务增长普遍高于预期，小集群规划可以按照业务调研信息的1.5~2倍进行评估，大集群规划可以按1~1.5倍进行评估。 集群规模需要通过业务规模、数据存储规模

最近，又双叕有企业被“删库”了。来自微盟官网的消息，微盟的业务系统数据库（包括主备）遭遇其公司运维人员的删除，系统将停止运营超48小时。 频发的类似事件也让大家对于数据安全的关注不断提高。数据是一个科技企业的核心资产，删库事件频发其实也是在提醒大家对于数据安全必须重视。想要预防风险，既需要企业建立完善的数据权限管理制度，也需要企业注重数据备份和容灾等架构的搭建。 权限管理，可以区分为角色管理和层级管理方式。角色管理就是区分应用运维、系统运维、DBA 等多类岗位角色，每个岗位都只能接触自己所负责业务的数据，以及相应可执行的权限。层级管理，则是垂直向的细化分级，将各个员工层级可以进行的操作进行严格的区分和限制，并且严格遵守审批审核的制度，避免因为省事而将重要权限放松管理。 防灾预案，演练和预案是十分容易被技术团队忽略的一个重要风险因素。就像是政府，无论是应对疫情还是突发事件，都会有一套完善的应急预案和响应机制，在事情发生时最快反应，及时止损，尽快恢复。 备份容灾，对于大型企业，数据的备份、容灾是必不可少的。以金融行业举例，在中国，对于大部分银行数据中心，监管机构目前提出了对于数据安全和数据高可用的“两地三中心”以及“双活”的能力。“两地三中心”即生产数据中心、同城灾备中心和异地灾备中心建设方案。这种模式下，两个城市的三个数据中心互联互通，如果一个数据中心发生故障或灾难

最近，又双叕有企业被“删库”了。来自微盟官网的消息，微盟的业务系统数据库（包括主备）遭遇其公司运维人员的删除，系统将停止运营超48小时。 频发的类似事件也让大家对于数据安全的关注不断提高。数据是一个科技企业的核心资产，删库事件频发其实也是在提醒大家对于数据安全必须重视。想要预防风险，既需要企业建立完善的数据权限管理制度，也需要企业注重数据备份和容灾等架构的搭建。 权限管理 ，可以区分为 角色管理 和 层级管理 方式。 角色管理 就是区分应用运维、系统运维、DBA 等多类岗位角色，每个岗位都只能接触自己所负责业务的数据，以及相应可执行的权限。 层级管理 ，则是垂直向的细化分级，将各个员工层级可以进行的操作进行严格的区分和限制，并且严格遵守审批审核的制度，避免因为省事而将重要权限放松管理。 防灾预案 ，演练和预案是十分容易被技术团队忽略的一个重要风险因素。就像是政府，无论是应对疫情还是突发事件，都会有一套完善的应急预案和响应机制，在事情发生时最快反应，及时止损，尽快恢复。 备份容灾 ，对于大型企业，数据的备份、容灾是必不可少的。以金融行业举例，在中国，对于大部分银行数据中心，监管机构目前提出了对于数据安全和数据高可用的“两地三中心”以及“双活”的能力。“两地三中心”即生产数据中心、同城灾备中心和异地灾备中心建设方案。这种模式下，两个城市的三个数据中心互联互通