SequoiaDB

为方便用户快速体验，SequoiaDB 巨杉数据库提供基于 Docker 的镜像。本文介绍如何在 Docker 环境下部署 SequoiaDB 分布式集群环境。 集群规划 我们准备在五个容器中部署一个多节点高可用 SequoiaDB 集群。 主机名 IP 分区组 部署软件 Coord 协调节点 172.17.0.2:11810 SYSCoord SequoiaDB 3.2.1 Catalog编目节点 172.17.0.2:11800 SYSCatalogGroup SequoiaDB 3.2.1 Data1数据节点1 172.17.0.3:11820 group1 SequoiaDB 3.2.1 Data2数据节点2 172.17.0.4:11820 group1 SequoiaDB 3.2.1 Data3数据节点3 172.17.0.5:11820 group1 SequoiaDB 3.2.1 Data1数据节点2 172.17.0.4:11830 group2 SequoiaDB 3.2.1 Data2数据节点3 172.17.0.5:11830 group2 SequoiaDB 3.2.1 Data3数据节点1 172.17.0.3:11830 group2 SequoiaDB 3.2.1 Data1数据节点3 172.17.0.5:11840 group3

一般在多机环境下部署数据库的集群模式是比较繁琐的，下面我来分享一个如何通过shell脚本的方式简单、方便地部署我们的集群。 首先，我们要给机器配置信任关系，这样我们就无需手动的输入密码来执行ssh和scp操作 假设我们我们有四台机器： suse1 suse2 suse3 suse4 suse1是部署控制机，suse2 suse3 suse4是需要部署的机器 suse2 suse3 suse4分别执行 ssh-keygen -d 产生秘钥和公钥，再将各自的公钥存储在suse1的authorized_keys文件中 如果suse1也是需要部署的机器，同样也是需要建立相应的信任关系 建立好信任关系后，将四个脚本文件和SequoiaDB安装软件放在同一个文件夹，我们就可以操作部署了 我将部署的脚本分成了四部分： 控制机执行脚本、远程机执行脚本、函数库脚本和部署配置脚本 控制机执行脚本 sequoiadb_deploy.sh 主要的工作是分发文件，将数据库软件、远程执行脚本、函数库脚本和配置脚本分发到远程机器的 再通知远程的机器执行远程文件 远程机执行脚本 remote_deploy.sh 主要工作 卸载旧版本的SequoiaDB数据库，安装新版本的SequoiaDB数据库，配置SequoiaDB引擎启动文件 启动本机的SequoiaDB引擎 针对部署方案，将磁盘mount到指定的目录

1.背景 SequoiaDB 巨杉数据库是一款金融级分布式数据库，包括了分布式 NewSQL、分布式文件系统与对象存储、与高性能 NoSQL 三种存储模式，分别对应分布式在线交易、非结构化数据和内容管理、以及海量数据管理和高性能访问场景。 集群一般会使用三副本方式以确保数据安全。假若集群发生因硬件故障等原因导致的节点故障或集群异常，数据库管理员应进行系统的分析和诊断，以确保集群正常工作，不会影响用户的正常使用。本文将与大家分享一下基本的 SequoiaDB 数据库诊断方法。 2. 数据库集群诊断 1）确定 SequoiaDB 的安装路径 如果用户刚接触全新的 SequoiaDB 环境，可以通过 cat /etc/default/sequoiadb 命令查看数据库安装路径。 # cat tc/default/sequoiadb NAME=sdbcm SDBADMIN_USER=sdbadmin INSTALL_DIR=/opt/sequoiadb INSTALL_DIR即 SequoiaDB 的安装路径。 2）列出集群节点信息 【检查办法】 切换到数据库安装用户（默认为sdbadmin用户），查看节点信息和全部节点。 $ sdblist -l $ sdblist -t all 从左到右依次为SvcName（节点名称）、Role（角色名称分为：编目节点、协调节点和数节点）、PID

1.背景 SequoiaDB 巨杉数据库是一款金融级分布式数据库，包括了分布式 NewSQL、分布式文件系统与对象存储、与高性能 NoSQL 三种存储模式，分别对应分布式在线交易、非结构化数据和内容管理、以及海量数据管理和高性能访问场景。 集群一般会使用三副本方式以确保数据安全。假若集群发生因硬件故障等原因导致的节点故障或集群异常，数据库管理员应进行系统的分析和诊断，以确保集群正常工作，不会影响用户的正常使用。本文将与大家分享一下基本的 SequoiaDB 数据库诊断方法。 2. 数据库集群诊断 1）确定 SequoiaDB 的安装路径 如果用户刚接触全新的 SequoiaDB 环境，可以通过 cat /etc/default/sequoiadb 命令查看数据库安装路径。 # cat tc/default/sequoiadb NAME=sdbcm SDBADMIN_USER=sdbadmin INSTALL_DIR=/opt/sequoiadb INSTALL_DIR即 SequoiaDB 的安装路径。 2）列出集群节点信息 【检查办法】 切换到数据库安装用户（默认为sdbadmin用户），查看节点信息和全部节点。 $ sdblist -l $ sdblist -t all 从左到右依次为SvcName（节点名称）、Role（角色名称分为：编目节点、协调节点和数节点）、PID

SequoiaDB 一款自研金融级分布式数据库产品，支持标准SQL和分布式事务功能、支持复杂索引查询，兼容 MySQL、PGSQL、SparkSQL等SQL访问方式。SequoiaDB 在分布式存储功能上，较一般的大数据产品提供更多的数据切分规则，包括：水平切分、范围切分、主子表切分和多维切分方式，用户可以根据不用的场景选择相应的切分方式，以提高系统的存储能力和操作性能。 为了能够提供简单便捷的数据迁移和导入功能，同时更方便地与传统数据库在数据层进行对接，巨杉数据库支持多种方式的数据导入，用户可以根据自身需求选择最适合的方式加载数据。 本文主要介绍巨杉数据库集中常见的高性能数据导入方法，其中包括巨杉工具矩阵中的 Sdbimprt导入工具，以及使用SparkSQL, MySQL和原生API 接口进行数据导入，一共四种方式。 Sdbimprt工具导入 sdbimprt 是 SequoiaDB 的数据导入工具，是巨杉数据库工具矩阵中重要组成之一，它可以将 JSON 格式或 CSV 格式的数据导入到 SequoiaDB 数据库中。 关于工具说明与参数介绍，请参考： http://doc.sequoiadb.com/cn/sequoiadb-cat_id-1479195620-edition_id-0。 一、示例 下面简单介绍一下如何使用 sdbimprt 工具将 csv 文件导入到

SequoiaDB 一款自研金融级分布式数据库产品，支持标准SQL和分布式事务功能、支持复杂索引查询，兼容 MySQL、PGSQL、SparkSQL等SQL访问方式。SequoiaDB 在分布式存储功能上，较一般的大数据产品提供更多的数据切分规则，包括：水平切分、范围切分、主子表切分和多维切分方式，用户可以根据不用的场景选择相应的切分方式，以提高系统的存储能力和操作性能。 为了能够提供简单便捷的数据迁移和导入功能，同时更方便地与传统数据库在数据层进行对接，巨杉数据库支持多种方式的数据导入，用户可以根据自身需求选择最适合的方式加载数据。 本文主要介绍巨杉数据库集中常见的高性能数据导入方法，其中包括巨杉工具矩阵中的 Sdbimprt导入工具，以及使用SparkSQL, MySQL和原生API 接口进行数据导入，一共四种方式。 Sdbimprt工具导入 sdbimprt 是 SequoiaDB 的数据导入工具，是巨杉数据库工具矩阵中重要组成之一，它可以将 JSON 格式或 CSV 格式的数据导入到 SequoiaDB 数据库中。 关于工具说明与参数介绍，请参考：http://doc.sequoiadb.com/cn/sequoiadb-cat_id-1479195620-edition_id-0。 一、示例 下面简单介绍一下如何使用 sdbimprt 工具将 csv 文件导入到

1.背景 SequoiaDB 巨杉数据库是一款金融级分布式数据库，包括了分布式 NewSQL、分布式文件系统与对象存储、与高性能 NoSQL 三种存储模式，分别对应分布式在线交易、非结构化数据和内容管理、以及海量数据管理和高性能访问场景。 集群一般会使用三副本方式以确保数据安全。假若集群发生因硬件故障等原因导致的节点故障或集群异常，数据库管理员应进行系统的分析和诊断，以确保集群正常工作，不会影响用户的正常使用。本文将与大家分享一下基本的 SequoiaDB 数据库诊断方法。 2. 数据库集群诊断 1）确定 SequoiaDB 的安装路径 如果用户刚接触全新的 SequoiaDB 环境，可以通过 cat /etc/default/sequoiadb 命令查看数据库安装路径。 # cat tc/default/sequoiadb NAME=sdbcm SDBADMIN_USER=sdbadmin INSTALL_DIR=/opt/sequoiadb INSTALL_DIR即 SequoiaDB 的安装路径。 2）列出集群节点信息 【检查办法】 切换到数据库安装用户（默认为sdbadmin用户），查看节点信息和全部节点。 $ sdblist -l $ sdblist -t all 从左到右依次为SvcName（节点名称）、Role（角色名称分为：编目节点、协调节点和数节点）、PID

深秋时节，SequoiaDB 巨杉数据库在深秋给大家带来了“一把火”。SequoiaDB v3.4 正式发布啦！ 分布式交易场景性能大幅提升 SequoiaDB 巨杉数据库3.4版本正式发布，v3.4最重要的特性就是在分布式交易场景下的性能提升。对比上一大版本，SequoiaDB v3.4 在分布式交易场景，读写性能提升达30%，更新性能提升1倍-1.5倍，查询性能较v3.2提升1.5倍以上。 新旧版本性能对比示意 针对分布式交易场景，3.4版本的技术提升主要有以下几个： Improved 2PC Algorithm 分布式事务智能仲裁算法。为分布式事务 2PC 提交增加智能仲裁算法，重点解决 2PC 算法中“In-doubt Transaction” 异常状态，实现数据库在极端场景下为多分区事务智能仲裁，确保分布式事务的强一致性。 Latch-less Memory Model 实现多层级内存池和无锁内存模型。数据库集群池化内存资源，内存池多级管理，会话访问实现 99.99% 内存访问命中率，实现高并发 OLTP 场景下内存的无锁访问，系统CPU的使用率提升 10%。SequoiaDB v3.4同时提供在线内存监控和离线内存分析能力，自动化生成内存分析报告。 Improved Raft Algorithm 突破Raft 算法极限，实现全并发同步。SequoiaDB v3

近期，巨杉数据库正式推出了完整的SequoiaDB 工具包，作为辅助工具，更好地帮助大家使用和运维管理分布式数据库。为此，巨杉技术社区还将持续推出工具系列文章，帮助大家了解巨杉数据库丰富的工具矩阵。 本文作为系列第一篇，将分享巨杉数据库大数据存储工具 sdblobtool 的基本介绍和应用实践。 巨杉工具矩阵 一、对象存储与自建存储对比 通俗地讲，自建存储就是自己购买服务器设备存储文件，通过运维人员手工进行文件的上传下载。而对象存储，则是使用不同的存储形态来存储文件。目前，对象存储独立的存储形态有三种：块存储、⽂件存储以及新出现的对象存储。 块存储 ：简单来说，块存储就是将硬盘直接挂载到主机，在主机上我们能够看到的就是一块块的硬盘以及硬盘分区。从存储架构的角度而言，块存储又分为DAS存储（Direct-Attached Storage，直连式存储）和SAN存储（Storage Area Network，存储区域网络）。 文件存储 ：指的是在文件系统上的存储，也就是主机操作系统中的文件系统。我们知道，文件系统中有分区，有文件夹，子文件夹，整体形成⼀个自上而下的⽂件结构，⽤户可以通过操作系统中的应⽤程序来打开和修改文件系统下的⽂件。 对象存储 ：指的是⾯向对象/⽂件的、海量的互联网存储对象。虽然它也是文件，但它是已经被封装的⽂件（编程中的对象就有封装性的特点）。在对象存储系统⾥

2019年11月15日，第九届数据技术嘉年华大会在北京隆重召开，本次大会以 “开源 • 智能 • 云数据 － 自主驱动发展 创新引领未来” 为主题，探索数据价值，共论智能未来。SequoiaDB 巨杉数据库作为领先的金融级分布式关系型数据库，为大家带来新一代分布式数据库的发展趋势和特性，也通过分享巨杉的丰富金融级实践经验，帮助大家充分了解分布式数据库当前的应用场景。 分布式数据库发展趋势 在上午主会场的分享中，巨杉数据库联合创始人王涛，为大家带来了题为“新一代分布式数据库”的分享。 王涛指出，随着金融业务的移动互联网化和智能化，传统数据库已经无法应对数据量大、系统架构僵化及成本过高等诸多问题，与此同时，这些问题的存在也成为推动传统业务向分布式架构转型的驱动力。 同时，在未来微服务化应用开发以及云化平台的趋势下，应用不再以“烟囱式”的中间件加数据库模式进行构建，而是采用数千甚至上万的微服务程序构建成的复杂网状模型。因此，新一代分布式数据库需要能够满足上层应用的弹性扩展、高并发、高吞吐量、与灵活敏捷的需求。而SequoiaDB在这些方面都有着出色的表现，包括： 完整的ACID支持，事务和一致性保证； SQL的完整支持，传统数据库MySQL/PostgreSQL的语法完全兼容； 分布式与扩展性，应对数据量的变化，实现存储层和计算层的弹性扩展； 多模式访问接口