SequoiaDB

【巨杉数据库SequoiaDB】巨杉Tech | SequoiaDB 分布式事务实现原理简介

南笙酒味 提交于 2020-01-10 12:03:16
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1 分布式事务背景 随着分布式数据库技术的发展越来越成熟,业内对于分布式数据库的要求也由曾经只用满足解决海量数据的存储和读取这类边缘业务向核心交易业务转变。分布式数据库如果要满足核心账务类交易需求,则其需要完善分布式事务,向传统关系型数据库看齐。即分布式事务的实现也需要像传统关系型数据库的事务一样满足事务的标准要求及定义,即ACID特征。 分布式数据库的数据是进行多机器多节点分散存储的,这样的存储架构为实现分布式事务带来了极大的难度。数据事务操作时,事务操作会结合数据分布情况,到不同的存储位置上去执行,而这个存储位置位于网络中的不同机器的不同磁盘上。 2 事务基本概念 2.1 事务使用场景 银行应用是一个经典案例,可以解释事务应用的必要性。假设银行数据库有两张表,支票账户表(check)和存款账户表(save)。现在要从LiLei的支票账户里转账200元到她的存款账户,那么需要至少完成3步操作: 1. 检查支票存款账户的余额是否大于200元; 2. 从支票存款账户余额中减去200元; 3. 在存款账户余额中增加200元; 所有的操作被打包在一个事务里执行,如果某一步失败,就回滚所有已完成步骤。事务操作一般用 START TRANSACTION 语句开始一个事务,用 COMMIT 语句提交整个事务,永久地修改数据

【巨杉数据库SequoiaDB】省级农信国产分布式数据库应用实践

混江龙づ霸主 提交于 2020-01-10 11:36:09
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 本文转载自《金融电子化》 作者: 吉林省农村信用社联合社信息科技中心 总经理 孙刚、总经理助理 程永义 随着移动互联网的迅猛发展,分布式架构在互联网IT技术领域广泛应用并积累了大量实践经验。在互联网金融快速发展和利率市场化的大环境下,建设能够支持海量客户、具有弹性扩展能力、高效灵活的分布式架构应用系统已成为国内金融行业迫切的需要。 分布式数据库应用大势所趋 我社普惠金融平台建设,旨在“充分运用金融科技手段,优化信贷流程和客户评价模型,降低企业融资成本,纾解民营企业、小微企业融资难融资贵问题,增强金融服务实体经济能力”。 普惠金融服务是典型的互联网应用,其与传统信贷系统不同,具有互联网场景接入能力,如果沿用集中式的技术架构,在应对海量客户的互联网应用场景和总拥有成本等方面存在以下的潜在问题: 集中式架构普遍缺乏弹性伸缩的能力。随着交易量和数据量的增长,系统整体吞吐量会遇到硬件或技术的瓶颈。尤其在支持面向互联网客户相关业务时,不能有效处理瞬时爆发的高并发交易,制约了客户获取以及大规模业务营销。 集中式架构采用单体应用设计。软件开发和运行管理的最小单元是应用,管理力度较粗,容易“牵一发而动全身”,应用的开发过程不易践行轻量化敏捷开发理念,系统在运行过程中容易出现单点故障,难以有效进行故障隔离。

【巨杉数据库SequoiaDB】巨杉数据库荣获《金融电子化》“金融科技创新奖”

余生长醉 提交于 2019-12-25 15:45:50
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 巨杉助力金融科技创新 2019年12月19日,由《金融电子化》杂志社主办、北京金融科技产业联盟协办的“2019中国金融科技年会暨第十届金融科技及服务优秀创新奖颁奖典礼”在京成功召开。来自金融机构、行业协会和学会、第三方支付公司、金融科技公司,以及信息产业界的200多家单位共计600余名代表与会。 本次评选共收到305家银行、保险、证券金融机构和科技企业的有效申报项目542项。经过初步筛选、评委初评和专家评审三个阶段的审核评定,最终评选出获奖项目,涵盖科技创新、产品创新、渠道创新、服务创新等领域。这些成绩的取得是各级机构和企业一年来辛勤耕耘的结果,它见证了获奖单位在金融科技实践、探索和应用中取得的研究成果。 巨杉数据库作为业界领先的金融级分布式数据库厂商,也是当前国内金融行业分布式转型、分布式数据库在核心业务应用的“领头羊”,凭借今年以来在技术创新、核心交易业务应用等取得的突破和创新,获得“ 金融科技创新突出贡献奖·开发创新贡献奖 ”。 金融交易场景分布式数据库应用起飞 作为新一代分布式数据库的代表,巨杉数据库技术跨越了新老两代 分布式OLTP 数据库,始终坚持自研,走出了自己特色的技术路线。 巨杉数据库应用场景包括核心交易、数据中台、内容管理和实时数据服务等,目前已经在超过50家大型银行核心生产业务规模应用

【巨杉数据库SequoiaDB】巨杉Tech | 分布式数据库Sysbench测试最佳实践

时间秒杀一切 提交于 2019-12-25 15:28:52
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 引言 作为一名DBA,时常需要对某些数据库进行一些基准测试,进而掌握数据库的性能情况。本文就针对sysbench展开介绍,帮助大家了解sysbench的一般使用方法。 sysbench简介 什么是基准线测试 所谓基准测试,就是通过对数据库的性能指标进行定量的、可重复的和可对比的测试。基准线测试可以理解为一种针对系统的压力测试。但该测试并不关心业务逻辑,因此测试相对简单和直接。通过测试可分析在当前配置下(包括硬件配置,OS,及数据库参数设置等)应用的性能表现,实现不同应用之间的比较。 具体而言,可以使用如下指标来进行比对: TPS/QPS:衡量数据库的吞吐量; 响应时间:包括平均响应时间,最小响应时间以及不同百分位数的响应时间(如p90,p95); 并发量: 同时处理请求的数量。 sysbench介绍 sysbench是开源的,基于LuaJIT框架,可自定义脚本的多线程基准线测试工具。 sysbench下载链接: https://github.com/akopytov/sysbench 该工具可进行如下方面的测试: 数据库性能测试(OLTP基准线测试) CPU运算性能测试 磁盘IO性能测试 内存分配及传输速度测试 POSIX线程性能测试 sysbench 安装 操作系统系统安装依赖包 yum -y install

【巨杉数据库SequoiaDB】巨杉再获企业级认可,分布式数据库领跑“一亿中流”

心不动则不痛 提交于 2019-12-20 19:45:05
据全球最具权威的IT研究与顾问咨询公司 Gartner 预测,DBMS(数据库管理系统)市场从2017年到2018年增长了18.4%,达到461亿美元,这是有史以来最大幅的增长,并有望在2019年超过500亿美元。今年云DBMS收入增长至105亿美元,占DBMS总收入的22.8%,到2021年,预计云数据库管理系统(DBMS)收入将占DBMS市场总收入的50%。 另外,报告指出在面对高并发、海量数据、要求强一致且强大扩展能力的业务场景时,传统数据库已经无法满足需求,而分布式数据库能够应对此类场景。因此,分布式数据库产品逐渐成为企业服务领域最为关心的细分领域。 巨杉入选 “新一亿中流”榜单 近期,由创业黑马主办的第十二届创业家年会在北京举行, 一亿中流代表了营收达到亿元级别,科技创新领域的中流砥柱企业。 巨杉数据库作为业界领先的金融级分布式数据库厂商,入选大会《2019黑马TOP100:新一亿中流》重磅榜单。 大会主题“新一亿中流”,呼唤商业回归本质,主推深耕产业,不炒作估值,认真做营收和利润,真正创造价值的技术公司。 此次榜单入选企业有3大特征: 1.从产业中来,以实业为根基,代表产业互联网,用新模式、新技术来进行产业创新。 2.健康持续营收,不以炒作估值为目的,为用户提供实际价值。 3.运用AI、5G、大数据、区块链等新技术,和实体产业结合。 金融级市场认可

【巨杉数据库SequoiaDB】企业级和开源领域“两开花”,巨杉引领国产数据库创新

非 Y 不嫁゛ 提交于 2019-12-20 18:59:47
2019年12月15日,OSC 源创会·年终盛典在深圳圆满举行。巨杉数据库作为业界领先的金融级分布式数据库厂商, 获得 “2019年开源数据库先锋企业” 及 “2019 GVP-Gitee最有价值开源项目” 两项殊荣。 SequoiaDB 巨杉数据库始终坚持自研路线,并于2014年正式开源,是国内最早的开源数据库之一。经过8年的自主研发和技术发展,迭代发展出了技术领先、产品安全稳定、通用性强的金融级产品。今年 SequoiaDB 发布两个主要的版本,近期发布的3.4版本全面提升金融级交易场景功能与性能,在分布式事务、数据一致性,并发CURD性能以及SQL兼容能力方面都做了深度优化。 打破开源和商业化的悖论 开源软件最早出现于20世纪70年代,至今经历了半个世纪的发展。目前,新型开源软件通常在产品层面分为企业版和社区版,市场领域主推免费社区版,不提供技术支持不承担产品风险;而商业领域主推企业版,提供所有企业级技术支持以及SLA服务承诺。 此前,针对企业级商业化软件和开源技术,业界一直存在争论,而巨杉数据库在8年自研以来,取得的成绩,打破了这一悖论。 巨杉数据库在开源和商业方面都取得了行业认可。在开源和技术领域,获得以下奖项和荣誉(部分): 连续三年入选 Gartner 数据库年度系列报告 开源中国 2018年度最具影响力开源软件 入选开源中国2017中国原创力量驱动中国创新榜单 ..

【巨杉数据库SequoiaDB】企业级和开源领域“两开花”,巨杉引领国产数据库创新

|▌冷眼眸甩不掉的悲伤 提交于 2019-12-20 14:22:52
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 2019年12月15日,OSC 源创会·年终盛典在深圳圆满举行。巨杉数据库作为业界领先的金融级分布式数据库厂商, 获得 “2019年开源数据库先锋企业” 及 “2019 GVP-Gitee最有价值开源项目” 两项殊荣。 SequoiaDB 巨杉数据库始终坚持自研路线,并于2014年正式开源,是国内最早的开源数据库之一。经过8年的自主研发和技术发展,迭代发展出了技术领先、产品安全稳定、通用性强的金融级产品。今年 SequoiaDB 发布两个主要的版本,近期发布的3.4版本全面提升金融级交易场景功能与性能,在分布式事务、数据一致性,并发CURD性能以及SQL兼容能力方面都做了深度优化。 打破开源和商业化的悖论 开源软件最早出现于20世纪70年代,至今经历了半个世纪的发展。目前,新型开源软件通常在产品层面分为企业版和社区版,市场领域主推免费社区版,不提供技术支持不承担产品风险;而商业领域主推企业版,提供所有企业级技术支持以及SLA服务承诺。 此前,针对企业级商业化软件和开源技术,业界一直存在争论,而巨杉数据库在8年自研以来,取得的成绩,打破了这一悖论。 巨杉数据库在开源和商业方面都取得了行业认可。在开源和技术领域,获得以下奖项和荣誉(部分): 连续三年入选 Gartner 数据库年度系列报告 开源中国

【巨杉数据库SequoiaDB】巨杉再获企业级认可,分布式数据库领跑“一亿中流”

穿精又带淫゛_ 提交于 2019-12-10 14:00:07
据全球最具权威的IT研究与顾问咨询公司 Gartner 预测,DBMS(数据库管理系统)市场从2017年到2018年增长了18.4%,达到461亿美元,这是有史以来最大幅的增长,并有望在2019年超过500亿美元。今年云DBMS收入增长至105亿美元,占DBMS总收入的22.8%,到2021年,预计云数据库管理系统(DBMS)收入将占DBMS市场总收入的50%。 另外,报告指出在面对高并发、海量数据、要求强一致且强大扩展能力的业务场景时,传统数据库已经无法满足需求,而分布式数据库能够应对此类场景。因此,分布式数据库产品逐渐成为企业服务领域最为关心的细分领域。 巨杉入选 “新一亿中流”榜单 近期,由创业黑马主办的第十二届创业家年会在北京举行, 一亿中流代表了营收达到亿元级别,科技创新领域的中流砥柱企业。 巨杉数据库作为业界领先的金融级分布式数据库厂商,入选大会《2019黑马TOP100: 新一亿中流》重磅榜单。 大会主题“新一亿中流”,呼唤商业回归本质,主推深耕产业,不炒作估值,认真做营收和利润,真正创造价值的技术公司。 此次榜单入选企业有3大特征: 1.从产业中来,以实业为根基,代表产业互联网,用新模式、新技术来进行产业创新。 2.健康持续营收,不以炒作估值为目的,为用户提供实际价值。 3.运用AI、5G、大数据、区块链等新技术,和实体产业结合。 金融级市场认可

【巨杉数据库SequoiaDB】巨杉再获企业级认可,分布式数据库领跑“一亿中流”

拈花ヽ惹草 提交于 2019-12-10 13:48:03
据全球最具权威的IT研究与顾问咨询公司 Gartner 预测,DBMS(数据库管理系统)市场从2017年到2018年增长了18.4%,达到461亿美元,这是有史以来最大幅的增长,并有望在2019年超过500亿美元。今年云DBMS收入增长至105亿美元,占DBMS总收入的22.8%,到2021年,预计云数据库管理系统(DBMS)收入将占DBMS市场总收入的50%。 另外,报告指出在面对高并发、海量数据、要求强一致且强大扩展能力的业务场景时,传统数据库已经无法满足需求,而分布式数据库能够应对此类场景。因此,分布式数据库产品逐渐成为企业服务领域最为关心的细分领域。 巨杉入选 “新一亿中流”榜单 近期,由创业黑马主办的第十二届创业家年会在北京举行, 一亿中流代表了营收达到亿元级别,科技创新领域的中流砥柱企业。 ​ 巨杉数据库作为业界领先的金融级分布式数据库厂商,入选大会《2019黑马TOP100: 新一亿中流》重磅榜单。 大会主题“新一亿中流”,呼唤商业回归本质,主推深耕产业,不炒作估值,认真做营收和利润,真正创造价值的技术公司。 此次榜单入选企业有3大特征: 1.从产业中来,以实业为根基,代表产业互联网,用新模式、新技术来进行产业创新。 2.健康持续营收,不以炒作估值为目的,为用户提供实际价值。 3.运用AI、5G、大数据、区块链等新技术,和实体产业结合。 ​ 金融级市场认可

【技术解析】如何用Docker实现SequoiaDB集群的快速部署

守給你的承諾、 提交于 2019-12-10 08:28:31
1. 背景 以Docker和Rocket为代表的容器技术现在正变得越来越流行,它改变着公司和用户创建、发布、运行分布式应用的方式,在未来5年将给云计算行业带来它应有的价值。它的诱人之处在于: 1)资源独立、隔离 资源隔离是云计算平台的最基本需求。Docker通过Linux namespace, cgroup限制了硬件资源与软件运行环境,与宿主机上的其他应用实现了隔离,做到了互不影响。不同应用或服务以“集装箱”(container)为单位装“船”或卸“船”,“集装箱船”(运行container的宿主机或集群 )上,数千数万个“集装箱”排列整齐,不同公司、不同种类的“货物”(运行应用所需的程序、组件、运行环境、依赖)保持独立。 2)环境的一致性 开发工程师完成应用开发后build一个docker image,基于这个image创建的container像是一个集装箱,里面打包了各种“散件货物”(运行应用所需的程序、组件、运行环境、依赖)。无论这个集装箱在哪里:开发环境、测试环境、生产环境,都可以确保集装箱里面的“货物”种类与个数完全相同,软件包不会在测试环境缺失,环境变量不会在生产环境忘记配置,开发环境与生产环境不会因为安装了不同版本的依赖导致应用运行异常。这样的一致性得益于“发货”(build docker image)时已经密封到“集装箱”中,而每一个环节都是在运输这个完整的