GaussDB

摘要： 墨天轮数据库周刊第33期发布啦，每周1次推送本周数据库相关热门资讯、精选文章、干货文档。 热门资讯 1、中国移动国产OLTP数据库中标公告：南大金仓阿里，万里开源中兴 分获大单 【摘要】近日，中国移动公布了 OLTP 自主可控数据库联合创新项目中标公告。公告显示：国产数据库中，南大通用、阿里巴巴、中兴通讯、人大金仓、万里开源 ，五大数据库产品榜上有名。 2、Oracle发布2020年7月CPU安全预警 奇安信贡献大量漏洞 【摘要】Oracle于今日发布了最新的 CPU 安全预警，CPU 全名是 Critical Patch Update，每个季度发布一次，用于提醒用户那些安全相关的已知漏洞。本次发布共有 27 个和数据库相关的安全漏洞。其中的主要漏洞是和各类组件相关，大多数用户无需关注。其中最核心的一个漏洞是 CVE-2016-9843 是和Core RDBMS (zlib) 相关，只影响到 18c 版本。 3、腾讯Tbase数据库新版本重磅发布：多活能力再上层楼 【摘要】2020年7月13日，腾讯自研的分布式HTAP数据库TBase正式发布了开源V2.1.0版本，作为开源后的首次重大版本升级，TBase开源V2.1.0版本提供了许多令人兴奋的新特性，同时，致力于更大限度地节省系统运行中的资源消耗，此外，TBase面向多中心多活架构的能力也进一步增强了

数据库的备份是一个长期的过程，而恢复只在发生事故后进行，恢复可以看作是备份的逆过程，恢复的程度的好坏很大程度上依赖于备份的情况。在全球大数据暴增的趋势下，市场上以Oracle/Mysql为主的数据库的数据量也越来越大。 那么，UCACHE灾备云如何为企业数据库备份提供持续的数据保护、实时增量备份、数据库自动恢复、数据库归档、灾难恢复等场景，来满足企业不同的RPO,RTO要求呢？ 一、UCACHE灾备云作为支持各类虚拟化/云平台的数据备份/恢复的工具 二、作为支持各类数据库的数据备份/恢复工具 三、作为支持各类应用文件系统的数据备份/恢复工具 四、采用块级增量备份技术和即时恢复方式，减少99%的恢复时间； 五、重复数据删除技术，减少备份窗口 , 存储节约70%，重删比接近85%； 六、采用全程加密的方式，同时数据有重删压缩功能，极大的缩短了数据的恢复时间 七、云端千M带宽出口：支持千M北京BGP带宽，为用户数据搬迁全面加速； 八、可以实现秒级接管、分钟级数据库复制和迁移、恢复； UCACHE灾备云功能列举：数据保留策略、流量控制、任务告警、任务日志、FusionCloud 云平台备份/恢复、FusionCloud 云平台备份/恢复、VMware架构虚拟化备份/恢复、H3C CAS云平台备份/恢复、OpenStack云平台备份/恢复、XenServer虚拟化备份/恢复、Hyper

GaussDB(for MySQL)数据库在写入性能上，在业界同类产品中是最好的，这主要得益于GaussDB(for MySQL)在MySQL内核方面的诸多优化。其中有一项从“送快递”得来灵感的优化——事务异步提交，值得我们分析。 背景 我们先来看看MySQL 8.0的事务提交的大致流程 图1 MySQL 8.0事务执行流程 以上流程，是MySQL8.0对WAL原则的一种实现，这个流程意味着，任何一个事务的提交，一定要完成write buffer和flush to disk流程。 然而那么这个流程中，有一个问题：每个服务器的CPU是有限的，服务器能处理的Thread也是有上限的，那么当我们的业务的并发数量，远远大于我们服务器能并行处理的数量时，那么后来的事务，只能等待前面的事务提交后才能被处理。在这之前，他们什么也做不了。因此，在大并发场景下，如何进一步提升线程的使用率，是大并发事物写入的一个关键。 灵感来源于生活 一个优化，并不是凭空想象出来的，有时候，往往来源于现实生活。下面，我们先来看看我们身边，和事务提交流程非常类似的一个例子：快递。 现在的快递配送，一般一个快递员会负责一片区域，快递刚开始兴起时，数量不多，那么一个快递员基本上可以在规定时间内完成配送。 图2 过去的快递配送 但是，随着快递数量越来越多，一个快递员要在一个小区配送很长的时间，才能到下一个小区

1.技术背景 在SQL语句复杂、处理数据量大的AP场景下，单个查询对内存的需求越来越大，多个语句的并发很容易将系统的内存吃满，造成内存不足的问题。为了应对这种问题，GaussDB for DWS引入了内存自适应控制的技术，在上述场景下能够对运行的作业进行内存级的管控，避免高并发场景下内存不足产生的各种问题。 2. GaussDB的静态内存管理机制及缺陷 GaussDB的执行引擎继承自PG，对于优化器生成的执行计划树，总体采取执行算子+流水线的处理方式，如下图所示。 对于NestLoop算子节点，需要首先从左树的IndexScan算子节点获取元组，然后到右子树的IndexScan算子节点进行连接，匹配元组后进行输出。流水线的执行方式使得对于NestLoop, IndexScan类的一般算子，同时只有一定数量的元组处于内存中，对于行引擎每个算子仅占用一条元组的空间，对于列引擎占用一个batch（最多1000条元组）的空间，占用的空间较小，基本可以忽略不计。 但是，GaussDB中也有一些需要将所有数据收集后进行处理的算子，在执行时需要使用较多的内存，通常我们称这类算子为物化算子。GaussDB中主要存在如下不同种类的物化算子： （1）HashJoin：Hash连接操作符，主要思想是计算左右两表连接列的hash值，通过hash值比较减少元组比较的次数，需要将一个表建立hash表

企业随着发展和壮大，越来越依靠于信息化的管理，企业根据不同的业务需求建设了相应的运营或管理系统，但很多企业由于在前期没有统一规划，每个系统的建设都独立建设一套运行环境，各系统之间存储相互独立，同时，在规划之初考虑到业务的发展，存容量的配置都考虑了充裕的冗余容量，储因此存在很多闲置存储空间。 网络存储云备份是利用企业内部在本地和异地的多个存储空间上构建私有云，为企业的数据备份提供多节点存储。是利用企业内部在本地和异地的多个存储空间上建私有云，为企业的数据备份提供多节点存储。 云端技术的一种具体应用，云端备份技术，能够为各种不同规模的企业提供资料保护容灾及及业务持续服务，而不管这些企业是否在寻求使用公有云和私有云或混合云解决方案，UCACHE灾备云方案皆可满足需求。简单的说就是备份所储存的目标位置不是在本地计算机或本地网络，而是放在了云端！ 混合云式备份简介： 混合云式备份是应用云端存储空间的备份机制。备份资料先会被储存在本机硬盘中，然后备份软件会对备份资料加密及压缩，再传送到云端储存空间上，在本机的备份资料可能会在上传后被删除，或者被保留数日，做为快速害复原之用存储空间。 云端存储空间服务，也就是线上储存空间。提供扩充性强大的主机，伴随着简单的操作接口，让使用者在任何时间可以存取大量资料。使用者通常是透过购买或是租赁来使用云端空间。云端储存空间服务可以是透过应用程式

互联网技术发展的近几年，数据灾备领域也发生了一些重大变革。与互联网的其他领域一样，云计算技术已到业务的开发与应用。将云集成到备份和灾难恢复应用中，灵活的实现了传统灾备方式不具备的交付方式和功能。 关于UCACHE企业级云灾备的一些功能实现： 勒索病毒防护 保护企业的核心数据免遭这类勒索软件加密或锁定降低企业生存风险。 文件系统备份/恢复 保护企业的非结构化数据，满足全量备份和增量备份要求。 云平台备份/恢复 保护企业的自建云平台运营安全，兼容Openstack、CAS、FusionCloud等云平台。 虚拟化备份/恢复 保护企业的虚拟化平台数据运营安全，兼容VMware、Hyper-v、XenServer等虚拟化平台。 数据库备份/恢复 持续性数据保护帮助企业数据库等应用备份RPO≈“0”保障核心数据运营安全，支持DB2\ \MySQL\Oracle\SAP HANA\SQL等。 数据迁移工具 一站式帮助企业不中断，高效无缝迁移业务，为云转移、设备替换、业务割接场景，提供了搬迁、校验、同步、加密等完美体验。 UCACHE灾备云本地数据保护应用场景 UCACHE云灾备保护本地机房物理数据，包括办公文件，设计稿，音视频，医疗影像等重要文件，虚拟机配置及数据文件，操作系统、磁盘卷级备份DB2 、 GaussDB 、 GBase 、 MySQL 、 Oracle 、 SAP HANA 、

一、什么是云容灾？ 云容灾，也叫做云灾备（英文名：Cloud DRaaS）是以云服务的方式为企业提供提供数据容灾备份服务，企业无需投入大量时间、人力、资源成本，具有即开即用，按需付费，弹性扩容，方便管理等特点。 二、而传统数据备份：指数据备份的介质从磁带发展到虚拟带库、备份一体机,或是利用传统备份软件，但备份数据的备份格式没有任何改变。传统方式的数据管理已经不能满足许多企业的数据恢复和保护的需要。从企业的角度，花在数据保护上的高昂费用，面对越来越高的行业数据存储规范标准，传统的保存模式已经显得越来越木讷了。 1、传统数据备份直接从生产环境中通过磁带备份连续写入的方式，显然难以应对数据量激增给IT环境带来的超负荷处理挑战，其效率的不足使其“吃力”表现愈加明显。海量数据卷导致备份时间延长，企业往往不得不采用人工或复杂的快照和脚本方法，这使得恢复操作极其复杂、耗时：陈旧的备份方法、笨拙的人工方式，漫长的等待。 2、传统数据备份方式显然难以满足现金规模较大的超负荷的处理压力，低下的效率，使得工作的表现越来越差。以及其远古的人工管理，漫长的周期都使得工作复杂话。说得具体一点，不足之处是：在规定的时间内，企业无法完成备份的工作，处理工程中需要很高的设备要求和功耗。制约了新兴起的“云”技术的发展。完全的分层存储无法实现。 3、传统数据备份更加严重的是，传统方法无法应对数据的快速增长

企业的数据库就好比人的大脑的记忆系统，没有了数据库就没有了记忆系统。但是数据的安全性不是万无一失的， 随着企业信息化的发展，对于核心数据的安全需求也就越来越大，数据容灾备份就是为了在遭遇灾害时能保证信息系统能正常运行，帮助企业实现业务连续性的目标，备份是为了应对灾难来临时造成的数据丢失问题。 数据容灾备份很多人不知道，实际上是两个概念。容灾是一个系统工程，而备份和恢复就是这一系统的组成部分，除了这之外，还有许多具体的工作，如备份媒体的保管、存放，容灾演练等都是容灾中要做的。 同时，数据容灾备份根据不同的需要会分为不同的等级。根据数据容灾系统对灾难的抵抗程度，可分为数据容灾和应用容灾。 数据容灾是指建立一个异地的数据系统，该系统是对本地系统关键应用数据实时复制。当出现灾难时，可由异地系统迅速接替本地系统而保证业务的连续性。应用容灾比数据容灾层次更高，即在异地建立一套完整的、与本地数据系统相当的备份应用系统（可以同本地应用系统互为备份，也可与本地应用系统共同工作）。在灾难出现后，远程应用系统迅速接管或承担本地应用系统的业务运行。设计一个容灾备份系统，需要考虑多方面的因素，如备份/恢复数据量大小、应用数据中心和备援数据中心之间的距离和数据传输方式、灾难发生时所要求的恢复速度、备援中心的管理及投入资金等。 基于云计算技术，灾难恢复系统的成本低，恢复速度快。未来

（IDC彭帅） 什么是异地容灾备份 首先说下容灾备份其实是两个不同的概念，容灾是指企业为了保证业务系统在遭受意外原因的情况下能保证原有的业务系统正常运转而在异地部署了一套与现有的业务系统一样的生产环境，保证业务的正常运转。 备份是指因为意外的删除等灾难性的原因造成的数据丢失而在硬盘或是利用其它的软件而做的备份。其实在容灾备份一体化还未出现时，容灾系统和备份还都是独立的。随着容灾备份产品的出现，最终目标是帮助企业应对人为误操作、软件错误、病毒***等“软”性灾害以及硬件故障、自然灾害等“硬”性灾害。 容灾分类：容灾系统分为两类，一类是数据系统容灾，一类是应用系统容灾所谓的数据系统备份就是在异地建立一个和本地相同的一个系统，相当于本地的一个复制品，异地的数据容灾就是在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制，也可以比本地数据略微落后，但一定是可用的。采用的主要技术是数据备份和数据复制技术。所谓应用容灾，是在数据容灾的基础上，在异地建立一套完整的与本地生产系统相当的备份应用系统(可以是互为备份)，在意外或灾难情况下，异地的备份机制能远程系统迅速接管业务运行，在选择容灾系统的构造时，还要建立多层次的广域网络故障切换机制。本地的高可用系统指在多个服务器运行一个或多种应用的情况下，应确保任意服务器出现任何故障时

2019年，金融机构纷纷开展新兴技术创新转型，“无科技不金融”成为行业共识，金融生态开放如火如荼，5G金融场景打造，数字货币雏形初见，监管沙箱的构建…回望这一年，金融科技风云叱咤。2019年神州信息一面支持金融机构开放创新，一面进行风险防范：以自主研发的创新产品助推开放银行建设，以分布式记账、区块链、知识图谱、大数据等技术在促进金融创新的同时，来保障金融信息安全。 拥抱场景，连接无限，2019年开放银行建设热潮依旧，神州信息新增广州银行、兰州银行、阜新银行等客户。其中，协助建设银行建设的开放银行管理平台融合了住房租赁、普惠金融、政务、医疗等生态，实现一站式用户服务，该项目获得了2019年度IDC中国金融行业技术应用场景最佳创新卓越奖，成为业内开放银行标杆案例。目前，神州信息累计30多个开放银行案例。除开放银行的技术支持外，神州信息还提供后续的场景接入及数据安全服务。神州信息凭借600多个开放场景资源，帮助银行快速梳理对外开放服务体系，与各行业商户合作，嫁接各类生态。同时，提供外部数据引入、内部数据整合等大数据分析、决策服务，提升风险预测及防范能力。2019年，神州信息推出区块链技术平台，将其应用在开放银行账单清算，以降低结算差错率。 伴随着金融服务的加速开放，金融信息安全风险也越来越大，神州信息结合分布式记账、人工智能、大数据、量子通信等前沿技术，为银行架构部署、服务治理、数据治理