timesten

作者： 实验室小陈 / 大数据开放实验室 8月26日，星环邀请来自华东师范大学软件工程学院的博士生导师宫学庆教授带来《数据库前沿技术系列讲座》，分享数据库业内前沿发展和研究热点。现将宫学庆教授的培训第一讲内容：内存数据库的技术发展分享给大家。 — 基于磁盘的数据库管理系统 — 传统的数据库管理系统（DBMS）通常是采用基于磁盘的设计，原因在于早期数据库管理系统设计时受到了硬件资源如单CPU、单核、可用内存小等条件的限制，把整个数据库放到内存里是不现实的，只能放在磁盘上。由于磁盘是一个非常慢的存储设备（相对于CPU的速度），因此学术界和工业界发展出的数据库管理系统在架构上都必须适应当时的硬件条件，沿用至今的Oracle和MySQL等数据库管理系统仍然采用的是这种架构设计。 伴随着技术的发展，内存已经越来越便宜，容量也越来越大。单台计算机的内存可以配置到几百GB甚至TB级别。对于一个数据库应用来说，这样的内存配置已经足够将所有的业务数据加载到内存中进行使用。虽然大数据处理的数据量可能是PB级别的，但那些数据一般是非结构化的数据。通常来讲，结构化数据的规模并不会特别大，例如一个银行10年到20年的交易数据加在一起可能只有几十TB。这样规模的结构化数据如果放在基于磁盘的DBMS中，在面对大规模SQL查询和交易处理时，受限于磁盘的I/O性能，很多时候数据库系统会成为整个应用系统的性能瓶颈。

不管是大中型企业，还是小型企业，企业数据都在呈现爆炸式增长，数据的体积变得越来越庞大。同时，各种数据的安全性和重要程度也越来越被人们所重视。不论是由于互联网、电子邮件的出现，还是越来越庞大、需要大量介质的应用软件所致，数据量现已呈现出了巨大的增长态势。同时，各种数据的安全性和重要程度也越来越被人们所重视，数据正日益成为公司的实际资产之一，因而，对于任何企业来说，丢失数据都会带来严重后果。 之前出现的支付宝、携程事件，让我们再一次认识数据安全的重要性，在这样的背景下，企业数据备份软件Ucache灾备云受到了极大地关注，它不管是在功能上，还是服务上都是同类软件中的佼佼者，已经广泛地应用于数据备份、数据同步、数据迁移、网站服务器、办公自动化等领域，并且涵盖到政府机构、金融机构、教育研究、境外企业、信息技术企业、互联网网站、能源与交通运输、企业单位等，受到了普遍的欢迎。 Ucache灾备云企业数据备份软件提供了多种备份模式，在新建任务时，用户可自由设置各种备份模式，如单双向同步、镜像同步、移动同步等，还可以根据文件名或者目录名来选择性的备份，在设置时，选择“文件过滤”。 再比如，Ucache灾备云企业数据备份软件还具有另一个人性化的功能—定时备份，它提供了每月、每周、每日、间隔和实时多种定时方式，根据需要设置固定时间来进行数据备份。 Ucache灾备云电脑备份不仅高效稳定

远程数据备份和恢复历来分散的原因有两个：移动大量的数据到集中的位置的高额成本，以及远程恢复时缓慢的访问时间。带宽成本高昂，而且在许多远程站点，甚至提供足够的可用性也是夸张的。使问题复杂化的是，传统的备份是批量化的行为，涉及在有限的时间内移动大量的数据。用以支持这种跨越广域网活动的额外的带宽需要证明是不可能的。还有恢复的问题：通过一个小管道备份是痛苦的，恢复数据卷可能是极其痛苦的。 因此，企业往往按照“迷你数据中心”模式实施ROBO备份，每个地点配置自己的备份服务器和磁带驱动器或小型带库。有人在远程办公室定期插入和移走磁带，并且幸运的是，磁带不定期会送到一个外部地点。不同站点的数据保护质量和一致性有着显著的不同。 远程办公室备份技术 对于远程备份，一些技术已经逐渐发展，并导致备份模式的转换和新的可供选择的方案。这些变化包括从改进传统的远程备份模式，到消除远程备份的需要，可能甚至远程服务器和存储。这些包括： 磁盘： 和一般而言的备份一样，低成本，高容量基于磁盘的备份已经成为提升远程保护的主要推动者。使用磁盘能够减少磁带固有的停-起情况、，对可靠性的担心，以及顺序的工作调度和资源管理约束。这些问题使本地远程备份特别痛苦。但是记住磁带的两个优势很重要——低单位储存成本和可运输性——可能成为最主要的因素。 数据复制： 有限的备份运作能力和把数据移动到其它站点的需要

数据库的备份是一个长期的过程，而恢复只在发生事故后进行，恢复可以看作是备份的逆过程，恢复的程度的好坏很大程度上依赖于备份的情况。在全球大数据暴增的趋势下，市场上以Oracle/Mysql为主的数据库的数据量也越来越大。 那么，UCACHE灾备云如何为企业数据库备份提供持续的数据保护、实时增量备份、数据库自动恢复、数据库归档、灾难恢复等场景，来满足企业不同的RPO,RTO要求呢？ 一、UCACHE灾备云作为支持各类虚拟化/云平台的数据备份/恢复的工具 二、作为支持各类数据库的数据备份/恢复工具 三、作为支持各类应用文件系统的数据备份/恢复工具 四、采用块级增量备份技术和即时恢复方式，减少99%的恢复时间； 五、重复数据删除技术，减少备份窗口 , 存储节约70%，重删比接近85%； 六、采用全程加密的方式，同时数据有重删压缩功能，极大的缩短了数据的恢复时间 七、云端千M带宽出口：支持千M北京BGP带宽，为用户数据搬迁全面加速； 八、可以实现秒级接管、分钟级数据库复制和迁移、恢复； UCACHE灾备云功能列举：数据保留策略、流量控制、任务告警、任务日志、FusionCloud 云平台备份/恢复、FusionCloud 云平台备份/恢复、VMware架构虚拟化备份/恢复、H3C CAS云平台备份/恢复、OpenStack云平台备份/恢复、XenServer虚拟化备份/恢复、Hyper

企业随着发展和壮大，越来越依靠于信息化的管理，企业根据不同的业务需求建设了相应的运营或管理系统，但很多企业由于在前期没有统一规划，每个系统的建设都独立建设一套运行环境，各系统之间存储相互独立，同时，在规划之初考虑到业务的发展，存容量的配置都考虑了充裕的冗余容量，储因此存在很多闲置存储空间。 网络存储云备份是利用企业内部在本地和异地的多个存储空间上构建私有云，为企业的数据备份提供多节点存储。是利用企业内部在本地和异地的多个存储空间上建私有云，为企业的数据备份提供多节点存储。 云端技术的一种具体应用，云端备份技术，能够为各种不同规模的企业提供资料保护容灾及及业务持续服务，而不管这些企业是否在寻求使用公有云和私有云或混合云解决方案，UCACHE灾备云方案皆可满足需求。简单的说就是备份所储存的目标位置不是在本地计算机或本地网络，而是放在了云端！ 混合云式备份简介： 混合云式备份是应用云端存储空间的备份机制。备份资料先会被储存在本机硬盘中，然后备份软件会对备份资料加密及压缩，再传送到云端储存空间上，在本机的备份资料可能会在上传后被删除，或者被保留数日，做为快速害复原之用存储空间。 云端存储空间服务，也就是线上储存空间。提供扩充性强大的主机，伴随着简单的操作接口，让使用者在任何时间可以存取大量资料。使用者通常是透过购买或是租赁来使用云端空间。云端储存空间服务可以是透过应用程式

一、背景 在数据开发中，有时你需要合并两个动态游标 sys_refcursor 。 开发一个存储过程PROC_A,这个过程业务逻辑相当复杂，代码篇幅较长。一段时间后要开发一个PROC_B,要用PROC_A同样的逻辑,而且在这个过程中，还要循环调用PROC_A这个过程。摆在你面前的有两个选择。 打开PL/SQL,仔细的读PROC_A这个过程，一直到明白了所有的逻辑，然后在自己的过程中重写这个逻辑 。 直接复制PROC_A这个过的代码过来，多写极端。还是业界标准大法好 针对循环调用的，建立一个临时表，循环插入数据到临时表（但这里还有一个问题，每次返回的游标可能列都不相同，建立临时表就显得复杂了） 好吧，这个新的过程是完成了，可是看上去，它更复杂了，代码量更大了。完全不能接受，必须改改！ 这时，已经默默打开了ORACLE官方帮助文档 https://docs.oracle.com/cd/B19306_01/index.htm ，寻找一个可行的办法，最终目标标是要解析，整合，合并 游标 sys_refcursor 二、思路 经过搜索查询，找到以下可行的方案 序列化sys_refcursor为xml文档,ORACLE对xml支持还不错，12C已经有JSON格式了 使用ORACLE xml解析的方法，对序列化的xml文档，添加、删除、修改 转换为内存表，通过游标返回查询的结果

互联网技术发展的近几年，数据灾备领域也发生了一些重大变革。与互联网的其他领域一样，云计算技术已到业务的开发与应用。将云集成到备份和灾难恢复应用中，灵活的实现了传统灾备方式不具备的交付方式和功能。 关于UCACHE企业级云灾备的一些功能实现： 勒索病毒防护 保护企业的核心数据免遭这类勒索软件加密或锁定降低企业生存风险。 文件系统备份/恢复 保护企业的非结构化数据，满足全量备份和增量备份要求。 云平台备份/恢复 保护企业的自建云平台运营安全，兼容Openstack、CAS、FusionCloud等云平台。 虚拟化备份/恢复 保护企业的虚拟化平台数据运营安全，兼容VMware、Hyper-v、XenServer等虚拟化平台。 数据库备份/恢复 持续性数据保护帮助企业数据库等应用备份RPO≈“0”保障核心数据运营安全，支持DB2\ \MySQL\Oracle\SAP HANA\SQL等。 数据迁移工具 一站式帮助企业不中断，高效无缝迁移业务，为云转移、设备替换、业务割接场景，提供了搬迁、校验、同步、加密等完美体验。 UCACHE灾备云本地数据保护应用场景 UCACHE云灾备保护本地机房物理数据，包括办公文件，设计稿，音视频，医疗影像等重要文件，虚拟机配置及数据文件，操作系统、磁盘卷级备份DB2 、 GaussDB 、 GBase 、 MySQL 、 Oracle 、 SAP HANA 、

一、什么是云容灾？ 云容灾，也叫做云灾备（英文名：Cloud DRaaS）是以云服务的方式为企业提供提供数据容灾备份服务，企业无需投入大量时间、人力、资源成本，具有即开即用，按需付费，弹性扩容，方便管理等特点。 二、而传统数据备份：指数据备份的介质从磁带发展到虚拟带库、备份一体机,或是利用传统备份软件，但备份数据的备份格式没有任何改变。传统方式的数据管理已经不能满足许多企业的数据恢复和保护的需要。从企业的角度，花在数据保护上的高昂费用，面对越来越高的行业数据存储规范标准，传统的保存模式已经显得越来越木讷了。 1、传统数据备份直接从生产环境中通过磁带备份连续写入的方式，显然难以应对数据量激增给IT环境带来的超负荷处理挑战，其效率的不足使其“吃力”表现愈加明显。海量数据卷导致备份时间延长，企业往往不得不采用人工或复杂的快照和脚本方法，这使得恢复操作极其复杂、耗时：陈旧的备份方法、笨拙的人工方式，漫长的等待。 2、传统数据备份方式显然难以满足现金规模较大的超负荷的处理压力，低下的效率，使得工作的表现越来越差。以及其远古的人工管理，漫长的周期都使得工作复杂话。说得具体一点，不足之处是：在规定的时间内，企业无法完成备份的工作，处理工程中需要很高的设备要求和功耗。制约了新兴起的“云”技术的发展。完全的分层存储无法实现。 3、传统数据备份更加严重的是，传统方法无法应对数据的快速增长

企业的数据库就好比人的大脑的记忆系统，没有了数据库就没有了记忆系统。但是数据的安全性不是万无一失的， 随着企业信息化的发展，对于核心数据的安全需求也就越来越大，数据容灾备份就是为了在遭遇灾害时能保证信息系统能正常运行，帮助企业实现业务连续性的目标，备份是为了应对灾难来临时造成的数据丢失问题。 数据容灾备份很多人不知道，实际上是两个概念。容灾是一个系统工程，而备份和恢复就是这一系统的组成部分，除了这之外，还有许多具体的工作，如备份媒体的保管、存放，容灾演练等都是容灾中要做的。 同时，数据容灾备份根据不同的需要会分为不同的等级。根据数据容灾系统对灾难的抵抗程度，可分为数据容灾和应用容灾。 数据容灾是指建立一个异地的数据系统，该系统是对本地系统关键应用数据实时复制。当出现灾难时，可由异地系统迅速接替本地系统而保证业务的连续性。应用容灾比数据容灾层次更高，即在异地建立一套完整的、与本地数据系统相当的备份应用系统（可以同本地应用系统互为备份，也可与本地应用系统共同工作）。在灾难出现后，远程应用系统迅速接管或承担本地应用系统的业务运行。设计一个容灾备份系统，需要考虑多方面的因素，如备份/恢复数据量大小、应用数据中心和备援数据中心之间的距离和数据传输方式、灾难发生时所要求的恢复速度、备援中心的管理及投入资金等。 基于云计算技术，灾难恢复系统的成本低，恢复速度快。未来

免费高速云备份 云备份是通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储备份和业务访问的功能服务。 提到数据云备份，首先考虑的是数据安全。云备份一般是内部进行备份！比如学校，医院，政府部门，企事业单位，通过内部资源整合，通过备份软件来建立自己的私有云！建立私有云要考虑到以下几点： 首先是整合硬件。“服务器的数量天天都在变化，没有一个准确数量，我们是统一管理，所以有必要进行整合。”另外，要给学校的各项服务提供一个坚实的底层支持，“类似数字图书馆、一卡通之类的服务必须依靠网络中心，一点问题也不能出。 云技术是发展潮流，追逐云计算也算是顺应潮流！ 对于存储，主要看重存储的写和备份过程，也许服务器硬盘总容量接近150T，但是能有效使用的存储连10T都不到，非常分散，而且各自为政，如果不用云的理念将之结合，存储永远不够用。另外众多单位部门没有正式做备份，这也是很危险的一件事。 2 云备份优点 可扩展节约成本 企业使用云备份后，可以依靠第三方云提供商的无限扩展能力，而不需担心投资问题。事实上，边使用边付费的模式减少了备份的采购和实施带来的烦恼。这种方式使得我们能够预测并管理容量增长和运营费用。 高效可靠 云提供商通常会提供最先进的技术，比如基于磁盘的备份、压缩、加密、重复数据删除、服务器虚拟化、存储虚拟化