增量备份

（一）基础概念 备份 　　数据库备份与还原是系统容灾的重要方法。备份就是将待备份的数据经过加密、压缩等处理后写入备份片文件中，并将相关备份信息写入备份元数据文件的过程。备份的目的就是在数据库遭到损坏时可以执行还原恢复操作把数据库复原到损坏前的某个时间点。 备份集 用来存放备份过程中产生的备份数据及备份信息。一个备份集对应一次完整的备份，一个备份集为一个目录，由一个或多个备份片文件和一个元数据文件组成。 备份片 　　备份片是用来存储备份数据的文件。备份时，目标数据文件内容或归档日志内容经过处理后，都会存放到各自的备份片文件中。备份片文件后缀为.bak。 元数据 元数据文件用来存放备份信息，元数据文件的后缀为.meta。通过元数据文件，可以了解整个备份集信息。 还原 还原是备份的逆过程，就是把备份集中的备份数据经过处理后写回还原目标库中相应的数据文件中的过程。 恢复 恢复是重做本地归档日志或者备份集中备份的归档日志的过程。 备份库 备份库是指需要进行备份的库，又称源库或源备份库。 还原库 还原库指用来做还原的库，又称目标库或者还原目标库。 恢复库 恢复库是指已经做过恢复的库。 （二）备份还原分类 逻辑备份 利用 dexp 导出工具，将指定对象（库级、模式级、表级）的数据导出到文件的备份方式。 物理备份 根据备份范围（库级、模式级、表级

V4 Reduce Transportable Tablespace Downtime using Cross Platform Incremental Backup (Doc ID 2471245.1) APPLIES TO: Oracle Database Cloud Schema Service - Version N/A and later Oracle Cloud Infrastructure - Database Service - Version N/A and later Oracle Database Cloud Exadata Service - Version N/A and later Oracle Database Backup Service - Version N/A and later Oracle Database Exadata Express Cloud Service - Version N/A and later Linux x86-64 Updated 09-Nov-2018 -- Version 4 PURPOSE This article covers the steps needed to use V4 Cross Platform Transportable Tablespaces (XTTS) with RMAN

数据备份的中要性 在生产环境中，数据的安全性是至关重要的，任何数据的丢失都可能产生严重的后果 造成数据丢失的原因 程序错误 人为错误 计算机失败 磁盘失败 灾难（如起火、地震）和偷窃 数据库备份的分类 从物理与逻辑的角度，备份可分为 物理备份：对数据库操作系统的物理文件（如数据文件、日志文件等）的备份 物理备份又可以分为脱机备份（冷备份）和联机备份（热备份） 冷备份：是关闭数据库的时候进行的 热备份：数据库处于运行状态，这种备份方法依赖于数据库的日志文件 逻辑备份：对数据库逻辑组件（如表等数据库对象）的备份 从数据库的备份策略角度，备份可分为 完全备份：每次对数据进行完整的备份 差异备份：备份那些自从上次完全备份之后被修改过的文件 增量备份：只有那些在上次完全备份或者增量备份后修改的文件才会被备份 MySQL完全备份 完全备份是对整个数据库的备份、数据库结构和文件结构的备份 完全备份保存的是备份完成时刻的数据库 完全备份是增量备份的基础 完全备份的优点 备份与恢复操作简单方便 完全备份的缺点 数据存在大量的重复 占用大量的备份空间 备份与恢复时间长 mysqldump备份数据库 MySQL数据库的备份可以采用多种方式 直接打包数据库文件夹，如/usr/local/mysql/data 使用专用备份工具 mysqldump mysqldump命令 MySQL自带的备份工具

第 五 节课 数据备份与恢复 一数据备份相关概念 1.1 数据备份的目的？数据被误删除或设备损害导致数据丢失，是备份文件恢复数据。 1.2 数据备份方式？ 物理备份：指定备份库和表对应的文件 51 cp -r /var/lib/mysql/opt/mysql.bak cp -r /var/lib/mysql/bbsdb/opt/bbsdb.bak rm -rf /var/lib/mysql/bbsdb cp -r /opt/bbsdb.bak/var/lib/mysql/bbsdb chown -R mysql:mysql/var/lib/mysql/bbsdb systemctl restart mysqld 51 scp /opt/mysql.bak 192.168.4.51:/root/ 52 rm -rf /var/lib/mysql cp -r /root/mysql.bak /var/lib/mysql chown -R mysql:mysql /var/lib/mysql systemctl restart mysqld 逻辑备份：在执行备份命令时，根据备份的库表及数据生成对应的 sql 命令，把 sql 存储到指定的文件里。 1.3 数据备份策略？ 完全备份备份所有数据（一张表的所有数据一个库的所有数据一台数据库的所有数据） 备份新产生数据

1.全量备份和增量备份 1.1全量备份 就是对现有的数据进行全部备份，之前做的备份均可舍弃，以最新的全备为基点。 a.全备所有数据库 Innodb引擎： [root@leader mysql]#mysqldump -uroot -proot -F -A -B --events --single-transaction --master-data=1|gzip>/data/backup/mysql_backup_$(date +%F).sql.gz Myisam引擎： [root@leader mysql]#mysqldump -uroot -proot -F -A -B --events --lock-all-tables --master-data=1|gzip >/data/backup/mysql_backup_$(date +%F).sql.gz 参数说明： -F参数：刷新binlog -A参数：备份所有库 -B参数：备份数据的时候添加建库建表等语句 --events参数相当于-E:在输出中包含转储数据库的事件调度器事件 --master-data参数：如果参数值等于1，在备份文件中添加change master语句在主从同步change master的时候就不用制定binlog日志文件以及更新的位置，如果等于2则不会添加change master语句。 --single

最近与几个朋友聊天谈到linux系统中的备份与恢复的事情，大家觉得现有的linux平台上很少有比较方便易用的增量备份软件，当然这类软件已经很多了，很多人用tar、dump、rsync等命令也可以备份，但它们不是无法实现增量算法，就是技术性太强参数难以掌握，商业上的软件又太贵，安装和操作都较复杂，某些开源软件功能虽然强大易用性不好，操作体验不适合国内的用户，我之前在chinaunix论坛上发表过一篇关于bacula备份软件的文章（原文地址是 http://bbs.chinaunix.net/thread-2002076-1-1.html ），也研究过Amanda，BackupPC等等，都不理想，界面不友好，我们的设计目标就是“简单方便”，“注重操作体验”，"基于web操作"，凭借兴趣和爱好，自己设计并开发了这款web管理方式的远程数据增量备份/恢复管理软件，我个人是非常看好html5的未来发展的，web界面也使用了一些html5的元素，介绍一下这款软件，欢迎大家拍砖，更欢迎提出友好的建议，大家希望具备的功能也可以提给我。 特点，安装部署上的很多细节工作全由程序解决，不让用户做多余的手工配置： 客户端（Agent），脚本自动安装不需要做任何配置。唯一一个前提是优先安装xinetd的rpm包，因为端口是由xinetd来管理，Agent包在登录后的“系统设置”页面中下载

简介 Xtrabackup2.2版之前包括4个可执行文件： innobackupex: Perl 脚本 xtrabackup: C/C++ 编译的二进制 xbstream: 支持并发写的流文件格式 xbcrypt: 加解密 xtrabackup 是用来备份 InnoDB 表的，不能备份非 InnoDB 表，和 MySQLServer 没有交互；innobackupex 脚本用来备份非 InnoDB 表，同时会调用xtrabackup 命令来备份 InnoDB 表，还会和 MySQL Server 发送命令进行交互，如加全局读锁（FTWRL）、获取位点（SHOW SLAVE STATUS）等。即innobackupex是在xtrabackup 之上做了一层封装实现的；mysqldump默认是不支持增量备份的（mysqldump实现增量备份靠的是二进制日志），xtrabackup支持增量备份 xtrabackup下载地址 https://www.percona.com/downloads/Percona-XtraBackup-2.4/ https://www.percona.com/downloads/Percona-XtraBackup-LATEST/          #最新版本下载 xtrabackup备份过程 棕色线条是备份MyISAM存储引擎的表

目录 1、数据库完整备份与恢复 （1）环境准备 （2）完全备份恢复流程 2、数据库增量备份与恢复 （1）增量和差异概述 （2）增量备份和恢复 3、数据库差异备份与恢复 4、简单命令进行物理备份 我叫张贺，贪财好色。一名合格的LINUX运维工程师，专注于LINUX的学习和研究，曾负责某中型企业的网站运维工作，爱好佛学和跑步。 个人博客： 传送阵 笔者微信：zhanghe15069028807 percona-xtrabackup 开源免费支持 mysql 热备的软件，支持增量、差异备份。 yum -y install https://www.percona.com/downloads/Percona-XtraBackup-LATEST/Percona-XtraBackup-8.0-8/binary/redhat/7/x86_64/percona-xtrabackup-80-8.0.8-1.el7.x86_64.rpm [root@mysql02 ~]# rpm -ql percona-xtrabackup-80.x86_64 /usr/bin/xbcloud /usr/bin/xbcloud_osenv /usr/bin/xbcrypt /usr/bin/xbstream /usr/bin/xtrabackup /usr/lib64/xtrabackup/plugin/keyring

一 MySQL 增量备份概念 使用 mysqldump 进行完全备份，备份的数据中有重复数据，备份时间与恢复时间过长。而增量备份就是备份自上一次备份之后增加或改变的文件或内容。 增量备份的特点： 没有重复数据，备份量不大，时间短 恢复麻烦：需要上次完全备份及完全备份之后所有的增量备份才能恢复，而且要对所有增量备份进行逐个反推恢复。 MySQL 没有提供直接的增量备份办法，可以通过 MySQL 提供的二进制日志（ binary logs(binlog) ）间接实现增量备份。 MySQL 二进制日志对备份的意义： 二进制日志保存了所有更新或者可能更新数据库的操作。 二进制日志在启动 MySQL 服务器后开始记录，并在文件达到 max_binlog_size 所设置的大小或者接收到 flush logs 命令后重新创建新的日志文件。 [root@localhost ~]# vim /etc/my.cnf 52 max_binlog_size = 1024000 // 二进制日志最大 1M 只需定时执行 flush logs 方法重新创建新的日志，生成二进制文件序列，并及时把这些日志保存到安全的地方就完成了一个时间段的增量备份。 要进行 MySQL 的增量备份，首先要开启二进制日志功能，开启 MySQL 的二进制日志功能。 方法一： MySQL 的配置文件的 [mysqld] 项中加入

ceph中rbd的增量备份和恢复 ceph的文档地址： Ceph Documentation ​ 在调研OpenStack中虚机的备份和恢复时，发现OpenStack和ceph紧密结合，使用ceph做OpenStack的后端简直是不要太爽，于是调研了使用ceph中的块设备rbd来对虚机进行增量备份和恢复。以下是虚机备份和恢复的实验步骤： 1. 前言： ​ 快照 的功能一般是基于时间点做一个标记，然后在某些需要的时候，将状态恢复到标记的那个点，这个有一个前提是 底层的数据没有破坏 ，举个简单的例子， Vmware 里面对虚拟机做了一个快照，然后做了一些系统的操作，想恢复快照，前提是存储快照的存储系统没用破坏，一旦破坏了是无法恢复的。 ​ ceph也有快照功能，同样，在这里的快照是用来保存存储系统上的状态的，数据的快照能成功恢复的前提是存储系统是好的，而一旦存储系统坏了，快照同时会失效的，所以最好是能够将数据备份下来。本篇博客主要是调研使用ceph的rbd命令来对存储设备进行基于快照的增量备份。 2. ceph中rbd的常用命令： 2.1列出存储池 ceph osd pool ls 2.2 查看存储池的内容 rbd ls --pool pool_name 例子 rbd ls --pool volumes 2.3 打快照 rbd snap create {pool-name}/