增量备份

上一篇介绍了逻辑备份工具mysqldump，本文将通过应用更为普遍的物理备份工具xtrabackup来演示数据备份及恢复的第二篇内容。 1. xtrabackup 工具的安装 1.1 安装依赖包 /* xtrabackup 的使用需要安装相关的依赖包 否则使用过程中会报相关错误 */ yum install -y rsync perl l perl-Digest-MD5 perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL 1.2 下载及安装 去percona官网下载对应版本的安装包 https://www.percona.com/downloads , 因为每个版本对应的数据库版本不同，因此需要根据数据库的版本选择对应的xtrabackup的安装包. 当前测试使用的数据库为MySQL5.7 因此下载2.4版本https: // www.percona.com/downloads/Percona-XtraBackup-2.4/LATEST/ 另外，2.4.10及以后版本中，对libgcrypt进行了区分，因此也需要查询自己服务器的libgcrypt版本，然后选择对应的安装包 查看libgcrypt方法： [root@testdb ~]# yum list installed|grep libgcrypt

Oracle数据库的备份与恢复 当我们使用一个数据库时，总希望数据库的内容是可靠的、正确的，但由于计算机系统的故障（包括机器故障、介质故障、误操作等），数据库有时也可能遭到破坏，这时如何尽快恢复数据就成为当务之急。如果平时对数据库做了备份，那么此时恢复数据就显得很容易。由此可见，做好数据库的备份是多么的重要，下面笔者就以ORACLE7为例，来讲述一下数据库的备份和恢复。ORACLE 数据库有三种标准的备份方法，它们分别为导出/导入（EXPORT/IMPORT）、冷备份、热备份。导出备份是一种逻辑备份，冷备份和热备份是物理备份。 ---- 一、 导出/导入（Export/Import） ---- 利用Export可将数据从数据库中提取出来，利用Import则可将提取出来的数据送回Oracle数据库中去。 ---- 1. 简单导出数据（Export）和导入数据（Import） ---- Oracle支持三种类型的输出： ---- （1）表方式（T方式），将指定表的数据导出。 ---- （2）用户方式（U方式），将指定用户的所有对象及数据导出。 ---- （3）全库方式（Full方式），将数据库中的所有对象导出。 ---- 数据导出（Import）的过程是数据导入（Export）的逆过程，它们的数据流向不同。 ---- 2. 增量导出/导入 ---- 增量导出是一种常用的数据备份方法

运维框架 目录 运维框架 1 1. 基础知识 5 1.1 系统原理 5 1.2 命令基础 6 1.3 网络基础 6 1.4 排错基础 6 1.5 优化基础 6 1.6 安全基础 6 1.7 原理基础 6 2. WEB 管理 7 2.1 Nginx 7 2.1.1 部署 7 2.1.2 优化 7 2.1.3 备份 7 2.1.4 恢复 7 2.2 Httpd 7 2.3 Tomcat 7 2.4 IIS 7 3. 数据库 7 3.1 MySQL 7 3.1.1 部署 7 3.1.2 优化 7 3.1.3 备份 7 3.1.4 恢复 7 3.2 Oracle 8 3.3 MongoDB 8 3.4 Redis 8 3.5 Memcached 8 4. 消息队列 8 4.1 ActiveMQ 8 4.2 RabbitMQ 8 4.2.1 部署环境 8 4.2.2 版本依赖 8 4.2.3 安装包下载地址 8 4.2.4 安装步骤 8 4.2.5 常用命令 9 5. 监控 11 5.1 Zabbix 11 5.2 Prometheus 11 5.3 Cacti 11 5.4 Nagios 11 6. CI/CD 12 6.1 Jenkins 12 7. 日志管理 12 7.1 ELK 12 8. 高可用 / 集群 12 8.1 Lvs 12 8.2 Keepalived 12 8.3

注意：版本变化 xtrabackup版本升级到2.4后，相比之前的2.1有了比较大的变化： innobackupex 功能全部集成到 xtrabackup 里面，只有一个 binary程序，另外为了兼容考虑，innobackupex作为 xtrabackup 的软链接，即xtrabacku现在支持非Innodb表备份，并且 Innobackupex 在下一版本中移除，建议通过xtrabackup替换innobackupex 这里mariadb5.5，为centos7默认版本，更高版有很多版本问题很严重 个人测试数据库版本10以上均无法使用xtrabackup 本次使用数据库5.5版本恢复主机10.4版本可行 首先安装xtrabackup yum install percona-xtrabackup 在EPEL源中 >最新版本下载安装： https://www.percona.com/downloads/XtraBackup/LATEST/ >本次实验使用 2.4 版本 下载地址： https://www.percona.com/downloads/Percona-XtraBackup-2.4/LATEST/ yum install /root/percona-xtrabackup-24-2.4.13-1.el7.x86_64.rpm #用yum解决依赖性 使用方法 :备份 备份

MySQL的备份还原(xtrabackup) xtrabackup简介 xtrabackup是percona提供的MySQL数据库的备份工具，是唯一开源的能对innodb和xtradb数据库进行热备的工具 xtrabackup的特点 1.备份还原过程快、可靠 2.备份过程不会打断正在执行的事务 3.能够基于压缩等功能介于磁盘空间和流量 4.自动实现备份检验 5.开源免费 xtrabackup备份过程 xtrabackup安装 xtrabackup在centos的EPEL源中，可以在配置完EPEL源后使用yum安装 [root@localhost ~]# yum install -y percona-xtrabackup 也可以去官网下载最新版本的xtrabackup https://www.percona.com/downloads/XtraBackup/LATEST xtrabackup使用 xtrabackup [option] BACKUP-ROOT-DIR 选项 说明 --user 备份时连接到MySQL的账号 --password 备份时连接到MySQL所使用的账号的密码 --host 备份数据库的地址 --databases 所要备份的数据库名，如果有多个数据库可以使用","隔开，如果备份表则使用"DATABASE.TABLE"来指明 --incremental

一、备份的目的 做灾难恢复：对损坏的数据进行恢复和还原 需求改变：因需求改变而需要把数据还原到改变以前 测试：测试新功能是否可用 二、备份需要考虑的问题 可以容忍丢失多长时间的数据； 恢复数据要在多长时间内完； 恢复的时候是否需要持续提供服务； 恢复的对象，是整个库，多个表，还是单个库，单个表。 三、备份的类型 1、根据 是否需要数据库离线 冷备 （cold backup）：需要关mysql服务，读写请求均不允许状态下进行； 温备 （warm backup）： 服务在线，但仅支持读请求，不允许写请求； 热备 （hot backup）：备份的同时，业务不受影响。 注： 1、这种类型的备份，取决于业务的需求，而不是备份工具 2、 MyISAM不支持热备，InnoDB支持热备 ，但是需要专门的工具 2、根据要 备份的数据集合的范围 完全备份：full backup，备份全部字符集。 增量备份: incremental backup 上次完全备份或增量备份以来改变了的数据，不能单独使用，要借助完全备份，备份的频率取决于数据的更新频率。 差异备份：differential backup 上次完全备份以来改变了的数据。 建议的恢复策略： 完全+增量+二进制日志 完全+差异+二进制日志 3、 根据备份数据或文件 物理备份：直接备份数据文件 优点： 备份和恢复操作都比较简单，能够跨mysql的版本

MySQL完全备份与恢复 随着自动化办公与电子商务的不断扩展，企业对于信息系统的依赖性越来越重要，而数据库在信息系统中担任着非常重要的角色。尤其一些对数据库可靠性要求非常高的行业，例如银行，证券，电信等，如果发生意外宕机或数据丢失，其损失是非常重要的。为此数据库管理员必须针对具体的业务要求定制详细的数据库备份与灾难恢复的策略，并通过模拟故障对每种可能的情况进行严格的测试。而保障数据的可靠性。 数据备份的重要性 备份的主要目的是灾难恢复，备份还可以测试应用，回滚数据修改，查询历史数据，审计等。我们将从生产运维的角度了解备份恢复的分类与方法。 在企业中数据的价值至关重要，数据保障了企业的业务的运行，因此数据的安全性及可靠性是运维的重中之重，任何数据的丢失都有可能会对企业产生严重的后果。造成数据丢失的原因如下： ● 程序错误 ● 人为错误 ● 运算失败 ● 磁盘故障 ● 灾难（如火灾、地震）和盗窃 二、数据库备份的类型 从物理与逻辑的角度：备份可以分为物理备份和逻辑备份 物理备份：对数据库操作系统的物理文件（如数据文件、日志文件等）的备份。物理备份又可分为 脱机备份（冷备份 ）和 联机备份（热备份） 。这种类型的备份适用于出现问题时需要快速恢复的大型重要数据库。 1、冷备份：是在关闭数据库的时候进行的 2、热备份：数据库处于运行状态，这种备份方法依赖于数据库的日志文件

1、完全备份（Full Backup） 备份全部选中的文件夹，并不依赖文件的存档属性来确定备份那些文件。在备份过程中，任何现有的标记都被清除，每个文件都被标记为已备份。换言之，清除存档属性。 完全备份就是指对某一个时间点上的所有数据或应用进行的一个完全拷贝。实际应用中就是用一盘磁带对整个系统进行完全备份，包括其中的系统和所有数据。这种备份方式最大的好处就是只要用一盘磁带，就可以恢复丢失的数据。因此大大加快了系统或数据的恢复时间。然而它的不足之处在于，各个全备份磁带中的备份数据存在大量的重复信息；另外，由于每次需要备份的数据量相当大，因此备份所需时间较长。 2、差异备份（Differential Backup） 备份自上一次完全备份之后有变化的数据。差异备份过程中，只备份有标记的那些选中的文件和文件夹。它不清除标记，也即备份后不标记为已备份文件。换言之，不清除存档属性。 差异备份是指在一次全备份后到进行差异备份的这段时间内，对那些增加或者修改文件的备份。在进行恢复时，我们只需对第一次全备份和最后一次差异备份进行恢复。差异备份在避免了另外两种备份策略缺陷的同时，又具备了它们各自的优点。首先，它具有了增量备份需要时间短、节省磁盘空间的优势；其次，它又具有了全备份恢复所需磁带少、恢复时间短的特点。系统管理员只需要两盘磁带，即全备份磁带与灾难发生前一天的差异备份磁带，就可以将系统恢复。 3

原博：http://www.cnblogs.com/yingpp/archive/2009/01/07/1371040.html 三种 备份方式 ：导入/导出（逻辑备份）; 热备份、冷备份（物理备份） １、 简单导出数据（Export）和导入数据（Import） Oracle支持三种方式类型的输出： （1）、表方式（T方式），将指定表的数据导出。 （2）、用户方式（U方式），将指定用户的所有对象及数据导出。 （3）、全库方式（Full方式），瘵数据库中的所有对象导出。 ２、 增量导出／导入 增量导出是一种常用的数据备份方法，它只能对整个数据库来实施，并且必须作为SYSTEM来导出。在进行此种导出时，系统不要求回答任何问题。导出文件名缺省为export.dmp，如果不希望自己的输出文件定名为export.dmp，必须在命令行中指出要用的文件名。 增量导出包括三种类型： （１）、“完全”增量导出（Complete） 即备份三个数据库，比如： exp system/manager inctype=complete file=040731.dmp （２）、“增量型”增量导出 备份上一次备份后改变的数据，比如： exp system/manager inctype=incremental file=040731.dmp （３）、“累积型”增量导出 累计型导出方式是导出自上次“完全

Code # !/bin/sh # +++++++++++++mysqlback++++++++++++ # a mysql incremental backup script. # by flute # ++++++++++++++++++++++++++++++++++ BAK_DIR = " . " while getopts :u:p:d:c OPTION do case ${OPTION} in u) DB_USER = ${OPTARG} ;; p) PASSWD = ${OPTARG} ;; d) DB_NAME = ${OPTARG} ;; b) BAK_DIR = ${OPTARG} ;; c) INIT = " true " ;; \ ? ) echo " Usage: mysqlback.sh [OPTIONS] " echo " -u user for login " echo " -p Password to use when connecting to server " echo " -d which database to backup " echo " -b backup database files to directory,default is current directory " echo " -c must be usage for