一.备份的原因
运维工作的核心简单概括就两件事:
1）第一个是保护公司的数据.
2）第二个是让网站能7*24小时提供服务(用户体验)。
1）备份就是为了恢复。
2）尽量减少数据的丢失（公司的损失）
二.备份的类型
冷备份:
这些备份在用户不能访问数据时进行，因此无法读取或修改数据。这些脱机备份会阻止执行任何使用数据的活动。这些类型的备份不会干扰正常运行的系统的性能。但是，对于某些应用程序，会无法接受必须在一段较长的时间里锁定或完全阻止用户访问数据。
温备份:
这些备份在读取数据时进行，但在多数情况下，在进行备份时不能修改数据本身。这种中途备份类型的优点是不必完全锁定最终用户。但是，其不足之处在于无法在进行备份时修改数据集，这可能使这种类型的备份不适用于某些应用程序。在备份过程中无法修改数据可能产生性能问题。
热备份:
这些动态备份在读取或修改数据的过程中进行，很少中断或者不中断传输或处理数据的功能。使用热备份时，系统仍可供读取和修改数据的操作访问。
三.备份的方式
1.逻辑备份:
基于SQL语句的备份
1）binlog
2）into outfile
mysql> select * from world.city into outfile '/tmp/world_city.data';
3）mysqldump
4）replication
5）mysqlbinlog
2.物理备份:
基于数据文件的备份
1）Xtrabackup（percona公司）
2）cp data
四.备份策略
1）全量备份 full
2）增量备份 increamental
3）差异备份
五.备份工具
1）mysqldump（逻辑）
mysql原生自带很好用的逻辑备份工具
2）mysqlbinlog（逻辑）
实现binlog备份的原生态命令
3）xtrabackup（物理）
precona公司开发的性能很高的物理备份工具
备份工具使用
mysqldump的备份
mysqldump常用参数
1）连接服务端参数(基本参数)：-u -p -h -P -S
-u：指定用户 -p：指定密码 -h：指定主机域 -P：指定端口 -S：指定socket文件
2）-A（--all-databases）：全库备份
[root@db01 ~]# mysqldump -uroot -p1 -A > /backup/full.sql
3）不加参数：单库、单表多表备份
# 备份world库中所有表（只能备份表，不能备份多个库） [root@db01 ~]# mysqldump -uroot -p1 world > /tmp/world.sql # 备份world库中city表（单表备份） [root@db01 ~]# mysqldump -uroot -p1 world city > /tmp/city.sql # 恢复 # 库外恢复，需要制定库 [root@db01 ~]# mysql -uroot -p1 world < /tmp/world.sql # 库内恢复 mysql> use world mysql> source /tmp/city.sql
4）-B：指定库备份（可以备份多个库）
[root@db01 ~]# mysqldump -uroot -p1 -B db1 > /backup/db1.sql [root@db01 ~]# mysqldump -uroot -p1 -B db1 db2 > /backup/db1_db2.sql
5）-F（--flush-logs）：在备份时自动刷新binlog，有多少个库，刷新多少个binlog（不常用）
[root@db01 backup]# mysqldump -uroot -p1 -A -F > /backup/full_2.sql
6）--master-data=2：（打点备份，温备）
备份时加入change master语句0没有1不注释2注释
2：打点备份并且注释change master to
1：打点备份不注释change master to
0：相当于不开启，等于没写
[root@db01 backup]# mysqldump -uroot -p1 --master-data=2 >/backup/full.sql
7）-d：仅备份表结构
8）-t：仅备份数据
备份额外扩展项
1）-R, --routines：备份存储过程和函数数据
[root@db01 ~]# mysqldump -uroot -p1 -A -R --master-data=2 --single-transaction > /tmp/f.sql
2）--triggers：备份触发器数据
[root@db01 ~]# mysqldump -uroot -p1 -A -R --triggers > /backup/full_2.sql [root@db01 ~]# mysqldump -uroot -p1 -A -R --triggers --master-data=2 --single-transaction > /tmp/f.sql
mysqldump特殊参数
1）-x：锁表备份（myisam温备份）
2）--single-transaction：快照备份（热备）结合--master-data=2使用
#备份数据库 [root@db01 ~]# mysqldump -uroot -p1 -A -R --triggers --master-data=2 –single-transaction>/tmp/f.sql [root@db01 ~]# vim /tmp/f.sql CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000030', MASTER_LOG_POS=20550; #误删除mysqldump库 mysql> drop database mysqldump; #恢复全备数据 [root@db01 ~]# mysql -uroot -p1 < /tmp/f.sql #查找截取binlog [root@db01 ~]# mysql -uroot -p1 -e "show binlog events in 'mysql-bin.000030'"|grep -i 'drop database' mysql-bin.000030 25058 Query 1 25165 drop database mysqldump #导出binlog数据 [root@db01 ~]# mysqlbinlog --start-position=20550 --stop-position=25058 /application/mysql/data/mysql-bin.000030 > /tmp/new.sql #导入binlog数据 [root@db01 ~]# mysql -uroot -p1 < /tmp/new.sql
3）gzip：压缩备份
[root@db01 ~]# mysqldump -uroot -p1 -A -R --triggers --master-data=2 –single-transaction|gzip>/backup/full.sql.gz #终极备份语句 [root@db01 ~]# mysqldump -uroot -p1 -A -R --triggers --master-data=2 --single-transaction|gzip > /tmp/full_$(date +%F).sql.gz #恢复压缩数据 [root@db01 tmp]# zcat /tmp/full_2019-11-13.sql.gz | mysql -uroot -p1
mysqldump的恢复
#先不记录二进制日志 mysql> set sql_log_bin=0; #库内恢复操作 mysql> source /backup/full.sql #库外恢复操作 [root@db01 ~]# mysql -uroot -p123 < /backup/full.sql
注意：
1）mysqldump在备份和恢复时都需要MySQL实例启动为前提
2）一般数据量级100G以内，大约15-30分钟可以恢复（PB、EB就需要考虑别的方式）
3）mysqldump是以覆盖的形式恢复数据的
企业故障恢复案例
背景：
正在运行的网站系统，MySQL数据库，数据量25G，日业务增量10-15M。
备份策略：
每天23：00，计划任务调用mysqldump执行全备脚本
故障时间点：
上午10点开发人员误删除一个核心业务表，如何恢复？
思路：
1）停业务避免数据的二次伤害
stop php tomcat ... [root@db01 tmp]# /etc/init.d/mysqld stop
2）找一个临时的库，恢复前一天的全备
- 多实例（物理服务器）
- 再买一台云主机
3）截取前一天23：00到第二天10点误删除之间的binlog，恢复到临时库
4）测试可用性和完整性
5）开启业务前的两种方式
a.直接使用临时库顶替原生产库，前端应用割接到新库
b.将误删除的表单独导出，然后导入到原生产环境
以上两种方式都可以，选择速度最快的一种方式
改代码：
1）.开发提交gitlab，从gitlab拉取，上线
2）.开发写好了配置文件
6）开启业务
/etc/init.d/mysqld start
故障模拟演练：
准备数据：
#刷新binlog使内容更清晰 mysql> flush logs; #查看当前使用的binlog mysql> show master status; #创建backup库 mysql> create database backup; #进入backup库 mysql> use backup #创建full表 mysql> create table full select * from world.city; #创建full_1表 mysql> create table full_1 select * from world.city; #查看表 mysql> show tables;
全备：
[root@db01 ~]# mysqldump -uroot -p1 -A -R --triggers --master-data=2 --single-transaction|gzip > /tmp/full_$(date +%F).sql.gz
模拟数据变化：
#进入backup库 mysql> use backup #创建new表 mysql> create table new select * from mysql.user; #创建new_1表 mysql> create table new_1 select * from world.country; #查看表 mysql> show tables; #查看full表中数据 mysql> select count(*) from full; #把full表中所有的countrycode都改成CHN mysql> update full set countrycode='CHN' where 1=1; #提交 mysql> commit; #删除id大于200的数据 mysql> delete from full where id>200; #提交 mysql> commit;
模拟故障：
#删除new表 mysql> drop table new; #查看表 mysql> show tables;
恢复过程：
1）准备临时数据库
[root@db02 ~]# mysqld_safe --defaults-file=/data/3307/my.cnf & #停止连接数据库的服务（php，tomcat，python）***** [root@db02 ~]# /etc/init.d/mysqld stop #准备新的环境（初始化一个新的数据库实例，二进制安装MySQL） [root@db02 ~]# cd /application/mysql/ [root@db02 mysql]# rm -rf data/ [root@db02 mysql]# cd scripts/ [root@db02 scripts]# ./mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/application/mysql/data [root@db01 scripts]# vim /etc/my.cnf [mysqld] log-bin=mysql-bin binlog_format=row server_id=1 [root@db02 ~]# /etc/init.d/mysqld start [root@db02 ~]# mysql mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | test | +--------------------+
2）拷贝数据到新库上
[root@db02 ~]# scp /tmp/full_2019-11-13.sql.gz root@10.0.0.52:/tmp
3）解压全备数据文件
#进入tmp目录
[root@db02 ~]# cd /tmp/
#解压全备数据文件
[root@db02 tmp]# gzip -d full_2019-11-13.sql.gz
截取二进制
#查看全备的位置点（起始位置点）
[root@db02 tmp]# head -50 full_2019-11-13.sql |grep -i 'change master to'
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000006', MASTER_LOG_POS=268100;
[root@db02 mysql]# zcat /tmp/full_2019-11-13.sql.gz |head -25
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000006', MASTER_LOG_POS=268100;
#找到drop语句执行的位置点（结束位置点）
mysql> show binlog events in 'mysql-bin.000006';
[root@db01 ~]# mysql -uroot -p1 -e "show binlog events in 'mysql-bin.000006'"|grep -i 'drop table'
mysql-bin.000006 670424 Query 1 670544 use `backup`; DROP TABLE `new` /* generated by server */
[root@db01 ~]# mysqlbinlog --base64-output=decode-rows -vvv /application/mysql/data/mysql-bin.000006|less
#搜索DROP
# at 670424
#191113 19:02:15 server id 1 end_log_pos 670544 CRC32 0x4e10d659
Query thread_id=9 exec_time=0 error_code=0
SET TIMESTAMP=1573642935/*!*/;
DROP TABLE `new` /* generated by server */
#截取二进制
[root@db01 tmp]# mysqlbinlog -uroot -p1 --start-position=268100 --stop-position=670424 /application/mysql/data/mysql-bin.000006 > /tmp/new.sql
#发送增量数据到新库
[root@db01 tmp]# scp /tmp/new.sql root@10.0.0.52:/tmp
在新库内恢复数据
#不记录二进制日志
mysql> set sql_log_bin=0;
#恢复全备数据
mysql> source /tmp/full_2019-11-13.sql
#进入backup库
mysql> use backup
# 查看表
mysql> show tables;
#恢复增量数据
mysql> source /tmp/new.sql
#查看表
mysql> show tables;
4）将故障表导出并恢复到生产
#恢复生产业务 - 1.修改代码 - 2.导出核心业务表，恢复到生产库 #导出new表 [root@db02 ~]# mysqldump -uroot -p1 -S /data/3307/mysql.sock backup new > /tmp/backup.sql [root@db02 ~]# mysqldump -uroot -p1 backup new > /tmp/backup.sql #发送到生产库 [root@db02 ~]# scp /tmp/backup.sql root@10.0.0.51:/tmp/ [root@db01 data]# /etc/init.d/mysqld start [root@db01 data]# mysql -uroot -p1 < /tmp/backup.sql #进入backup库 mysql> use backup #在生产库恢复数据 mysql> source /tmp/backup.sql #查看表 mysql> show tables; #启动服务 tomcat php ...
物理备份（Xtrabackup）
Xtrabackup安装
#下载epel源 wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-6.repo #安装依赖 yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL #下载Xtrabackup wget httpss://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm [root@db01 ~]# yum localinstall percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm -y
备份方式（物理备份）
1）对于非innodb表（比如myisam）是直接锁表cp数据文件，属于一种温备。
2）对于innodb的表（支持事务），不锁表，cp数据页最终以数据文件方式保存下来，并且把redo和undo一并备走，属于热备方式。
3）备份时读取配置文件/etc/my.cnf
全量备份
#全备
[root@db01 ~]# mkdir /backup
[root@db01 data]# innobackupex --user=root --password=1 /backup
#避免时间戳，自定义路径名
[root@db01 ~]# innobackupex --user=root --password=1 --no-timestamp /backup/full
#查看备份路径中的内容
[root@db01 backup]# ll /backup/full
#记录binlog文件名和binlog的位置点
-rw-r----- 1 root root 21 Aug 16 06:23 xtrabackup_binlog_info
#备份时刻，立即将已经commit过的内存中的数据页刷新到磁盘
#备份时刻有可能会有其他数据写入，已备走的数据文件就不会再发生变化了
#在备份过程中，备份软件会一直监控着redo和undo，一旦有变化会将日志一并备走
-rw-r----- 1 root root 117 Aug 16 06:23 xtrabackup_checkpoints
#备份类型（全备）
backup_type = full-backuped
#从哪个日志版本号开始
from_lsn = 0
#备份到哪个日志版本号
to_lsn = 1025046494
#最新的日志版本号
last_lsn = 1025046494
compact = 0
recover_binlog_info = 0
#备份汇总信息
-rw-r----- 1 root root 485 Aug 16 06:23 xtrabackup_info
#备份的redo文件
-rw-r----- 1 root root 2560 Aug 16 06:23 xtrabackup_logfile
全备的恢复
准备备份
将redo进行重做，已提交的写到数据文件，未提交的使用undo回滚，模拟CSR的过程
[root@db01 full]# innobackupex --user=root --password=1 --apply-log /backup/full
恢复备份
前提1：被恢复的目录是空的
前提2：被恢复的数据库的实例是关闭的
#停库 [root@db01 full]# /etc/init.d/mysqld stop #进入mysql目录 [root@db01 full]# cd /application/mysql #删除data目录（在生产中可以备份一下） [root@db01 mysql]# mv /application/mysql/data/ /tmp/ [root@db01 mysql]# rm -fr data/ #先做redo和undo 模拟CSR [root@db01 mysql]# innobackupex --user=root --password=1 --apply-log /backup/full #拷贝数据,在my.cnf里面必须有datadir [root@db01 mysql]# innobackupex --copy-back /backup/full #授权 [root@db01 mysql]# chown -R mysql.mysql /application/mysql/data/ #启动MySQL [root@db01 mysql]# /etc/init.d/mysqld start
增量备份及恢复
备份方式
1）基于上一次备份进行增量
2）增量备份无法单独恢复，必须基于全备进行恢复
3）所有增量必须要按顺序合并到全备当中
#不使用之前的全备，执行一次全备 [root@mysql-db01 ~]# innobackupex --user=root --password=1 --no-timestamp /backup/full
模拟数据变化
mysql> create database inc1; mysql> use inc1 mysql> create table inc1_tab(id int); mysql> insert into inc1_tab values(1),(2),(3); mysql> commit; mysql> select * from inc1_tab;
第一次增量备份
[root@db01 ~]# innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/backup/full/ /backup/inc1 参数说明: --no-timestamp：避免时间戳 --incremental：开启增量备份功能 --incremental-basedir：上一次备份的路径
再次模拟数据变化
mysql> create database inc2; mysql> use inc2 mysql> create table inc2_tab(id int); mysql> insert into inc2_tab values(1),(2),(3); mysql> commit;
第二次增量备份
[root@db01 ~]# innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/backup/inc1/ /backup/inc2
增量恢复
#破坏数据 [root@db01 ~]# rm -fr /application/mysql/data/*
准备备份
1）full+inc1+inc2
2）需要将inc1和inc2按顺序合并到full中
3）分步骤进行--apply-log
第一步：在全备中 --apply-log时，只应用redo，不应用undo
[root@db01 ~]# innobackupex --apply-log --redo-only /backup/full/ backup_type = log-applied from_lsn = 0 to_lsn = 1025119769
第二步：合并inc1合并到full中，并且--apply-log，只应用redo，不应用undo
[root@db01 ~]# innobackupex --apply-log --redo-only --incremental-dir=/backup/inc1/ /backup/full/ from_lsn = 0 to_lsn = 1025140919
第三步：合并inc2合并到full中，redo和undo都应用
[root@db01 ~]# innobackupex --apply-log --incremental-dir=/backup/inc2/ /backup/full/ backup_type = full-prepared from_lsn = 0 to_lsn = 1025168949
第四步：整体full执行apply-log，redo和undo都应用
[root@db01 mysql]# innobackupex --apply-log /backup/full/ #copy-back [root@db01 ~]# innobackupex --copy-back /backup/full/ [root@db01 ~]# chown -R mysql.mysql /application/mysql/data/ [root@db01 ~]# /etc/init.d/mysqld start
差异备份
1.备份的时候，方便
2.恢复的时候，也方便
缺点：
重复数据多，占用磁盘空间大
[root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp /backup/full_1 backup_type = full-backuped from_lsn = 0 to_lsn = 1025176220 #1.第一次差异备份 [root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/backup/full_1 /backup/chayi1 [root@db01 backup]# cat chayi1/xtrabackup_checkpoints backup_type = incremental from_lsn = 1025176220 to_lsn = 1025202474 #2.第二次差异备份 [root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/backup/full_1 /backup/chayi2 backup_type = incremental from_lsn = 1025176220 to_lsn = 1025208985 #3.第三次差异备份 [root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/backup/full_1 /backup/chayi3 #4.第四次差异备份 [root@db01 backup]# innobackupex --user=root --password=1 --no-timestamp --incremental --incremental-basedir=/backup/full_1 /backup/chayi4 backup_type = incremental from_lsn = 1025176220 to_lsn = 1025234244
恢复数据
#1.停数据库 [root@db01 backup]# /etc/init.d/mysqld stop #2.删除data目录或者备份 [root@db01 backup]# rm -fr /application/mysql/data/* #3.模拟CSR合并数据 full_1 + chayi1 + chayi2 + chayi3 + chayi4 1)full_1只做redo 不做undo [root@db01 backup]# innobackupex --apply-log --redo-only /backup/full_1/ 2)将chayi4合并到full_1 redo undo 都做 [root@db01 backup]# innobackupex --apply-log --incremental-dir=/backup/chayi4 /backup/full_1/ 3)将full_1 redo undo 都做 [root@db01 backup]# innobackupex --apply-log /backup/full_1/ #4.copy back [root@db01 backup]# innobackupex --copy-back /backup/full_1/ [root@db01 backup]# chown -R mysql.mysql /application/mysql/data/