写在前面的话
和 MySQL 一样,mongodb 也是需要将数据进行备份的,毕竟天有不测风云,谁也不知道哪天机器就炸了。
备份恢复
mongodb 提供了两种备份恢复手段:mongoexport / mongoimport 和 mongodump / mongorestore
先看看应用场景:
mongoexport / mongoimport 导出的数据为 json / csv 文本。这意味着我们可以将 MySQL 中的数据按照一定的规律导出然后导入到 mongodb 中。
同时,它适用于跨大版本的版本升级这样的情景。
mongodump / mongorestore 则和 mysqldump 有点像,一般用于日常的备份恢复。
这里以一个单节点的 mongodb 为例:
mkdir /data/backup/mongodb-demomongo --port 27000
创建用户并增加验证:
use admin db.createUser({user: "root",pwd: "123456",roles: [{role:"root",db:"admin"}]})
配置文件添加验证配置:
# 安全验证有关配置 security: # 是否打开用户名密码验证 authorization: enabled
重启 mongodb 登录:
mongo -uroot -p123456 --port 27000
初始化数据库:
use hello for(i=0;i<10000;i++){db.t1.insert({"uid":i,"name":"mongo","date":new Date()})} use world for(i=0;i<10000;i++){db.t1.insert({"uid":i,"name":"zhangsan","date":new Date()})}
mongoexport:
1. 备份指定库下面指定表到 json 文件:
mongoexport -uroot -p123456 --port 27000 --authenticationDatabase admin -d hello -c t1 -o /data/backup/mongodb-demo/hello-t1.json
参数说明:
-u:用户名
-p:密码
--port:端口
--authenticationDatabase:认证数据库
-d:指定数据库
-c:指定表
-f:指定要导出的列
-o:指定到要导出到哪个文件
-q:指明导出数据的过滤条件
此时可以查看:
cat /data/backup/mongodb-demo/hello-t1.json
结果如图:
2. 单表备份到 csv 文件中:
mongoexport -uroot -p123456 --port 27000 --authenticationDatabase admin -d hello -c t1 --type csv -f uid,name,date -o /data/backup/mongodb-demo/hello-t1.csv
新增了--type 指明导出类型,-f 指明要导出的字段,导出后使用 excel 打开:
mongoimport:
1. 恢复 json 文件到 hello 下面 t3:
mongoimport -uroot -p123456 --port 27000 --authenticationDatabase admin -d hello -c t3 /data/backup/mongodb-demo/hello-t1.json
结果如图:
2. 恢复 csv 文件到 hello 下面的 t4:
mongoimport -uroot -p123456 --port 27000 --authenticationDatabase admin -d hello -c t4 --type csv --headerline --file /data/backup/mongodb-demo/hello-t1.csv
注意,由于导出的 csv 包含了标题栏,所以需要 --headerline 说明。同时通过 --file 指定文件。
当 csv 文件中不包含第一行标题的时候,则需要使用 -f 手动指定标题。
由于 csv 和 json 文件是我们明确可以知道它的格式是怎样的,所以可以将其它数据库的数据按照这个格式导出,然后导入我们的 mongodb。
如 MySQL 导出:
select * from city into outfile '/tmp/city.csv' fields terminated by ',';
我们这样就能将查询的数据导出到 csv 文件,而且由于 mongodb 的 csv 文件时以逗号分隔,所以需要指定一下。
mongodump:
1. 全库备份:
mongodump -uroot -p123456 --port 27000 --authenticationDatabase admin -o /data/backup/mongodb-demo/all-backup
结果如图:
可以看到,其实就是将所有的库导出成 json 和 bson 的形式。
2. 备份 hello 库:
mongodump -uroot -p123456 --port 27000 --authenticationDatabase admin -d hello -o /data/backup/mongodb-demo/hello
3. 备份指定表:
mongodump -uroot -p123456 --port 27000 --authenticationDatabase admin -d hello -c t1 -o /data/backup/mongodb-demo/hello-t1
4. 压缩备份:
mongodump -uroot -p123456 --port 27000 --authenticationDatabase admin -o /data/backup/mongodb-demo/all-zip --gzip
结果如图:
mongorestore:
1. 恢复 hello 库:
mongorestore -uroot -p123456 --port 27000 --authenticationDatabase admin -d hello /data/backup/mongodb-demo/hello/hello
注意目录层级,且恢复只能是该库不存在的情况下!
2. 同理,恢复单独的表只需要 -c 指定,恢复压缩则需要使用 --gzip 说明。
3. 注意:当我们恢复的时候,库或者表存在是无法写入的,所有我们需要先删除它。此时只需要加入 --drop 就会自动先删除再恢复。但是很危险!!!
oplog
在 MySQL 中有 binlog 能够保证我们在故障之后最大可能性的恢复数据,当然,在 mongodb 也同样有这种类似的东西,这就是 oplog。
但是注意,oplog 只能在 rs 复制集或者主从模式中使用。
oplog 默认占用磁盘为磁盘总大小的 5%,所以在配置文件中我们使用了 oplogSizeMB 来规定日志文件大小。
当达到指定大小时,新的日志会覆盖旧的日志。
我们准备了一个 rs 集群:192.168.200.104:27001 - 27003
查看当前的 oplog:
use local show collections db.oplog.rs.find().pretty()
内容如下:
在 oplog 中,默认包含多种操作类型:
i:insert
u:update
d:delete
c:db command(对数据库的操作)
同时,我们在配置配置文件的时间,增加了 oplogSizeMB,但是当时我们是直接给的大小,不一定合适自己的系统。
该大小的设计规则肯定是越接近 MySQL 那样每次备份那一刻开始重新记录这样是最好的。
所以,对于 mongodb,我们只能通过:
rs.printReplicationInfo()
结果如图:
通过这样的预估来判断我们这个 log 能够坚持写多久。这里因为我刚刚生成了 1万数据,所以预估只能写 0.18 小时。
在我们备份的时候,可以通过相关的参数来记录备份过程中的数据变更,并将他另外保存为 oplog.bson 中。
mongodump --port 27001 --oplog -o /data/backup/mongodb
查看:
此时恢复则需要加入另外的参数:--oplogReplay
mongorestore --port=27001 --oplogReplay /data/backup/mongodb
当然,我这里数据以及存在,mongodb 会自己校验数据是否存在而选择是否执行。
模拟删库故障
注意事项:
1. 在生产中,恢复应该在新机器上面执行,避免因为恢复失败造成数据永久性顺坏。
2. 恢复应该停掉其它应用,避免新数据写入。
具体操作:
1. 先执行一次备份模拟晚上的全备:
mongodump --port 27001 --oplog -o /data/backup/mongodb
2. 新增操作:
use hello db.t2.insert({name:"zhangsan"}) db.t3.insert({name:"lisi"}) db.t3.insert({name:"wangwu"}) # 删表 db.t1.drop()
3. 备份 local 库的 oplog.rs 表:
mongodump --port 27001 -d local -c oplog.rs -o /data/backup/local
4. 登录库查看删除的时间戳:
db.oplog.rs.find({op:"c"}).pretty()
结果如图:
最后一个就是 drop 操作,我们记录它的 ts 为:1574323944, 1
5. 将 local 备份下的 oplog.rs.bson 拷贝到之前全备下面,替换掉 oplog.bson
cp oplog.rs.bson /data/backup/mongodb/oplog.bson
6. 执行恢复:
mongorestore --port 27001 --oplogReplay --oplogLimit "1574323944:1" --drop /data/backup/mongodb/
注意,这里时间戳需要和后面的操作使用冒号隔开。而不是默认的逗号。
7. 查看恢复结果:
最后,关于分片集群的备份其实是一个很复杂的过程,需要另外进行好好规划。
当然,官方的 Ops manager 非常牛逼,但是不免费。