第三十二天-rsync高级同步工具基础

最后都变了- 提交于 2020-04-03 04:32:03

目录:

  1、rsync介绍
  2、rsync工作方式
  3、rsync命令使用,参数说明
  4、rsync服务端,客户端安装配置
       1.服务端安装配置
       2.客户端安装配置
  5、rsync排错注意

1、rsync介绍

  Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作平台。
  rsync,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限、时间、软硬链接等附加信息。 rsync是用 “rsync 算法”提供了一个客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好,另外它还是免费的软件。
    rsync 包括如下的一些特性:

  • 支持拷贝特殊文件如链接文件,设备等;
  • 可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能;
  • 可以做到保持原文件或目录的权限,时间,软硬链接,属主、组等所有属性均不改变-p
  • 可实现增量同步,即只同步发生变化的数据,因此数据传输效率很高;
  • 可以使用rcp、rsh、ssh等方式来配合传输文件(rsync本身不对数据加密);
  • 可以通过socket(进程方式)传输文件和数据;  
  • 支持匿名的或认证(无需系统用户)的进程模式传输,可实现方便安全的进行数据备份及镜像;

2、rsync的工作方式

  • 单个主句本地之间数据传输(此时类似于cp命令)
  • 借助rcp,ssh等通道传输数据(此时类似于scp命令)
  • 以守护进程(socket)的方式传输数据(这个是rsync自身的重要功能)

3、rsync命令使用,参数说明
  -v, --verbose   详细模式输出
  -z, --compress   对备份的文件在传输时进行压缩处理
  -a, --archive    归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
  -r, --recursive     对子目录以递归模式处理
  -t, --times      保持文件时间信息
  -o, --owner    保持文件属主信息
  -g, --group     保持文件属组信息
  -p, --perms     保持文件权限
  -R, --relative     使用相对路径信息
  -b, --backup      创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
  --backup-dir      将备份文件(如~filename)存放在在目录下。
  -suffix=SUFFIX      定义备份文件前缀
  -u, --update    仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
  -l, --links       保留软链结
    -L, --copy-links   想对待常规文件一样处理软链结
  --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
  --safe-links      忽略指向SRC路径目录树以外的链结
  -H, --hard-links     保留硬链结
  -q, --quiet      精简输出模式
  -D, --devices      保持设备文件信息
  -S, --sparse      对稀疏文件进行特殊处理以节省DST的空间
  -n, --dry-run     现实哪些文件将被传输
  -W, --whole-file   拷贝文件,不进行增量检测
  -x, --one-file-system 不要跨越文件系统边界
  -B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节
  -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
  --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
  -C, --cvs-exclude  使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件
  --existing       仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件
  --delete          删除那些DST中SRC没有的文件
  --delete-excluded    同样删除接收端那些被该选项指定排除的文件
  --delete-after      传输结束以后再删除
  --ignore-errors    及时出现IO错误也进行删除
  --max-delete=NUM  最多删除NUM个文件
  --partial        保留那些因故没有完全传输的文件,以是加快随后的再次传输
  --force             强制删除目录,即使不为空
  --numeric-ids    不将数字的用户和组ID匹配为用户名和组名
  --timeout=TIME    IP超时时间,单位为秒
  -I, --ignore-times    不跳过那些有同样的时间和长度的文件
  --size-only       当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间
  --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0
  -T --temp-dir=DIR 在DIR中创建临时文件
  --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
  -P 等同于 --partial
  --progress      显示备份过程
  --exclude=PATTERN  指定排除不需要传输的文件模式
  --include=PATTERN   指定不排除而需要传输的文件模式
  --exclude-from=FILE  排除FILE中指定模式的文件
  --include-from=FILE   不排除FILE指定模式匹配的文件
  --version         打印版本信息
  --address        绑定到特定的地址
  --config=FILE       指定其他的配置文件,不使用默认的rsyncd.conf文件
  --port=PORT      指定其他的rsync服务端口
  --blocking-io       对远程shell使用阻塞IO
  -stats          给出某些文件的传输状态
  --progress        在传输时现实传输过程
  --log-format=formAT     指定日志文件格式
  --password-file=FILE     从FILE中得到密码
  --bwlimit=KBPS      限制I/O带宽,KBytes per second
  -h, --help        显示帮助信息

4、rsync服务端,客户端安装配置
    1、服务端安装配置

以守护进程(socket)的方式传输数据

[oldboy@rsyncserver ~]$ rpm -qa rsync          #查看是否安装rsync
rsync-3.0.6-9.el6_4.1.x86_64
[oldboy@rsyncserver ~]$ vim /etc/rsyncd.conf   #生成配置文件
#rsync_config_______________start
##rsyncd.conf start##
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[oldboy]
path = /oldboy/
ignore errors
read only = false
list = false
hosts allow = 192.168.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#rsync_config_______________end
~                                  
[root@rsyncserver /]# chown -R rsync.rsync oldboy/            #创建共享目录
[root@rsyncserver ~]# chmod 600 /etc/rsync.password       #将存放用户密码文件修改成最小权限
[root@rsyncserver oldboy]# ls -lh /etc/rsync.password
-rw-------. 1 root root 20 12月 21 14:15 /etc/rsync.password

[root@rsyncserver ~]# cat /etc/rsync.password                  #查看用户密码文件,注意其格式
rsync_backup:123456

[root@rsyncserver ~]# rsync --daemon                           #启动rsync服务,如果想要重启服务的话,先用pkill rsync杀掉进程然后再执行此操作
[root@rsyncserver ~]# ps -ef|grep rsync|grep -v grep
root      1670     1  0 13:56 ?        00:00:00 rsync --daemon

注意:要关闭防火墙和selinux
[oldboy@rsyncserver .ssh]$ sudo /etc/init.d/iptables stop
[sudo] password for oldboy:
iptables:将链设置为政策 ACCEPT:filter                    [确定]
iptables:清除防火墙规则:                                 [确定]
iptables:正在卸载模块:                                   [确定]

[oldboy@rsyncserver .ssh]$ sudo getenforce
Enforcing
[oldboy@rsyncserver .ssh]$ sudo setenforce 0
[oldboy@rsyncserver .ssh]$ getenforce
Permissive

    2、客户端安装配置

[root@rsyncclient ~]# rpm -qa rsync
rsync-3.0.6-9.el6_4.1.x86_64

[root@rsyncclient ~]# vim /etc/rsync.password
[root@rsyncclient ~]# chmod 600 /etc/rsync.password 
[root@rsyncclient ~]# useradd -s /sbin/nologin rsync
[root@rsyncclient ~]# cat /etc/rsync.password
123456

 3、同步

SYNOPSIS
       Local:  rsync [OPTION...] SRC... [DEST]

       Access via remote shell:
         Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

       Access via rsync daemon:
         Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
               rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
               rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
pull:
[root@rsyncclient ~]# rsync -avz rsync_backup@192.168.1.100::oldboy /data1 --password-file=/etc/rsync.password
receiving incremental file list
./
a
b

sent 105 bytes  received 224 bytes  658.00 bytes/sec
total size is 8  speedup is 0.02

push:
[root@rsyncclient ~]# rsync -avz rsync_backup@192.168.1.100::oldboy /data1 --password-file=/etc/rsync.password
receiving incremental file list
./
a
b

sent 105 bytes  received 224 bytes  658.00 bytes/sec
total size is 8  speedup is 0.02
[root@rsyncclient ~]# rsync -avz /data1 rsync_backup@192.168.1.100::oldboy  --password-file=/etc/rsync.password
sending incremental file list
data1/
data1/a
data1/b

sent 167 bytes  received 50 bytes  144.67 bytes/sec
total size is 8  speedup is 0.04
[root@rsyncclient ~]# rsync -avz /data1/ rsync_backup@192.168.1.100::oldboy  --password-file=/etc/rsync.password         #注意/data1后面有斜杠和没斜杠的区别
sending incremental file list                                                      #没有斜杠的话将目录一块同步
./                                                                      #有斜杠的话只同步目录下面的内容
a
b

sent 152 bytes  received 49 bytes  402.00 bytes/sec
total size is 8  speedup is 0.04

5、rsync排错

       1、防火墙和selinux关闭
  2、/var/log    rsyncd.log
  3、整个部署流程整体考虑排查。
  4、操作习惯当做一个大事

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!