rsync和ssh带的scp命令比较相似,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以进行增量拷贝。可以使用rcp,rsh,ssh等方式来配合传输文件。rsync在远程同步时,之所以要密码的主要原因在于其底层还是基于ssh服务的,ssh有两种认证方式,如果没有配置免密则默认使用用户名密码的认证方式。
rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。rsync软件适用于unix/linux/windows等多种操作系统平台。
rsync和ssh带的scp命令比较相似,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以进行增量拷贝。当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令,但同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝.利用rsync还可以实现删除文件和目录功能,这又相当于rm命令。
2、rsync特性支持拷贝特殊文件如链接文件,设备等。可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能。可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变。可实现增量同步,即可同步发生变化的数据,因此数据传输效率很高。可以使用rcp,rsh,ssh等方式来配合传输文件(rsync本身不对数据加密)。可以通过socket传输文件和数据。支持匿名的或认证(无需系统用户)的进程模式传输,可实现方便安全的进行数据备份及镜像。
俩者都可以实现远程同步,但相对比而言,rsync能力更强
①支持增量备份
②数据同步时,保持文件的原有属性
二、RSYNC的使用1、基本语法man rsyncNAMErsync — a fast, versatile, remote (and local) file-copying tool//一种快速、通用、远程(和本地)的文件复制工具SYNOPSIS//本地文件同步Local:rsync [OPTION...] SRC... [DEST]//远程文件同步Access via remote shell:Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]Push: rsync [OPTION...] SRC... [USER@]HOST:DESTOPTION选项说明-v:详细模式输出-a:归档模式,递归的方式传输文件,并保持文件的属性,equals -rlptgoD-r:递归拷贝目录-l:保留软链接-p:保留原有权限-t:保留原有时间(修改)-g:保留属组权限-o:保留属主权限-D:等于--devices--specials表示支持b,c,s,p类型的文件-R: 保留相对路径-H:保留硬链接-A:保留ACL策略-e:指定要执行的远程shell命令,ssh更改端口常用选项-E:保留可执行权限-X:保留扩展属性信息a属性
注:推,相当于上传。拉,相当于下载
2、本地文件同步本地文件同步简单理解就是把文件从一个位置(同步》》拷贝)到另一个位置(类似cp)
实例:/rsync1 /rsync2 /rsync3,在/rsync1中创建三个文件fiel1 file2 file3,使用rsync本地同步
创建文件夹mkdir rsync1mkdir rsync2mkdir rsync3在文件夹rsync1中创建三个文件touch /rsync1/file{1..3}使用rsync同步rsync -av /rsync1/ /rsync2把rsync1目录中的所有文件拷贝到/rsync2中rsync -av /rsync1 /rsync3把/rsync1目录整体同步到/rsync3目录中
实例:rsyc -R 选项的应用(保留相对路径)
rsync -avR /rsync1 /rsync2
实例:rsync --delete(删除目标目录里多余的文件)
/rsync1 /rsync2
file1 fiel2 file1 file2 file3
使用rsync --delete同步后,会自动删除file3文件。(让rsync1与rsync2目录中的文件一致)
rsync -av --delate /rsync1//rsync2
上传文件到远程端口
rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标
实例:把init.sh文件传输到远程服务器home目录下(172.22.1.88)
rsync -av /home/init.sh root@172.22.1.88:/home/
实例:把rsync1文件夹传输到远程服务器home目录下(172.22.1.88)
rsync -av /home/rsync1/ root@172.22.1.88:/home/
下载文件到本地服务端
rsync -av 远程用户名@远程服务器IP:目标文件或目录 本地存储位置
实例:把远程服务器(172.22.1.88)root目录下123.txt文件下载到本地home目录下
rsync -av root@172.22.1.88:/root/123.txt /home/
实例:把远程服务器(172.22.1.88)root目录下,abc目录下载到本地home目录下
rsync -av root@172.22.1.88:/root/abc/ /home/
问:rsync远程同步数据时,默认情况下为什么需要密码?如果不想要密码同步怎么实现?
rsync在远程同步时,之所以要密码的主要原因在于其底层还是基于ssh服务的,ssh有两种认证方式,如果没有配置免密则默认使用用户名 密码的认证方式。
不想要密码同步,可以考虑使用SSH免密操作
ssh-keygen -t rsa -P "" ssh-copy-id root@172.22.1.88
问:如果bak服务器端,更改了SSH的默认密码,那这个数据该如何?
rsync -e "ssh -p 10068" -av 123.txt root@172.22.1.88:/home
默认情况下,rsync只是作为一个命令来进行使用的(ps在查询进程时,找不到对应的服务),但是rsunc提供了一种作为系统服务的实现方式。
Linux系统服务的思路:
对外提供服务>>端口监听>>启动服务>>启动脚本>>配置文件
第一步:启动rsyncd服务(centos6中没有,centos7中有这个服务)
systemctl start rsyncd
如果企业中使用系统centos6系统,则没有启动脚本。
# man rsync# rsync --helpUse "rsync --daemon --help" to see the daemon-mode command-line options.CentOS6:rsync作为系统服务# touch /etc/rsyncd.conf# rsync --daemon# ps -ef|grep rsync# netstat -tunlp |grep rsync=>-t tcp-u udp
注:rsync作为系统服务单独运行,则底层就不需要ssh服务
第二步:rsyncd服务的配置文件/ec/rsyncd.conf
cat /etc/rsyncd.conf
1、准备机器
主机名 | IP | 用途 |
web01 | 172.22.1.41 | web端,安装rsync服务 |
bak01 | 172.22.1.71 | 备份服务器 |
第一步:关闭防火墙及selinux
systemctl stop firewalld临时关闭systemctl disable firewalld关闭开机自启setenforce 0临时关闭vim /etc/selinux/configSELINUX=disable
第二步:更改主机名称
hostnamectl set-hostname web01hostnamectl set-hostname bak01
第三步:更改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-eth0
第四步:关闭NetworkManager
systemctl stop NetworkManagersystemctl disable NetworkManager
第五步:配置yum源(可根据自己情况来定)
备份本地源cp /etc/yum.repos.d /etc/yum.repos.d.bak下载阿里云源(centos7)wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repoyum clean allyum makecache
2、实现对web01机器备份
第一步:准备测试文件
在根目录创建一个测试使用的目录mkdir /datamkdir /data/111touch /data/1{1..80}.txt
第二步:把rsync作为系统服务运行
yum install rsync -y安装rsyncvi /etc/rsyncd.confuid = rootgid = rootport = 873#安全机制use chroot = no#最大连接数max connections = 200#进程对应的进程号文件pid file = /var/run/rsyncd.pid#锁文件locl file = /var/run/rsync.lock#日志文件log file = /var/log/rsyncd.log#超时时间timeout = 900ignore errors#dont compress= *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2read only = falselist = false#虚拟用户,专用于rsync服务auth users = rsync_bak#密码文件存放地址secrets file = /etc/rsync.passwd#允许哪些机器可以链接#hosts allow = 192.168.193.0/24#配置模块名[rsync_bak71]#路径path = /datacomment = ftp export area开启服务systemctl start rsyncd加入开机自启systemctl enable rsyncd
第三步:备机进行创建备份目录
mkdir /web_bak
第四步:测试rsync是否可以连接到rsync服务
rsync -a rsync_bak@172.22.1.71::rsync_bak71-a:获取rsync目录对应的同步目录标签
下载文件到本地
rsync -av rsync_bak@172.22.1.71::rsync_bak71 /data/
第五步:编写计划任务脚本 shell的脚本文件,自动实现代码备份
①编写计划任务
crontab -e 2 1 * * * /root/rsync_bak.sh
②编写rsync_bak.sh脚本
vi /root/rsync_bak.sh#!/bin/bashrsync -av rsync_bak@172.22.1.71::rsync_bak71 /data/ &>/dev/nullchmodx rsync_bak.sh
3、总结
web服务器:172.22.1.41 》》/data/备份服务器:172.22.1.71 web服务器:1.准备需要备份的文件或目录2.检查是否安装rsync服务。yum intsall rsync -y3.编写rsync配置文件,定义模块,定义需要备份的路径4.启动rsync服务备份服务器:1.测试rsync是否可以连接到web服务器的rsync服务2.创建备份目录3.编写计划任务脚本4.编写脚本文件,实现同步
注:以上备份方法是通过rsync设置的虚拟账户进行同步,也可以直接使用root管理员账户同步,root@IP::模块名,实际工作中,是需要设置虚拟用户名,本机存入用户名 密码,备份端存入密码,来进行备份的。
四、扩展RSYNC,使用虚拟账户1、给rsync服务添加密码web服务器:
1.编辑rsync配置文件,vi /etc/rsyncd.conf
vi /etc/rsyncd.conf#虚拟用户,专用于rsync服务auth users = rsync_bak>>用户名#密码文件存放地址secrets file = /etc/rsync.passwd>>密码文件存放的路径
2.在/etc/目录下创建/etc/rsync.passwd文件
vi /etc/rsync.passwd rsync_bak:123456 用户名:密码
3.把文件权限更为600权限
chmod 600 /etc/rsync.passwd
4.重启rsync服务
systemctl restart rsyncd
备份服务器:
把web端的密码存入到本地
vi /etc/rsync.passwd 123456
2、使用inotify工具实现代码实时同步(重点)
第一步:在web服务器上安装inotify-tools工具(监视器)
# tar xf inotify-tools-3.13.tar.gz -C /usr/local/# cd /usr/local/inotify-tools-3.14# ./configure# make # make install安装完后,就会产生下面两个命令/usr/local/bin/inotifywait等待/usr/local/bin/inotifywatch看守/usr/local/bin/inotifywait-m : 一直监控某个目录,create、delete、modify等行为-r : 递归,不仅仅监控目录还要监控目录下的文件-q : 获取操作信息,但是不输出-e : 哪些行为需要被监控,modify,delete,create,attrib,movemodify: 文件被修改delete: 文件被删除create: 文件被创建attrib: 文件属性被修改move: 文件被移动
第二步:编写脚本,inotify_rsync.sh
vi inotify_rsync.sh/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /data |while read eventsdorsync -av --delete /data/ rsync_bak@172.22.1.41::rsync_bak71echo "`date%F\ %T`出现事件$events" >> /var/log/rsync.log 2>&1done我对/data做了两件事① 在目录下创建了一个1.txt=>create② 在目录下删除了一个2.txt=>deletecreate,delete => while => 执行两次creatersync数据同步deletersync数据同步
注:/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move
第三步:添加可执行权限
chmodx inotify_rsync.sh
第四步:让inotify_rsync.sh脚本一直执行
nohup ./inotify_rsync.sh&& : 让inotify_rsync.sh在计算机后台运行,可以使用jobs命令查看,kill %编号结束,当我们退出终端时,这个执行会自动结束nohup : 让程序一直在后台运行,即使我们关闭了终端
扩展:如何查看rsync.log日志文件
# cat /var/log/rsync.log
注:inotify-tools工具需要自己去百度去下载