备份概述

  1. 什么是备份?
    备份就是把文件在复制一份存储起来。(给文件增加一个副本) <—备份
  2. 为什么要做备份?
    数据非常的重要
    保证数据不丢失 ( 尽可能 )
    快速的恢复数据
  3. 能不能不做备份?
    可以,不重要的数据可以不考虑。
  4. 备份应该怎么做?
    完全备份,完整的复制一份。效率低下,占用空间。
    增量备份,只备份变化的那部分。效率较高,节省空间。

image.png

  1. 备份使用什么工具?
     本地备份:cp (完整备份,每次都全部拷贝一下)
     远程备份:scp、rsync
  2. 备份工具rsync基本介绍?

rsync是一款开源的快速的,多功能的,可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于 unix/linux/windows等多种操作系统平台

rsync的特性如下:

支持拷贝特殊文件如链接文件,设备等 可以有排除指定文件或目录的权限、时间、软硬链接、属主、属组等所有属性均不改变-P 可实现增量同步,即只同步发生变化的数据,因此数据传输效率很高,tar –N 可以使用rcp,rsh,ssh等方式来配合传输文件(rsync本身不对数据加密) 可以通过socket(进程方式)传输文件和数据(服务端和客户端)* 支持匿名的或认证(无需系统用户)的进程模式传输, 可实现方便安全的进行数据备份及镜像

  1. rsync备份工具应用几种场景?
    前置条件:
    推Push:将本地的数据推送到 备份服务器。
    拉Pull:将备份服务器的数据拉取到本地。
  2. rsync三大传输模式?
    一,本地传输
    二,远程传输 ssh协议 :
    三,守护进程 rsync协议 ::

一,本地传输方式:

单个主机目录间的数据拷贝,类似于cp
[root@backup ~]# yum install rsync -y
[root@backup ~]# rsync -avz /root/file.txt /tmp/

rsync: 命令  -avz: 选项   /root/file.txt 备份的源   /tmp 备份到哪


二,远程传输方式。

1.借助ssh协议进行传输,(意味着他需要知道对端的用户名和密码)
    Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
    Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]

2.将本地/root/file.txt文件推送到 172.16.1.31 服务器的 /opt 目录,使用的是 31 服务器的 root用户。
    [root@backup ~]# rsync -avz /root/file.txt root@172.16.1.31:/opt
    拉取远程服务器 172.16.1.31 /opt目录下的file.txt 文件 至 本地 /mnt 目录
    [root@backup ~]# rsync -avz root@172.16.1.31:/opt/file.txt /mnt/

3.推送目录区别
    [root@backup ~]# rsync -avz /etc/ root@172.16.1.31:/opt/
    [root@backup ~]# rsync -avz /etc root@172.16.1.31:/opt/

  • 注意:
       添加 /  表示推送目录下的所有内容
       不添加 / 表示推送该目录本身,以及目录下的内容
  • 远程传输特点
    依托对端主机的用户身份权限:
       1.使用系统root用户 ( 不安全 )
       2.使用系统的普通用户 ( 会出现权限不够的情况 )

——> 解决办法:rsync配置文件定义虚假用户


三,守护进程模式:

不使用系统用户,使用的是一个虚拟的用户(不存在的用户) 来实现推送。
服务:运行在我们的后台,持续提供服务支持

rsync用tcp方式传输数据。 在常驻模式(daemon mode)下,rsync默认监听TCP端口873 (TCP/IP + 端口)

Access via rsync daemon:

Pull: rsync [OPTION…] [USER@]HOST::SRC… [DEST] Push: rsync [OPTION…] SRC… [USER@]HOST::DEST

  • 规划 | IP | 服务 | | —- | —- | | 172.16.1.31 | 作为我们的 Rsync 客户端 | | 172.16.1.41 | 作为我们的 Rsync 服务端 |

1.安装

  1. [root@backup ~]# yum install rsync -y

2.配置 /etc/rsyncd.conf

  1. uid = rsync
  2. gid = rsync
  3. port = 873
  4. fake super = yes
  5. use chroot = no
  6. max connections = 200
  7. timeout = 600
  8. ignore errors
  9. read only = false
  10. list = false
  11. auth users = rsync_backup
  12. secrets file = /etc/rsync.passwd
  13. log file = /var/log/rsyncd.log
  14. #####################################
  15. [backup]
  16. comment = welcome to oldboyedu backup!
  17. path = /backup

配置详解
cat /etc/rsyncd.conf

uid = rsync —- 表示管理传输数据用户信息 gid = rsync —- 表示管理传输数据用户组信息 port = 873 —- 指定服务端口信息

fake super = yes —- 伪装成超级管理员

守护进程备份数据需要修改数据权限, 具有修改权限能力 use chroot = no —- 实现安全配置 实现假根安全配置 max connections = 200 —- 设置服务最大连接数 (并发连接数) timeout = 300 —- 设置有一个超时时间 pid file = /var/run/rsyncd.pid —- 创建出pid进程号码文件

  1. 可以根据文件号码信息快速停止进程
  2. 根据文件存在与否判断服务运行状态
    lock file = /var/run/rsync.lock —- 根据连接数限制, 给服务网络连接上锁
    log file = /var/log/rsyncd.log —- 备份服务日志文件
    ignore errors = yes —- 忽略错误信息 不是特别严重网络错误, 会先忽略, 保证数据传输
    read only = false —- 确认备份目录是否为只读状态
    list = false —- ???
    hosts allow = 172.16.1.0/24 —- 设置白名单功能
    hosts deny = 0.0.0.0/32 —- 设置黑名单功能
    auth users = rsync_backup —- 定义虚拟认证用户
    secrets file = /etc/rsync.password —- 定义认证用户密码文件

[backup] —- 一个模块 对应一个备份目录 comment = “backup dir by oldboy” —- 模块功能描述 path = /backup —- 定义一个备份数据目录 扩展配置参数: reverse lookup = no —- 是否关闭服务反向解析过程

3.根据配置文件解读,我们发现还需要做一些初始化的操作:

  1.   3.1 创建Rsync进程运行的用户 rsync 服务器上操作)
  2.     [root@backup ~]# useradd -r -M -s /sbin/nologin rsync(创建进程用户)
  3.     [root@backup ~]# id rsync
  4.     uid=1008(rsync) gid=1008(rsync) 组=1008(rsync)
  5.    
  6.   3.2 义虚拟用户名rsync_bakcup的密码.
  7.     [root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
  8.     [root@backup ~]# chmod 600 /etc/rsync.passwd #密码固定权限600
  9.   3.3 创建存储的数据的目录 /backup
  10.     [root@backup ~]# mkdir /backup
  11.     [root@backup ~]# chown -R rsync.rsync /backup/ #让rsync进程拥有/backup操作权限

4.启动

[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd

5.测试
Push:
  1.使用172.16.1.31 推送 client.txt 文件至 备份服务器 41 的 backup模块———->>> ::
  [root@nfs ~]# rsync -avz client.txt rsync_backup@172.16.1.41::backup

Pull:
  2.拉取 172.16.1.41 备份服务器 backup模块下的数据
  [root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup /opt

rsync选项详解

-a #归档模式传输, 等于-tropgDl -v #详细模式输出, 打印速率, 文件数量等 -z #传输时进行压缩以提高效率 -r #递归传输目录及子目录,即目录下得所有目录都同样传输。 -t #保持文件时间信息 -o #保持文件属主信息 -p #保持文件权限 -g #保持文件属组信息 -l #保留软连接 -P #显示同步的过程及传输时的进度等信息 -D #保持设备文件信息 -L #保留软连接指向的目标文件 -e #使用的信道协议,指定替代rsh的shell程序 —exclude=PATTERN #指定排除不需要传输的文件模式 —exclude-from=file #文件名所在的目录文件 —bwlimit=100 #限速传输 —partial #断点续传 —delete #让目标目录和源目录数据保持一致

实战1:Rsync的Limit限速 1=1MB

 [root@nfs ~]# rsync -avz --bwlimit 1 -P /opt/1.txt rsync_backup@172.16.1.41::backup

实战2 Rsync实现数据无差异同步

 推: 客户端 推送 到 服务端,服务端必须与客户端保持一致。
 [root@nfs ~]# rsync -avz --delete -P /opt/ rsync_backup@172.16.1.41::backup
 拉: 客户端 拉取 服务端数据,服务端有什么,客户端就有什么。 客户端必须与服务端完全一致。
 [root@nfs opt]# rsync -avz --delete rsync_backup@172.16.1.41::backup /opt/

实战3: 无需输入密码实现rsync推送和拉取

 方式一: —password-file
 [root@nfs opt]# echo "123456" > /etc/rsync.pass
 [root@nfs opt]# chmod 600 /etc/rsync.pass
 [root@nfs opt]# rsync -avz --delete rsync_backup@172.16.1.41::backup /opt/ --password-file=/etc/rsync.pass
 方式二: 设定环境变量方式(export—->声明环境变量)
 [root@nfs opt]# export RSYNC_PASSWORD=123456
  #只当前窗口有用,换一个窗口就没用了(放到脚本中使用,非常的方便)
 [root@nfs opt]# rsync -avz --delete rsync_backup@172.16.1.41::backup /opt/


报错

receiving incremental file list rsync: failed to read xattr user.rsync.%stat for “.” (in backup): Permission denied (13) rsync: opendir “.” (in backup) failed: Permission denied (13)

sent 27 bytes received 230 bytes 102.80 bytesc

total size is 0 speedup is 0.00

rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1651) [generator=3.1.2]

rsync下failed:permission denied 
SELinux安全配置造成

报错:

[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup Password:
@ERROR: auth failed on module backup rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]

异常问题解决:
   1. 密码真的输入错误,用户名真的错误
   2. secrets file = /etc/rsync.password指定的密码文件和实际密码文件名称不一致
   3. /etc/rsync.password文件权限不是600
   4. rsync_backup:123456密码配置文件后面注意不要有空格
   5. rsync客户端密码文件中只输入密码信息即可,不要输入虚拟认证用户名称

getenforce(查看selinux状态)
#setenforce 0(修改为允许模式)
最后记得修改配置文件/etc/sysconfig/selinux,要不然下次重启会回退。

Rsync一件部署脚本

#!bin/bash
rpm -q rsync
if [ $? eq 1 ];then
   yum install  rsync -y &>/dev/null
else
   echo "rsync has be installed..."
fi

cat >/etc/rsyncd.conf <<EOF
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
EOF
sleep 3
echo "configure rsyncd.conf..."

useradd  rsync -r -M -s /sbin/nologin &>/dev/null
sleep 2
echo "useradd rsync user..."

mkdir /backup
chown -R rsync.rsync /backup/  &>/dev/null
sleep 2
echo "chown -R rsync.rsync /backup/..."

echo 'rsync_backup:123456'  >/etc/rsync.passwd
chmod 600 /etc/rsync.passwd
sleep 2 
echo "touch rsync.pass(600)..."