7.1 KiB
7.1 KiB
Rsync断点续传
近期有一块10T的本地数据，想要上传到云上的CFS，个人电脑经常遇到关机/断网等问题（公寓凌晨3点准时重启网络交换机(╥﹏╥) 这10T数据传了好久）
rsync命令 是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。 rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。
rsync原理详解
rsync 支持断点续传，即在文件传输过程中出现中断或错误时，可以从中断的地方继续传输，而不需要重新传输整个文件。这个功能的实现原理是基于 rsync 的增量复制算法和文件校验和。
具体来说，rsync 的断点续传功能的实现流程如下：
- 首先，
rsync会对源文件和目标文件进行比较，找出它们之间的差异。这个过程称为“生成文件列表”。 - 然后，
rsync会将差异部分分成多个块，并计算每个块的校验和。这个过程称为“生成块列表”。 - 接下来，
rsync会将源文件中的块按照校验和的顺序发送给目标主机，并在目标主机上进行校验。如果目标主机已经有相同的块，则可以直接跳过，从而实现增量复制。 - 如果在传输过程中出现中断或错误，
rsync会记录已经传输的块的校验和，以及目标主机已经接收到的块的校验和。这些信息会保存在一个临时文件中，以便后续恢复传输。 - 当需要恢复传输时，
rsync会读取临时文件中保存的信息，并根据这些信息重新开始传输。具体来说，rsync会从源文件中读取下一个未传输的块，并计算它的校验和。然后，rsync会将这个块发送给目标主机，并在目标主机上进行校验。如果校验通过，则表示这个块已经成功传输，rsync会继续传输下一个块。如果校验失败，则表示这个块需要重新传输，rsync会重新发送这个块。
需要注意的是，rsync 的断点续传功能需要在传输过程中保存临时文件，因此需要足够的磁盘空间。另外，如果源文件在传输过程中发生了变化，rsync 可能会重新传输整个文件，而不是从中断的地方继续传输。因此，在使用 rsync 进行断点续传时，需要注意源文件的变化情况。
rsync 命令详解
语法
rsync [OPTION]... SRC DEST #适用于本地传输文件，如从usb 传输到 硬盘
rsync [OPTION]... SRC [USER@]host:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
rsync [OPTION]... [USER@]HOST::SRC DEST
rsync [OPTION]... SRC [USER@]HOST::DEST
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
选项
-v, --verbose 详细模式输出。
-q, --quiet 精简输出模式。
-c, --checksum 打开校验开关，强制对文件传输进行校验。
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD。
-r, --recursive 对子目录以递归模式处理。
-R, --relative 使用相对路径信息。
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀。
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件，不覆盖更新的文件。
-l, --links 保留软链结。
-L, --copy-links 想对待常规文件一样处理软链结。
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结。
--safe-links 忽略指向SRC路径目录树以外的链结。
-H, --hard-links 保留硬链结。
-p, --perms 保持文件权限。
-o, --owner 保持文件属主信息。
-g, --group 保持文件属组信息。
-D, --devices 保持设备文件信息。
-t, --times 保持文件时间信息。
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间。
-n, --dry-run现实哪些文件将被传输。
-w, --whole-file 拷贝文件，不进行增量检测。
-x, --one-file-system 不要跨越文件系统边界。
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节。
-e, --rsh=command 指定使用rsh、ssh方式进行数据同步。
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息。
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件。
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件。
--delete 删除那些DST中SRC没有的文件。
--delete-excluded 同样删除接收端那些被该选项指定排除的文件。
--delete-after 传输结束以后再删除。
--ignore-errors 及时出现IO错误也进行删除。
--max-delete=NUM 最多删除NUM个文件。
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输。
--force 强制删除目录，即使不为空。
--numeric-ids 不将数字的用户和组id匹配为用户名和组名。
--timeout=time ip超时时间，单位为秒。
-I, --ignore-times 不跳过那些有同样的时间和长度的文件。
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间。
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0。
-T --temp-dir=DIR 在DIR中创建临时文件。
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份。
-P 等同于 --partial。
--progress 显示备份过程。
-z, --compress 对备份的文件在传输时进行压缩处理。
--exclude=PATTERN 指定排除不需要传输的文件模式。
--include=PATTERN 指定不排除而需要传输的文件模式。
--exclude-from=FILE 排除FILE中指定模式的文件。
--include-from=FILE 不排除FILE指定模式匹配的文件。
--version 打印版本信息。
--address 绑定到特定的地址。
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件。
--port=PORT 指定其他的rsync服务端口。
--blocking-io 对远程shell使用阻塞IO。
-stats 给出某些文件的传输状态。
--progress 在传输时现实传输过程。
--log-format=formAT 指定日志文件格式。
--password-file=FILE 从FILE中得到密码。
--bwlimit=KBPS 限制I/O带宽，KBytes per second。
-h, --help 显示帮助信息。
总的来说，rsync断点续传命令如下
rsync -avuP QQ.exe root@IP:/root/
（已经在本机实测过了，本来还想写一下验证过程，有亿点累了，简单描述下就是我下载了一个qq文件，然后通过md5sum 计算qq.exe这个文件的md5文件，然后通过断点续传到另外一台服务器上，传输到50%的时候我ctrl +c 取消传输，然后再次重新执行 发现进度仍是50%。然后等待传输完成，两个机器上都执行md5sum 进行md5校验，发现两个文件的md5值是一致的）