备份文件时常常涉及到大文件传输的问题,遇到网络质量不佳或者其他问题常常会导致传输中断,而不得不进行重传。如果采用先将大文件拆分成多个小文件进行传输、待全部传输完成后合并所有文件的方式,往往可以改善传输体验。这一节将会介绍 Linux 命令行下的文件拆分与合并操作。 |
作为一个工程师,我们经常与命令行打交道,但除了工作用的命令,你是否尝试过让命令来替代你生活中方方面面?
为了让更多的爱好者可以用命令行作为自己的有效工具,Linux 中国特别邀请了三位作者,撰写了《命令行生存指南》,希望可以通过这个系列的文章,让你换一个视角,来看待命令行的存在。如果你想体验一下不一样的命令行,那就不妨来看看今天的《命令行生存指南》。
备份文件时常常涉及到大文件传输的问题,遇到网络质量不佳或者其他问题常常会导致传输中断,而不得不进行重传。如果采用先将大文件拆分成多个小文件进行传输、待全部传输完成后合并所有文件的方式,往往可以改善传输体验。
这一节将会介绍 Linux 命令行下的文件拆分与合并操作。
拆分,顾名思义,就是将一个大的文件分割成若干个较小的文件,这些小文件按次序拼接后可以还原大文件。通常情况下,根据文件大小进行拆分是较为常见的方式;但由于文本文件具有行数特征,所以除了按大小拆分之外,也可以按行数拆分。
合并,就是将若干个较小的文件拼接成一个较大文件。通常只需要按次序连接即可,相对比较简单。
通常情况下,为确保拆分前和合并后的两个文件相同,需要进行验证。
plit 是 Linux 环境提供的文件拆分实用程序,同时支持二进制文件和文本文件。通常情况下已经随 coreutils 内置于系统中,无需另行安装。
按大小拆分,二进制文件和文本文件按大小拆分时使用的选项不同:
- 二进制文件使用 -b 选项指定分割后的文件大小。
文本文件则使用 -C 选项指定分割后的文件大小。
二者用法类似,只需要:
split [选项] [大小] [待拆分文件] [拆分后的前缀(可选)]
以将 debian-live-10.5.0-amd64-lxqt.iso(约 2.4 GB)按 100MB 大小进行拆分为例:
> split -b 100M debian-live-10.5.0-amd64-lxqt.iso debian-live-
可以看到原文件被拆分成 25 个更小的文件,从 aa 到 ay:
debian-live-aa debian-live-ad debian-live-ag debian-live-aj debian-live-am debian-live-ap debian-live-as debian-live-av debian-live-ay debian-live-ab debian-live-ae debian-live-ah debian-live-ak debian-live-an debian-live-aq debian-live-at debian-live-aw debian-live-ac debian-live-af debian-live-ai debian-live-al debian-live-ao debian-live-ar debian-live-au debian-live-ax
cat 是 linux 环境提供的文件连接实用程序,能够连接文件并将其输出到标准输出。通常情况下已经随 coreutils 内置于系统中,无需另行安装。
值得注意的是,为了保证合并后的文件和原始文件一致,在有条件的情况下,可以用 diff 命令验证。
使用 cat 合并文件可以采用 cat [文件...] > [合并后的文件名] 的格式,此方法对二进制文件和文本文件均有效。
以之前的 debian-live-aa 到 debian-live-ay 为例,合并时可以使用此命令:
> cat debian-live-* > debian-live.iso
可以看到目录下会生成合并后的 debian-live.iso 文件。
debian-live-aa debian-live-ad debian-live-ag debian-live-aj debian-live-am debian-live-ap debian-live-as debian-live-av debian-live-ay debian-live-ab debian-live-ae debian-live-ah debian-live-ak debian-live-an debian-live-aq debian-live-at debian-live-aw debian-live.iso debian-live-ac debian-live-af debian-live-ai debian-live-al debian-live-ao debian-live-ar debian-live-au debian-live-ax
只需要按 diff [原文件] [现文件] 的格式执行即可。如果没有输出,则证明两个文件之间没有差异。
以对比 debian-live-10.5.0-amd64-lxqt.iso 和 debian-live.iso 为例:
> diff debian-live-10.5.0-amd64-lxqt.iso debian-live.iso > # 无输出,表示二者是相同的。
尝试以不同方式拆分系统中的日志文件。
来源:oschina
链接:https://my.oschina.net/u/4331421/blog/4777346