kafka Snappy ZSTD 压缩性能损失 kali压缩

目录

• 1 压缩与解压缩实例操作

• 1.1 实验一：压缩与加压缩文件
• 1.2 实验二：打包文件夹并压缩、解压缩文件包并开包

• 2 dd命令详解

• 2.1 作用
• 2.2 参数说明:

• 3 gzip命令详解

• 3.1 作用
• 3.2 语法
• 3.3 参数

• 4 bzip2命令详解

• 4.1 作用
• 4.2 语法
• 4.3 参数

• 5 tar命令详解

• 5.1 作用
• 5.2 语法
• 5.3 参数：

• 6 总结
• 7 参考文献

1 压缩与解压缩实例操作

1.1 实验一：压缩与加压缩文件

1. 打开终端，切换至以超级管理员身份运行，回到根目录下，先查询根目录下有哪些目录与文件，因为tmp是存放临时文件的，方便练习，进入该目录。
2. 使用命令 dd if=/dev/zero of=/tmp/bigfile bs=1M count=100 ，在tmp目录中新增一个100M大小的文件，文件名为bigfile，生成后查看，确定已生成。
3. 练习查询明确目标的详细信息，输入命令 ls -lh bigfile ，可以看到bigfile文件大小为100M。
4. 使用命令 gzip bigfile 对bigfile文件进行压缩，压缩后查询目录下文件信息，可以看到生成文件bigfile.gz，同时原文件已删除。
5. 使用命令 gunzip bigfile.gz 对bigfile文件进行解压缩，压缩后查询目录下文件信息，可以看到生成文件bigfile，同时压缩文件已删除。
6. 使用命令 bzip2 bigfile 对文件进行压缩，并使用 ls -lh bigfile.bz2 ，可以看到bigfile.bz2文件大小为113B。
7. 使用命令 bunzip2 bigfile.bz2 对文件进行解压缩，并使用 ls -lh bigfile ，可以看到bigfile文件大小为100M。

1.2 实验二：打包文件夹并压缩、解压缩文件包并开包

1. 逻辑顺序：对于文件夹进行压缩时，处理逻辑顺序是将其打包为一个整体文件后，再使用gzip和bzip2等命令进行压缩，解压缩则是先解压成包，再开包成文件夹。该命令有直接完成上述两步操作的参数可以选择。
2. 与实验一同理，在tmp文件夹下创建bigfile2，新建一个目录为allfile，并将两个大文件剪切到allfile中，可以看到在tmp目录下已经allfile文件并成功将两个大文件剪切进其中。
   
3. 使用命令tar -zcf /tmp/allfile.tar.gz /tmp/allfile ，将allfile目录打包并以gzip的方式压缩成allfile.tar.gz。其中参数c表示由目录生成新包。
4. 在tmp目录下，使用命令 rm -fr allfile ，将原allfile文件删除。
5. 使用命令tar -zxf /tmp/allfile.tar.gz -C /tmp，将压缩文件allfile.tar.gz并以gunzip的方式解压缩并开包。尝试比较不同目标目录的解压效果

2 dd命令详解

2.1 作用

• Linux dd 命令用于读取、转换并输出数据。
• dd 可从标准输入或文件中读取数据，根据指定的格式来转换数据，再输出到文件、设备或标准输出。

2.2 参数说明:

• if=文件名：输入文件名，默认为标准输入。即指定源文件。
• of=文件名：输出文件名，默认为标准输出。即指定目的文件。
• ibs=bytes：一次读入bytes个字节，即指定一个块大小为bytes个字节。
• obs=bytes：一次输出bytes个字节，即指定一个块大小为bytes个字节。
• bs=bytes：同时设置读入/输出的块大小为bytes个字节。
• cbs=bytes：一次转换bytes个字节，即指定转换缓冲区大小。
• skip=blocks：从输入文件开头跳过blocks个块后再开始复制。
• seek=blocks：从输出文件开头跳过blocks个块后再开始复制。
• count=blocks：仅拷贝blocks个块，块大小等于ibs指定的字节数。
• conv=<关键字>，关键字可以有以下11种：

• conversion：用指定的参数转换文件。
• ascii：转换ebcdic为ascii
• ebcdic：转换ascii为ebcdic
• ibm：转换ascii为alternate ebcdic
• block：把每一行转换为长度为cbs，不足部分用空格填充
• unblock：使每一行的长度都为cbs，不足部分用空格填充
• lcase：把大写字符转换为小写字符
• ucase：把小写字符转换为大写字符
• swap：交换输入的每对字节
• noerror：出错时不停止
• notrunc：不截短输出文件

• sync：将每个输入块填充到ibs个字节，不足部分用空（NUL）字符补齐。
• –help：显示帮助信息
• –version：显示版本信息

3 gzip命令详解

3.1 作用

• Linux gzip命令用于压缩文件。
• gzip是个使用广泛的压缩程序，文件经它压缩过后，其名称后面会多出".gz"的扩展名。

3.2 语法

• gzip [-acdfhlLnNqrtvV] [-S <压缩字尾字符串>] [-<压缩效率>] [–best/fast] [文件…]
• gzip [-acdfhlLnNqrtvV] [-S <压缩字尾字符串>] [-<压缩效率>] [–best/fast] [目录]

3.3 参数

• -a或–ascii：使用ASCII文字模式。
• -c或–stdout或–to-stdout：把压缩后的文件输出到标准输出设备，不去更动原始文件。
• -d或–decompress或----uncompress：解开压缩文件。
• -f或–force：强行压缩文件。不理会文件名称或硬连接是否存在以及该文件是否为符号连接。
• -h或–help：在线帮助。
• -l或–list：列出压缩文件的相关信息。
• -L或–license：显示版本与版权信息。
• -n或–no-name：压缩文件时，不保存原来的文件名称及时间戳记。
• -N或–name：压缩文件时，保存原来的文件名称及时间戳记。
• -q或–quiet：不显示警告信息。
• -r或–recursive：递归处理，将指定目录下的所有文件及子目录一并处理。
• -S<压缩字尾字符串>或----suffix<压缩字尾字符串>：更改压缩字尾字符串。
• -t或–test：测试压缩文件是否正确无误。
• -v或–verbose：显示指令执行过程。
• -V或–version：显示版本信息。
• -<压缩效率> ：压缩效率是一个介于1－9的数值，预设值为"6"，指定愈大的数值，压缩效率就会愈高。
• –best：此参数的效果和指定"-9"参数相同。
• –fast：此参数的效果和指定"-1"参数相同。

4 bzip2命令详解

4.1 作用

• inux bzip2命令是.bz2文件的压缩程序。
• bzip2采用新的压缩演算法，压缩效果比传统的LZ77/LZ78压缩演算法来得好。若没有加上任何参数，bzip2压缩完文件后会产生.bz2的压缩文件，并删除原始的文件。

4.2 语法

bzip2 [-cdfhkLstvVz][–repetitive-best][–repetitive-fast][- 压缩等级][要压缩的文件]

4.3 参数

• -c或–stdout：将压缩与解压缩的结果送到标准输出。
• -d或–decompress：执行解压缩。
• -f或–force：bzip2在压缩或解压缩时，若输出文件与现有文件同名，预设不会覆盖现有文件。若要覆盖，请使用此参数。
• -h或–help：显示帮助。
• -k或–keep：bzip2在压缩或解压缩后，会删除原始的文件。若要保留原始文件，请使用此参数。
• -s或–small：降低程序执行时内存的使用量。
• -t或–test：测试.bz2压缩文件的完整性。
• -v或–verbose：压缩或解压缩文件时，显示详细的信息。
• -z或–compress：强制执行压缩。
• -L,–license,
• -V或–version：显示版本信息。
• –repetitive-best：若文件中有重复出现的资料时，可利用此参数提高压缩效果。
• –repetitive-fast：若文件中有重复出现的资料时，可利用此参数加快执行速度。
• -压缩等级：压缩时的区块大小。

5 tar命令详解

5.1 作用

• Linux tar（英文全拼：tape archive ）命令用于备份文件。
• tar 是用来建立，还原备份文件的工具程序，它可以加入，解开备份文件内的文件。

5.2 语法

• tar [-ABcdgGhiklmMoOpPrRsStuUvwWxzZ][-b <区块数目>][-C <目的目录>][-f <备份文件>][-F <Script文件>][-K <文件>][-L <媒体容量>][-N <日期时间>][-T <范本文件>][-V <卷册名称>][-X <范本文件>][-<设备编号><存储密度>][–after-date=<日期时间>][–atime-preserve][–backuup=<备份方式>][–checkpoint][–concatenate][–confirmation][–delete][–exclude=<范本样式>][–force-local][–group=<群组名称>][–help][–ignore-failed-read][–new-volume-script=<Script文件>][–newer-mtime][–no-recursion][–null][–numeric-owner][–owner=<用户名称>][–posix][–erve][–preserve-order][–preserve-permissions][–record-size=<区块数目>][–recursive-unlink][–remove-files][–rsh-command=<执行指令>][–same-owner][–suffix=<备份字尾字符串>][–totals][–use-compress-program=<执行指令>][–version][–volno-file=<编号文件>][文件或目录…]

5.3 参数：

• -A或–catenate 新增文件到已存在的备份文件。
• -b<区块数目>或–blocking-factor=<区块数目> 设置每笔记录的区块数目，每个区块大小为12Bytes。
• -B或–read-full-records 读取数据时重设区块大小。
• -c或–create 建立新的备份文件。
• -C<目的目录>或–directory=<目的目录> 切换到指定的目录。
• -d或–diff或–compare 对比备份文件内和文件系统上的文件的差异。
• -f<备份文件>或–file=<备份文件> 指定备份文件。
• -F<Script文件>或–info-script=<Script文件> 每次更换磁带时，就执行指定的Script文件。
• -g或–listed-incremental 处理GNU格式的大量备份。
• -G或–incremental 处理旧的GNU格式的大量备份。
• -h或–dereference 不建立符号连接，直接复制该连接所指向的原始文件。
• -i或–ignore-zeros 忽略备份文件中的0 Byte区块，也就是EOF。
• -k或–keep-old-files 解开备份文件时，不覆盖已有的文件。
• -K<文件>或–starting-file=<文件> 从指定的文件开始还原。
• -l或–one-file-system 复制的文件或目录存放的文件系统，必须与tar指令执行时所处的文件系统相同，否则不予复制。
• -L<媒体容量>或-tape-length=<媒体容量> 设置存放每体的容量，单位以1024 Bytes计算。
• -m或–modification-time 还原文件时，不变更文件的更改时间。
• -M或–multi-volume 在建立，还原备份文件或列出其中的内容时，采用多卷册模式。
• -N<日期格式>或–newer=<日期时间> 只将较指定日期更新的文件保存到备份文件里。
• -o或–old-archive或–portability 将资料写入备份文件时使用V7格式。
• -O或–stdout 把从备份文件里还原的文件输出到标准输出设备。
• -p或–same-permissions 用原来的文件权限还原文件。
• -P或–absolute-names 文件名使用绝对名称，不移除文件名称前的"/"号。
• -r或–append 新增文件到已存在的备份文件的结尾部分。
• -R或–block-number 列出每个信息在备份文件中的区块编号。
• -s或–same-order 还原文件的顺序和备份文件内的存放顺序相同。
• -S或–sparse 倘若一个文件内含大量的连续0字节，则将此文件存成稀疏文件。
• -t或–list 列出备份文件的内容。
• -T<范本文件>或–files-from=<范本文件> 指定范本文件，其内含有一个或多个范本样式，让tar解开或建立符合设置条件的文件。
• -u或–update 仅置换较备份文件内的文件更新的文件。
• -U或–unlink-first 解开压缩文件还原文件之前，先解除文件的连接。
• -v或–verbose 显示指令执行过程。
• -V<卷册名称>或–label=<卷册名称> 建立使用指定的卷册名称的备份文件。
• -w或–interactive 遭遇问题时先询问用户。
• -W或–verify 写入备份文件后，确认文件正确无误。
• -x或–extract或–get 从备份文件中还原文件。
• -X<范本文件>或–exclude-from=<范本文件> 指定范本文件，其内含有一个或多个范本样式，让ar排除符合设置条件的文件。
• -z或–gzip或–ungzip 通过gzip指令处理备份文件。
• -Z或–compress或–uncompress 通过compress指令处理备份文件。
• -<设备编号><存储密度> 设置备份用的外围设备编号及存放数据的密度。
• –after-date=<日期时间> 此参数的效果和指定"-N"参数相同。
• –atime-preserve 不变更文件的存取时间。
• –backup=<备份方式>或–backup 移除文件前先进行备份。
• –checkpoint 读取备份文件时列出目录名称。
• –concatenate 此参数的效果和指定"-A"参数相同。
• –confirmation 此参数的效果和指定"-w"参数相同。
• –delete 从备份文件中删除指定的文件。
• –exclude=<范本样式> 排除符合范本样式的文件。
• –group=<群组名称> 把加入设备文件中的文件的所属群组设成指定的群组。
• –help 在线帮助。
• –ignore-failed-read 忽略数据读取错误，不中断程序的执行。
• –new-volume-script=<Script文件> 此参数的效果和指定"-F"参数相同。
• –newer-mtime 只保存更改过的文件。
• –no-recursion 不做递归处理，也就是指定目录下的所有文件及子目录不予处理。
• –null 从null设备读取文件名称。
• –numeric-owner 以用户识别码及群组识别码取代用户名称和群组名称。
• –owner=<用户名称> 把加入备份文件中的文件的拥有者设成指定的用户。
• –posix 将数据写入备份文件时使用POSIX格式。
• –preserve 此参数的效果和指定"-ps"参数相同。
• –preserve-order 此参数的效果和指定"-A"参数相同。
• –preserve-permissions 此参数的效果和指定"-p"参数相同。
• –record-size=<区块数目> 此参数的效果和指定"-b"参数相同。
• –recursive-unlink 解开压缩文件还原目录之前，先解除整个目录下所有文件的连接。
• –remove-files 文件加入备份文件后，就将其删除。
• –rsh-command=<执行指令> 设置要在远端主机上执行的指令，以取代rsh指令。
• –same-owner 尝试以相同的文件拥有者还原文件。
• –suffix=<备份字尾字符串> 移除文件前先行备份。
• –totals 备份文件建立后，列出文件大小。
• –use-compress-program=<执行指令> 通过指定的指令处理备份文件。
• –version 显示版本信息。
• –volno-file=<编号文件> 使用指定文件内的编号取代预设的卷册编号。

6 总结

1. 掌握对文件和文件夹的压缩与解压缩方式。
2. 了解各命令的参数含义。

7 参考文献

1. 《Linux dd 命令》
2. 《Linux gzip命令》
3. 《Linux bzip2命令》
4. 《Linux tar 命令》