tar jcvf 多线程解压 tar 多线程打包

转载

mob64ca140651e5 2024-04-15 22:37:29

文章标签 tar jcvf 多线程解压 bash linux 开发语言多线程 文章分类 计算机视觉人工智能

大家好，我是早九晚十二，目前是做运维相关的工作。写博客是为了积累，希望大家一起进步！

文章目录

关于tar
多线程安装
结果测试

单线程压缩
多线程压缩

关于tar

我们平常在服务器上操作时，经常会使用到tar命令，这是Unix和类Unix系统上的压缩打包工具，可以将多个文件合并为一个文件，打包后的文件后缀亦为“tar”。它可以在任何用户下使用。
同时，它有多个压缩率不同的版本，如tar.xz和tar.gz，前者的压缩率更高，但可能有兼容性问题。
如果大家使用过tar，一定都会有这个感受：当你在解压或者压缩一个超大文件时，速度会很慢！这是由于tar解压缩操作是用单线程去操作的，如果你在解压的时候，使用top命令，常常会看到某一个cpu飙升到100%。

tar jcvf 多线程解压 tar 多线程打包_多线程

今天我们就介绍一下，tar的多线程操作。

多线程安装

yum -y install pigz

pigz命令来自于英文词组”parallel implementation of gzip“的缩写，其功能是用于多线程的解压缩文件。与其他解压缩命令不同的是pigz命令支持多线程的并行处理方式，同比gzip能快60%以上，当然CPU的消耗也会更高。

#压缩文件
tar --use-compress-program=pigz -cvpf  app.tar.gz  app

#解压文件
tar --use-compress-program=pigz -xvpf     app.tar.gz

--use-compress-program=pigz即代表使用的pigz工具，那么究竟效果如果呢，我们一起期待一下

结果测试

我们可以编写一个脚本，计算使用pigz和不使用的时间。

#!/bin/bash

echo "starttime: `date +"%Y-%m-%d %H:%M:%S"`" > tar.txt
sleep 5 #在这里填写我们的压缩命令
echo "endtime: `date +"%Y-%m-%d %H:%M:%S"`" >> tar.txt

start=`awk '{print $2,$3}' tar.txt | sed -n '1p'` 
end=`awk '{print $2,$3}' tar.txt | sed -n '2p' `
echo $start
echo $end

starttime=$(date -d "$start" +%s) #转化为系统时间
endtime=$(date  -d "$end"  +%s)
runtime=$(($endtime-$starttime))  #计算程序运行时间
echo $runtime