多核心压缩/解压缩文件
多核心压缩/解压缩文件
需要给服务器文件进行备份,动辄需要压缩/解压缩几个T的文件,如果直接用tar或者zip命令在linux命令行操作文件,会发现速度特别的慢。
原因是tar或者zip等命令原生并不支持多线程操作(tar只是个打包命令,zip在命令行不支持多线程)
研究了蛮多网上说的支持多线程压缩或者解压缩的算法,试来试去还是lbzip2效率比较高,支持度比较好。
使用前需要先安装tar和lbzip2
apt install tar lbzip2 |
压缩 解压缩
tar -I lbzip2 -cvf file.bz2 ./file_path |
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Jindom's Blog!