[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Re: linux 下面有没有什么可以多线程进行压缩的工具?



-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

jun yu 写道:
> 一方面是压缩一个有很多文件的目录时,双核的cpu是不是可以同时压2个文件。
>
> 另一个是压缩大文件时,比如几个G的文件是,是不是可以多线程进行。
>
> 我看bzip2 和tar都没有这些的相关选项。
>
> 这个我想对双核应该还是蛮实用的需求。
>
> 否则,压缩效率和单核比没有什么提高,顶多只是压缩的同时,再运行别的程
> 序的时候不感觉慢,但很多时候我们更希望的是效率的提升。
现在的压缩算法基本都是haffman算法的变形,这些算法都是流式算法,将一个
流压缩成另外一个流,因此先天上是单线程算法。如果要多线程压缩,就必须是
块式算法,将一个块压缩成一个块。然而就压缩算法的状况来说,恐怕比较困
难。还有一种方法是将两个流分开压缩,其中一个缓存在内存中,而后再写入。
然而这也面临一个问题,内存不够怎么办?
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.6 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org

iD8DBQFGb9pDOhzb4WnHl2oRAnUqAJ41vmzd5ojh0MsWGLTn8YD89ASu1QCgw4Di
1LK05OpKjOqw/kpqebWI/NI=
=Uf3m
-----END PGP SIGNATURE-----



Reply to: