gzipの圧縮レベルと速度の関係を調べてみた

2015-07-25 21:08

gzipってやつには圧縮レベルなんてオプションがありますが、あれと速度の関係はどんな感じなんでしょうね？気になったので調べてみました。

テストに使ったのはpython付属のgzipライブラリ。tmpfs上でテストしたので読み書きのオーバーヘッドはかなり小さいはず。データにはwikipediaのgzipの記事を100回繰り替えしたものを使ってみました。5.5MBくらい。コードは末尾に。

そんなことより結果から。

圧縮レベル	圧縮[秒]	伸長[秒]	圧縮後のサイズ	圧縮率
オリジナル	0	0	5,457,300	1
1	0.0565	0.0233	1,704,911	0.312
2	0.0610	0.0232	1,637,668	0.300
3	0.0684	0.0225	1,599,015	0.293
4	0.0821	0.0223	1,485,118	0.272
5	0.1087	0.0222	1,444,208	0.264
6	0.1392	0.0220	1,426,554	0.261
7	0.1515	0.0215	1,422,199	0.260
8	0.1758	0.0214	1,418,481	0.259
9	0.1772	0.0215	1,418,481	0.259

レベルが上がると圧縮の時間が伸びるけれど、伸長は変わらない。

グラフ化するとこんな感じ。

gzipの圧縮レベルと圧縮時間の関係

gzipの圧縮レベルと伸長時間の関係

gzipの圧縮レベルと圧縮率の関係

上から順に圧縮にかかる時間、伸長にかかる時間、圧縮率。

圧縮レベル6を越えたあたりから時間がかかるばっかで圧縮率が変わらない。不毛な感じ。レベルが上がるにつれて伸長にかかる時間が若干減ってるのは・・・何だろう？ IO関連か？

こうやってみると、大抵デフォルトに設定されてるレベル6ってのは実にバランス取れてるんだなぁと思ったり。

テスト用に使ったコードはこんな感じ。

import gzip
import timeit
import urllib.request

TRY = 100
DATA = urllib.request.urlopen('http://ja.wikipedia.org/wiki/Gzip').read() * 100


def comp(level):
    with gzip.open('test.gz', 'wb', compresslevel=level) as fp:
        fp.write(DATA)


def decomp():
    with gzip.open('test.gz', 'rb') as fp:
        fp.read()


if __name__ == '__main__':
    print('level\tcomp\tdecomp\tsize')
    print('original\t0\t0\t{0}'.format(len(DATA)))
    for i in range(1, 10):
        co = timeit.timeit(lambda : comp(i), number=TRY)/TRY
        size = len(open('test.gz', 'rb').read())
        de = timeit.timeit(decomp, number=TRY)/TRY
        print('{0}\t{1}\t{2}\t{3}'.format(i, co, de, size))

同じ圧縮レベルをまとめて試すのは本当はよくないんだろうけれど、まあ面倒くさいので。