<div dir="ltr">Mattherw, Dmitry<div><br></div><div>I would suggest to use: </div><div>1) multi-threaded utilities</div><div>2) use xz for small snapshots (<1gb) and lrzip for bigger snapshots</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 24, 2014 at 2:25 PM, Matthew Mosesohn <span dir="ltr"><<a href="mailto:mmosesohn@mirantis.com" target="_blank">mmosesohn@mirantis.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I did this exercise over many iterations during Docker container<br>
packing and found that as long as the data is under 1gb, it's going to<br>
compress really well with xz. Over 1gb and lrzip looks more attractive<br>
(but only on high memory systems). In reality, we're looking at log<br>
footprints from OpenStack environments on the order of 500mb to 2gb.<br>
<br>
xz is very slow on single-core systems with 1.5gb of memory, but it's<br>
quite a bit faster if you run it on a more powerful system. I've found<br>
level 4 compression to be the best compromise that works well enough<br>
that it's still far better than gzip. If increasing compression time<br>
by 3-5x is too much for you guys, why not just go to bzip? You'll<br>
still improve compression but be able to cut back on time.<br>
<br>
Best Regards,<br>
Matthew Mosesohn<br>
<div class="HOEnZb"><div class="h5"><br>
On Mon, Nov 24, 2014 at 3:14 PM, Vladimir Kuklin <<a href="mailto:vkuklin@mirantis.com">vkuklin@mirantis.com</a>> wrote:<br>
> IMO, we should get a bunch of snapshots and decide which compression to use<br>
> according to the results of an experiment. XZ compression takes much longer,<br>
> so you will need to use parallel xz compression utility.<br>
><br>
> On Fri, Nov 21, 2014 at 9:09 PM, Tomasz Napierala <<a href="mailto:tnapierala@mirantis.com">tnapierala@mirantis.com</a>><br>
> wrote:<br>
>><br>
>><br>
>> > On 21 Nov 2014, at 16:55, Dmitry Pyzhov <<a href="mailto:dpyzhov@mirantis.com">dpyzhov@mirantis.com</a>> wrote:<br>
>> ><br>
>> > We have a request for change compression from gz to xz. This simple<br>
>> > change halfs our snapshots. Does anyone has any objections? Otherwise we<br>
>> > will include this change in 6.0 release.<br>
>><br>
>> I agree with the change, but it shouldn’t be high<br>
>><br>
>> Regards,<br>
>> --<br>
>> Tomasz 'Zen' Napierala<br>
>> Sr. OpenStack Engineer<br>
>> <a href="mailto:tnapierala@mirantis.com">tnapierala@mirantis.com</a><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>> _______________________________________________<br>
>> OpenStack-dev mailing list<br>
>> <a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
><br>
><br>
><br>
><br>
> --<br>
> Yours Faithfully,<br>
> Vladimir Kuklin,<br>
> Fuel Library Tech Lead,<br>
> Mirantis, Inc.<br>
> +7 (495) 640-49-04<br>
> +7 (926) 702-39-68<br>
> Skype kuklinvv<br>
> 45bk3, Vorontsovskaya Str.<br>
> Moscow, Russia,<br>
> <a href="http://www.mirantis.com" target="_blank">www.mirantis.com</a><br>
> <a href="http://www.mirantis.ru" target="_blank">www.mirantis.ru</a><br>
> <a href="mailto:vkuklin@mirantis.com">vkuklin@mirantis.com</a><br>
><br>
> _______________________________________________<br>
> OpenStack-dev mailing list<br>
> <a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
><br>
<br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Yours Faithfully,<br>Vladimir Kuklin,<br>Fuel Library Tech Lead,<br>Mirantis, Inc.<br>+7 (495) 640-49-04<br>+7 (926) 702-39-68<br>Skype kuklinvv<br>45bk3, Vorontsovskaya Str.<br>Moscow, Russia,<br><a href="http://www.mirantis.ru/" target="_blank">www.mirantis.com</a><br><a href="http://www.mirantis.ru/" target="_blank">www.mirantis.ru</a><br><a href="mailto:vkuklin@mirantis.com" target="_blank">vkuklin@mirantis.com</a></div></div>
</div>