<div dir="ltr">I'm getting around 5-6.5 GB a day of bytes written on Swift. I calculated this by calling "swift stat && sleep 60s && swift stat". I did some calculation based on those values to get to the end result. <div>
<br></div><div>Currently I'm resetting swift with a node size of 64, since 90% of the files are less than 70KB in size. I think that might help.</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jan 14, 2013 at 4:34 PM, Chuck Thier <span dir="ltr"><<a href="mailto:cthier@gmail.com" target="_blank">cthier@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hey Leander,<br>
<br>
Can you post what performance you are getting?  If they are all<br>
sharing the same GigE network, you might also check that the links<br>
aren't being saturated, as it is pretty easy to saturate pushing 200k<br>
files around.<br>
<br>
--<br>
Chuck<br>
<br>
On Mon, Jan 14, 2013 at 10:15 AM, Leander Bessa Beernaert<br>
<div class="HOEnZb"><div class="h5"><<a href="mailto:leanderbb@gmail.com">leanderbb@gmail.com</a>> wrote:<br>
> Well, I've fixed the node size and disabled the all the replicator and<br>
> auditor processes. However, it is even slower now than it was before :/. Any<br>
> suggestions?<br>
><br>
><br>
> On Mon, Jan 14, 2013 at 3:23 PM, Leander Bessa Beernaert<br>
> <<a href="mailto:leanderbb@gmail.com">leanderbb@gmail.com</a>> wrote:<br>
>><br>
>> Ok, thanks for all the tips/help.<br>
>><br>
>> Regards,<br>
>><br>
>> Leander<br>
>><br>
>><br>
>> On Mon, Jan 14, 2013 at 3:21 PM, Robert van Leeuwen<br>
>> <<a href="mailto:Robert.vanLeeuwen@spilgames.com">Robert.vanLeeuwen@spilgames.com</a>> wrote:<br>
>>><br>
>>> > Allow me to rephrase.<br>
>>> > I've read somewhere (can't remember where) that it would be faster to<br>
>>> > upload files if they would be uploaded to separate containeres.<br>
>>> > This was suggested for a standard swift installation with a certain<br>
>>> > replication factor.<br>
>>> > Since I'll be uploading the files with the replicators turned off, does<br>
>>> > it really matter if I insert a group of them in separate containeres?<br>
>>><br>
>>> My guess is this concerns the SQLite database load distribution.<br>
>>> So yes, it still matters.<br>
>>><br>
>>> Just to be clear: turning replicators off does not matter at ALL when<br>
>>> putting files in a healthy cluster.<br>
>>> Files will be "replicated" / put on all required nodes at the moment the<br>
>>> put request is done.<br>
>>> The put request will only give an OK when there is quorum writing the<br>
>>> file (the file is stored on more than half of the required object nodes)<br>
>>> The replicator daemons do not have anything to do with this.<br>
>>><br>
>>> Cheers,<br>
>>> Robert<br>
>>><br>
>>> _______________________________________________<br>
>>> Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>>> Post to     : <a href="mailto:openstack@lists.launchpad.net">openstack@lists.launchpad.net</a><br>
>>> Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>>> More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>
>>><br>
>><br>
><br>
><br>
> _______________________________________________<br>
> Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
> Post to     : <a href="mailto:openstack@lists.launchpad.net">openstack@lists.launchpad.net</a><br>
> Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
> More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>
><br>
</div></div></blockquote></div><br></div>