<div dir="ltr">I'm currently using the swift client to upload files, would you recommend another approach?</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jan 14, 2013 at 4:43 PM, Chuck Thier <span dir="ltr"><<a href="mailto:cthier@gmail.com" target="_blank">cthier@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Using swift stat probably isn't the best way to determine cluster<br>
performance, as those stats are updated async, and could be delayed<br>
quite a bit as you are heavily loading the cluster.  It also might be<br>
worthwhile to use a tool like swift-bench to test your cluster to make<br>
sure it is properly setup before loading data into the system.<br>
<br>
--<br>
Chuck<br>
<br>
On Mon, Jan 14, 2013 at 10:38 AM, Leander Bessa Beernaert<br>
<div class="HOEnZb"><div class="h5"><<a href="mailto:leanderbb@gmail.com">leanderbb@gmail.com</a>> wrote:<br>
> I'm getting around 5-6.5 GB a day of bytes written on Swift. I calculated<br>
> this by calling "swift stat && sleep 60s && swift stat". I did some<br>
> calculation based on those values to get to the end result.<br>
><br>
> Currently I'm resetting swift with a node size of 64, since 90% of the files<br>
> are less than 70KB in size. I think that might help.<br>
><br>
><br>
> On Mon, Jan 14, 2013 at 4:34 PM, Chuck Thier <<a href="mailto:cthier@gmail.com">cthier@gmail.com</a>> wrote:<br>
>><br>
>> Hey Leander,<br>
>><br>
>> Can you post what performance you are getting?  If they are all<br>
>> sharing the same GigE network, you might also check that the links<br>
>> aren't being saturated, as it is pretty easy to saturate pushing 200k<br>
>> files around.<br>
>><br>
>> --<br>
>> Chuck<br>
>><br>
>> On Mon, Jan 14, 2013 at 10:15 AM, Leander Bessa Beernaert<br>
>> <<a href="mailto:leanderbb@gmail.com">leanderbb@gmail.com</a>> wrote:<br>
>> > Well, I've fixed the node size and disabled the all the replicator and<br>
>> > auditor processes. However, it is even slower now than it was before :/.<br>
>> > Any<br>
>> > suggestions?<br>
>> ><br>
>> ><br>
>> > On Mon, Jan 14, 2013 at 3:23 PM, Leander Bessa Beernaert<br>
>> > <<a href="mailto:leanderbb@gmail.com">leanderbb@gmail.com</a>> wrote:<br>
>> >><br>
>> >> Ok, thanks for all the tips/help.<br>
>> >><br>
>> >> Regards,<br>
>> >><br>
>> >> Leander<br>
>> >><br>
>> >><br>
>> >> On Mon, Jan 14, 2013 at 3:21 PM, Robert van Leeuwen<br>
>> >> <<a href="mailto:Robert.vanLeeuwen@spilgames.com">Robert.vanLeeuwen@spilgames.com</a>> wrote:<br>
>> >>><br>
>> >>> > Allow me to rephrase.<br>
>> >>> > I've read somewhere (can't remember where) that it would be faster<br>
>> >>> > to<br>
>> >>> > upload files if they would be uploaded to separate containeres.<br>
>> >>> > This was suggested for a standard swift installation with a certain<br>
>> >>> > replication factor.<br>
>> >>> > Since I'll be uploading the files with the replicators turned off,<br>
>> >>> > does<br>
>> >>> > it really matter if I insert a group of them in separate<br>
>> >>> > containeres?<br>
>> >>><br>
>> >>> My guess is this concerns the SQLite database load distribution.<br>
>> >>> So yes, it still matters.<br>
>> >>><br>
>> >>> Just to be clear: turning replicators off does not matter at ALL when<br>
>> >>> putting files in a healthy cluster.<br>
>> >>> Files will be "replicated" / put on all required nodes at the moment<br>
>> >>> the<br>
>> >>> put request is done.<br>
>> >>> The put request will only give an OK when there is quorum writing the<br>
>> >>> file (the file is stored on more than half of the required object<br>
>> >>> nodes)<br>
>> >>> The replicator daemons do not have anything to do with this.<br>
>> >>><br>
>> >>> Cheers,<br>
>> >>> Robert<br>
>> >>><br>
>> >>> _______________________________________________<br>
>> >>> Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> >>> Post to     : <a href="mailto:openstack@lists.launchpad.net">openstack@lists.launchpad.net</a><br>
>> >>> Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> >>> More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>
>> >>><br>
>> >><br>
>> ><br>
>> ><br>
>> > _______________________________________________<br>
>> > Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> > Post to     : <a href="mailto:openstack@lists.launchpad.net">openstack@lists.launchpad.net</a><br>
>> > Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> > More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>
>> ><br>
><br>
><br>
</div></div></blockquote></div><br></div>