<div dir="ltr">I currently have 4 machines running 10 clients each uploading 1/40th of the data. More than 40 simultaneous clientes starts to severely affect Keystone's ability to handle these operations. </div><div class="gmail_extra">
<br><br><div class="gmail_quote">On Mon, Jan 14, 2013 at 4:58 PM, Chuck Thier <span dir="ltr"><<a href="mailto:cthier@gmail.com" target="_blank">cthier@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
That should be fine, but it doesn't have any way of reporting stats<br>
currently.  You could use tools like ifstat to look at how much<br>
bandwidth you are using.  You can also look at how much cpu the swift<br>
tool is using.  Depending on how your data is setup, you could run<br>
several swift-client processes in parallel until you max either your<br>
network or cpu.  I would start with one client first, until you max it<br>
out, then move on to the next.<br>
<br>
--<br>
Chuck<br>
<br>
On Mon, Jan 14, 2013 at 10:45 AM, Leander Bessa Beernaert<br>
<div class="HOEnZb"><div class="h5"><<a href="mailto:leanderbb@gmail.com">leanderbb@gmail.com</a>> wrote:<br>
> I'm currently using the swift client to upload files, would you recommend<br>
> another approach?<br>
><br>
><br>
> On Mon, Jan 14, 2013 at 4:43 PM, Chuck Thier <<a href="mailto:cthier@gmail.com">cthier@gmail.com</a>> wrote:<br>
>><br>
>> Using swift stat probably isn't the best way to determine cluster<br>
>> performance, as those stats are updated async, and could be delayed<br>
>> quite a bit as you are heavily loading the cluster.  It also might be<br>
>> worthwhile to use a tool like swift-bench to test your cluster to make<br>
>> sure it is properly setup before loading data into the system.<br>
>><br>
>> --<br>
>> Chuck<br>
>><br>
>> On Mon, Jan 14, 2013 at 10:38 AM, Leander Bessa Beernaert<br>
>> <<a href="mailto:leanderbb@gmail.com">leanderbb@gmail.com</a>> wrote:<br>
>> > I'm getting around 5-6.5 GB a day of bytes written on Swift. I<br>
>> > calculated<br>
>> > this by calling "swift stat && sleep 60s && swift stat". I did some<br>
>> > calculation based on those values to get to the end result.<br>
>> ><br>
>> > Currently I'm resetting swift with a node size of 64, since 90% of the<br>
>> > files<br>
>> > are less than 70KB in size. I think that might help.<br>
>> ><br>
>> ><br>
>> > On Mon, Jan 14, 2013 at 4:34 PM, Chuck Thier <<a href="mailto:cthier@gmail.com">cthier@gmail.com</a>> wrote:<br>
>> >><br>
>> >> Hey Leander,<br>
>> >><br>
>> >> Can you post what performance you are getting?  If they are all<br>
>> >> sharing the same GigE network, you might also check that the links<br>
>> >> aren't being saturated, as it is pretty easy to saturate pushing 200k<br>
>> >> files around.<br>
>> >><br>
>> >> --<br>
>> >> Chuck<br>
>> >><br>
>> >> On Mon, Jan 14, 2013 at 10:15 AM, Leander Bessa Beernaert<br>
>> >> <<a href="mailto:leanderbb@gmail.com">leanderbb@gmail.com</a>> wrote:<br>
>> >> > Well, I've fixed the node size and disabled the all the replicator<br>
>> >> > and<br>
>> >> > auditor processes. However, it is even slower now than it was before<br>
>> >> > :/.<br>
>> >> > Any<br>
>> >> > suggestions?<br>
>> >> ><br>
>> >> ><br>
>> >> > On Mon, Jan 14, 2013 at 3:23 PM, Leander Bessa Beernaert<br>
>> >> > <<a href="mailto:leanderbb@gmail.com">leanderbb@gmail.com</a>> wrote:<br>
>> >> >><br>
>> >> >> Ok, thanks for all the tips/help.<br>
>> >> >><br>
>> >> >> Regards,<br>
>> >> >><br>
>> >> >> Leander<br>
>> >> >><br>
>> >> >><br>
>> >> >> On Mon, Jan 14, 2013 at 3:21 PM, Robert van Leeuwen<br>
>> >> >> <<a href="mailto:Robert.vanLeeuwen@spilgames.com">Robert.vanLeeuwen@spilgames.com</a>> wrote:<br>
>> >> >>><br>
>> >> >>> > Allow me to rephrase.<br>
>> >> >>> > I've read somewhere (can't remember where) that it would be<br>
>> >> >>> > faster<br>
>> >> >>> > to<br>
>> >> >>> > upload files if they would be uploaded to separate containeres.<br>
>> >> >>> > This was suggested for a standard swift installation with a<br>
>> >> >>> > certain<br>
>> >> >>> > replication factor.<br>
>> >> >>> > Since I'll be uploading the files with the replicators turned<br>
>> >> >>> > off,<br>
>> >> >>> > does<br>
>> >> >>> > it really matter if I insert a group of them in separate<br>
>> >> >>> > containeres?<br>
>> >> >>><br>
>> >> >>> My guess is this concerns the SQLite database load distribution.<br>
>> >> >>> So yes, it still matters.<br>
>> >> >>><br>
>> >> >>> Just to be clear: turning replicators off does not matter at ALL<br>
>> >> >>> when<br>
>> >> >>> putting files in a healthy cluster.<br>
>> >> >>> Files will be "replicated" / put on all required nodes at the<br>
>> >> >>> moment<br>
>> >> >>> the<br>
>> >> >>> put request is done.<br>
>> >> >>> The put request will only give an OK when there is quorum writing<br>
>> >> >>> the<br>
>> >> >>> file (the file is stored on more than half of the required object<br>
>> >> >>> nodes)<br>
>> >> >>> The replicator daemons do not have anything to do with this.<br>
>> >> >>><br>
>> >> >>> Cheers,<br>
>> >> >>> Robert<br>
>> >> >>><br>
>> >> >>> _______________________________________________<br>
>> >> >>> Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> >> >>> Post to     : <a href="mailto:openstack@lists.launchpad.net">openstack@lists.launchpad.net</a><br>
>> >> >>> Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> >> >>> More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>
>> >> >>><br>
>> >> >><br>
>> >> ><br>
>> >> ><br>
>> >> > _______________________________________________<br>
>> >> > Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> >> > Post to     : <a href="mailto:openstack@lists.launchpad.net">openstack@lists.launchpad.net</a><br>
>> >> > Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> >> > More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>
>> >> ><br>
>> ><br>
>> ><br>
><br>
><br>
</div></div></blockquote></div><br></div>