<div dir="ltr">Also, I'm unable to run the swift-bench with keystone. <div><br></div><div style>I always get this error:</div><div style><br></div><div style><div>Traceback (most recent call last):</div><div>  File "/usr/bin/swift-bench", line 149, in <module></div>
<div>    controller.run()</div><div>  File "/usr/lib/python2.7/dist-packages/swift/common/bench.py", line 159, in run</div><div>    puts = BenchPUT(self.logger, self.conf, self.names)</div><div>  File "/usr/lib/python2.7/dist-packages/swift/common/bench.py", line 241, in __init__</div>
<div>    Bench.__init__(self, logger, conf, names)</div><div>  File "/usr/lib/python2.7/dist-packages/swift/common/bench.py", line 55, in __init__</div><div>    auth_version=self.auth_version)</div><div>  File "/usr/lib/python2.7/dist-packages/swiftclient/client.py", line 281, in get_auth</div>
<div>    if (kwargs['os_options'].get('object_storage_url') and</div><div>KeyError: 'os_options'</div><div><br></div><div><br></div><div style>Here's my config file:</div><div style><br></div><div style>
<div>[bench]</div><div>auth = <a href="http://192.168.111.202:5000/v2.0">http://192.168.111.202:5000/v2.0</a></div><div>user = [tenant]:[user]</div><div>key = [key]</div><div>auth_version = 2</div><div>log-level = INFO</div>
<div>timeout = 10</div><div><br></div><div>put_concurrency = 10</div><div>get_concurrency = 10</div><div><br></div><div>lower_object_size = 200000</div><div>upper_object_size = 20000</div><div><br></div><div><br></div><div>
num_objects = 1000</div><div>num_gets = 10000</div><div>num_containers = 20</div><div><br></div><div>delete = yes</div></div></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jan 14, 2013 at 5:01 PM, Leander Bessa Beernaert <span dir="ltr"><<a href="mailto:leanderbb@gmail.com" target="_blank">leanderbb@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I currently have 4 machines running 10 clients each uploading 1/40th of the data. More than 40 simultaneous clientes starts to severely affect Keystone's ability to handle these operations. </div>
<div class="HOEnZb"><div class="h5"><div class="gmail_extra">
<br><br><div class="gmail_quote">On Mon, Jan 14, 2013 at 4:58 PM, Chuck Thier <span dir="ltr"><<a href="mailto:cthier@gmail.com" target="_blank">cthier@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

That should be fine, but it doesn't have any way of reporting stats<br>
currently.  You could use tools like ifstat to look at how much<br>
bandwidth you are using.  You can also look at how much cpu the swift<br>
tool is using.  Depending on how your data is setup, you could run<br>
several swift-client processes in parallel until you max either your<br>
network or cpu.  I would start with one client first, until you max it<br>
out, then move on to the next.<br>
<br>
--<br>
Chuck<br>
<br>
On Mon, Jan 14, 2013 at 10:45 AM, Leander Bessa Beernaert<br>
<div><div><<a href="mailto:leanderbb@gmail.com" target="_blank">leanderbb@gmail.com</a>> wrote:<br>
> I'm currently using the swift client to upload files, would you recommend<br>
> another approach?<br>
><br>
><br>
> On Mon, Jan 14, 2013 at 4:43 PM, Chuck Thier <<a href="mailto:cthier@gmail.com" target="_blank">cthier@gmail.com</a>> wrote:<br>
>><br>
>> Using swift stat probably isn't the best way to determine cluster<br>
>> performance, as those stats are updated async, and could be delayed<br>
>> quite a bit as you are heavily loading the cluster.  It also might be<br>
>> worthwhile to use a tool like swift-bench to test your cluster to make<br>
>> sure it is properly setup before loading data into the system.<br>
>><br>
>> --<br>
>> Chuck<br>
>><br>
>> On Mon, Jan 14, 2013 at 10:38 AM, Leander Bessa Beernaert<br>
>> <<a href="mailto:leanderbb@gmail.com" target="_blank">leanderbb@gmail.com</a>> wrote:<br>
>> > I'm getting around 5-6.5 GB a day of bytes written on Swift. I<br>
>> > calculated<br>
>> > this by calling "swift stat && sleep 60s && swift stat". I did some<br>
>> > calculation based on those values to get to the end result.<br>
>> ><br>
>> > Currently I'm resetting swift with a node size of 64, since 90% of the<br>
>> > files<br>
>> > are less than 70KB in size. I think that might help.<br>
>> ><br>
>> ><br>
>> > On Mon, Jan 14, 2013 at 4:34 PM, Chuck Thier <<a href="mailto:cthier@gmail.com" target="_blank">cthier@gmail.com</a>> wrote:<br>
>> >><br>
>> >> Hey Leander,<br>
>> >><br>
>> >> Can you post what performance you are getting?  If they are all<br>
>> >> sharing the same GigE network, you might also check that the links<br>
>> >> aren't being saturated, as it is pretty easy to saturate pushing 200k<br>
>> >> files around.<br>
>> >><br>
>> >> --<br>
>> >> Chuck<br>
>> >><br>
>> >> On Mon, Jan 14, 2013 at 10:15 AM, Leander Bessa Beernaert<br>
>> >> <<a href="mailto:leanderbb@gmail.com" target="_blank">leanderbb@gmail.com</a>> wrote:<br>
>> >> > Well, I've fixed the node size and disabled the all the replicator<br>
>> >> > and<br>
>> >> > auditor processes. However, it is even slower now than it was before<br>
>> >> > :/.<br>
>> >> > Any<br>
>> >> > suggestions?<br>
>> >> ><br>
>> >> ><br>
>> >> > On Mon, Jan 14, 2013 at 3:23 PM, Leander Bessa Beernaert<br>
>> >> > <<a href="mailto:leanderbb@gmail.com" target="_blank">leanderbb@gmail.com</a>> wrote:<br>
>> >> >><br>
>> >> >> Ok, thanks for all the tips/help.<br>
>> >> >><br>
>> >> >> Regards,<br>
>> >> >><br>
>> >> >> Leander<br>
>> >> >><br>
>> >> >><br>
>> >> >> On Mon, Jan 14, 2013 at 3:21 PM, Robert van Leeuwen<br>
>> >> >> <<a href="mailto:Robert.vanLeeuwen@spilgames.com" target="_blank">Robert.vanLeeuwen@spilgames.com</a>> wrote:<br>
>> >> >>><br>
>> >> >>> > Allow me to rephrase.<br>
>> >> >>> > I've read somewhere (can't remember where) that it would be<br>
>> >> >>> > faster<br>
>> >> >>> > to<br>
>> >> >>> > upload files if they would be uploaded to separate containeres.<br>
>> >> >>> > This was suggested for a standard swift installation with a<br>
>> >> >>> > certain<br>
>> >> >>> > replication factor.<br>
>> >> >>> > Since I'll be uploading the files with the replicators turned<br>
>> >> >>> > off,<br>
>> >> >>> > does<br>
>> >> >>> > it really matter if I insert a group of them in separate<br>
>> >> >>> > containeres?<br>
>> >> >>><br>
>> >> >>> My guess is this concerns the SQLite database load distribution.<br>
>> >> >>> So yes, it still matters.<br>
>> >> >>><br>
>> >> >>> Just to be clear: turning replicators off does not matter at ALL<br>
>> >> >>> when<br>
>> >> >>> putting files in a healthy cluster.<br>
>> >> >>> Files will be "replicated" / put on all required nodes at the<br>
>> >> >>> moment<br>
>> >> >>> the<br>
>> >> >>> put request is done.<br>
>> >> >>> The put request will only give an OK when there is quorum writing<br>
>> >> >>> the<br>
>> >> >>> file (the file is stored on more than half of the required object<br>
>> >> >>> nodes)<br>
>> >> >>> The replicator daemons do not have anything to do with this.<br>
>> >> >>><br>
>> >> >>> Cheers,<br>
>> >> >>> Robert<br>
>> >> >>><br>
>> >> >>> _______________________________________________<br>
>> >> >>> Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> >> >>> Post to     : <a href="mailto:openstack@lists.launchpad.net" target="_blank">openstack@lists.launchpad.net</a><br>
>> >> >>> Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> >> >>> More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>
>> >> >>><br>
>> >> >><br>
>> >> ><br>
>> >> ><br>
>> >> > _______________________________________________<br>
>> >> > Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> >> > Post to     : <a href="mailto:openstack@lists.launchpad.net" target="_blank">openstack@lists.launchpad.net</a><br>
>> >> > Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>
>> >> > More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>
>> >> ><br>
>> ><br>
>> ><br>
><br>
><br>
</div></div></blockquote></div><br></div>
</div></div></blockquote></div><br></div>