<div dir="ltr">Julien,<div><br></div><div>Probably you should try to use Rally for benchmarking.</div><div><a href="https://wiki.openstack.org/wiki/Rally">https://wiki.openstack.org/wiki/Rally</a><br></div><div><br></div><div>
There is already working generic cleanup...</div><div><br></div><div>There is already implemented framework that allows parametrized benchmarks:</div><div><a href="https://github.com/stackforge/rally/blob/master/rally/benchmark/scenarios/nova/servers.py#L32-L39">https://github.com/stackforge/rally/blob/master/rally/benchmark/scenarios/nova/servers.py#L32-L39</a></div>
<div><br></div><div>Simple way to configure load using json (load will be created from real users, no admin, that will be pre created for each benchmark):</div><div><a href="https://github.com/stackforge/rally/blob/master/doc/samples/tasks/nova/boot-and-delete.json">https://github.com/stackforge/rally/blob/master/doc/samples/tasks/nova/boot-and-delete.json</a><br>
</div><div><br></div><div><br></div><div>And simple CLI interface (now we are working around Web UI)</div><div><br></div><div><br></div><div>Best regards,</div><div>Boris Pavlovic </div></div><div class="gmail_extra"><br>
<br><div class="gmail_quote">On Mon, Jan 20, 2014 at 8:32 PM, LELOUP Julien <span dir="ltr"><<a href="mailto:Julien.LELOUP@3ds.com" target="_blank">Julien.LELOUP@3ds.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" link="blue" vlink="purple">
<div>
<p class="MsoNormal">Hi everyone,</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">I’m forwarding my own email previously posted on the QA list.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">I would like to discuss about the cleanup() process used right after a stress test run in Tempest.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">For what I see now by using it and by reading the code, the cleanup() seems a bit rough since it is using an “admin_manager” in order to get all kind of test resources actually available : servers, key pairs, volumes, .etc…</p>

<p class="MsoNormal">More precisely, when it comes to clean servers, it is searching for servers on all tenants. I find this behavior a little rough since it will blow all objects on the target OpenStack, even object unrelated to the stress tests that just
 ran.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">Actually before reading the cleanup() I had a problem when one of my stress test erased all the servers and volumes on another tenant, which impaired other people working on our OpenStack.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">I can imagine that for some scenarios, using an admin user to deeply clean an OpenStack is required, but I believe that most of the time the cleanup() process should focus only on the tenant used during the stress test and leave the other
 tenants alone.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">Am I doing something wrong ? Is there a way to restrain the cleanup() process ?</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">If no parameters or configuration allows me to do so, should I improve the cleanup() code in order to allow it to remove only the test resources created for the test?</p>
<p class="MsoNormal">I do not wish to make this kind of code if the OpenStack community believe that the present behavior is totally intended and should not be modified.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">Best Regards, </p>
<p class="MsoNormal"> </p>
<p class="MsoNormal"><span lang="FR">Julien LELOUP</span></p>
<p class="MsoNormal"><span lang="FR"><a href="mailto:julien.leloup@3ds.com" target="_blank">julien.leloup@3ds.com</a></span></p>
</div>
<p style="font-size:9pt;margin:0px 0px 0px 35.4pt;color:#9d9d9d;font-style:italic;font-family:Arial,Helvetica,sans-serif">
This email and any attachments are intended solely for the use of the individual or entity to whom it is addressed and may be confidential and/or privileged.</p>
<p style="font-size:9pt;margin:0px 0px 0px 35.4pt;color:#9d9d9d;font-style:italic;font-family:Arial,Helvetica,sans-serif">
If you are not one of the named recipients or have received this email in error, </p>
<p style="font-size:9pt;margin:0px 0px 0px 35.4pt;color:#9d9d9d;font-style:italic;font-family:Arial,Helvetica,sans-serif">
(i) you should not read, disclose, or copy it,</p>
<p style="font-size:9pt;margin:0px 0px 0px 35.4pt;color:#9d9d9d;font-style:italic;font-family:Arial,Helvetica,sans-serif">
(ii) please notify sender of your receipt by reply email and delete this email and all attachments,</p>
<p style="font-size:9pt;margin:0px 0px 0px 35.4pt;color:#9d9d9d;font-style:italic;font-family:Arial,Helvetica,sans-serif">
(iii) Dassault Systemes does not accept or assume any liability or responsibility for any use of or reliance on this email.</p>
<p style="font-style:italic;margin:0px 0px 0px 35.4pt;font-family:Arial,Helvetica,sans-serif;color:#9d9d9d;font-size:9pt">
</p>
<p style="font-size:9pt;margin:0px 0px 0px 35.4pt;color:#9d9d9d;font-style:italic;font-family:Arial,Helvetica,sans-serif">
For other languages, go to <a href="http://www.3ds.com/terms/email-disclaimer" target="_blank">http://www.3ds.com/terms/email-disclaimer</a> </p>
</div>

<br>_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div>