<p dir="ltr">My tempest experience is dated to Havana, so I'll consider it to be completely out of date. Glad to he about all these improvements. </p>
<div class="gmail_quote">On Jul 13, 2015 2:12 PM, "Matthew Treinish" <<a href="mailto:mtreinish@kortar.org">mtreinish@kortar.org</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Sun, Jul 12, 2015 at 09:29:57PM -0600, Matt Fischer wrote:<br>
> We used Tempest for a time against our production environment. It was a<br>
> pain to clean up but ephemeral test jobs solves that for you. A few<br>
> questions<br>
<br>
Just curious how long ago was this? Because resource leaks have always been<br>
treated as bugs in tempest. We've done a lot of work over the past year to get<br>
better about our cleanup in tempest. There are also config options to limit the<br>
dynamic creation of resources and provide a static set of user/tenants to<br>
limit any potential dangling users. [1] Although we should always be calling<br>
delete for created users and projects as part of test setup. (this had to be<br>
fixed for other internal mechanisms to work)<br>
<br>
I'm just looking to get more feedback about this, because I see statements like<br>
this from time to time but not many bugs being filed about specific issues<br>
people encounter.<br>
<br>
><br>
> What version of tempest will be using?<br>
> Will we maintain a blacklist if there are known failures? (although this is<br>
> a pain to keep updated)<br>
<br>
Do you mean because of configuration differences you don't want to run certain<br>
tests or because of bugs in OpenStack causing intermittent failures?<br>
<br>
-Matt Treinish<br>
<br>
[1] <a href="http://docs.openstack.org/developer/tempest/configuration.html#locking-test-accounts-aka-accounts-yaml-or-accounts-file" rel="noreferrer" target="_blank">http://docs.openstack.org/developer/tempest/configuration.html#locking-test-accounts-aka-accounts-yaml-or-accounts-file</a><br>
<br>
><br>
> On Sun, Jul 12, 2015 at 8:44 PM, Emilien Macchi <<a href="mailto:emilien.macchi@gmail.com">emilien.macchi@gmail.com</a>><br>
> wrote:<br>
><br>
> > Hi,<br>
> ><br>
> > I would like to propose to run Tempest at the end of the beaker jobs, for<br>
> > testing purpose now.<br>
> ><br>
> > As a start, we would accept 0 & 1 as return code, because this is really<br>
> > experimental.<br>
> > Though I think it will be interesting to see how it behaves, specially<br>
> > when we implement new configurations or plugins in our modules.<br>
> ><br>
> > I already did a PoC for puppet-keystone:<br>
> > <a href="https://review.openstack.org/198561" rel="noreferrer" target="_blank">https://review.openstack.org/198561</a><br>
> > (failing because it needs more work to pass keystone v3 tests but v2 tests<br>
> > are successful).<br>
> > As you can see the code is really light, since we use puppet-tempest.<br>
> ><br>
> > Any suggestion is welcome !<br>
> ><br>
> > --<br>
> > Emilien Macchi<br>
> ><br>
<br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div>