<div dir="ltr"><div>Monty -<br><br></div>Thanks for doing the work already to get the infrastructure set up. Looks like I've got the easy part here. I posted an initial patch that has one test from keystone in <a href="https://review.openstack.org/#/c/60724/">https://review.openstack.org/#/c/60724/</a> . I hope to be able to move all the tests over unchanged. The tricky part is getting all the fixtures set up the same way that keystone does.<br>
<br>I'm not sure what directory the tests go in Tempest. Maybe it's a new one like shardy's attempts: <a href="https://review.openstack.org/#/c/54810/">https://review.openstack.org/#/c/54810/</a> . I'll leave that to the tempest team.<br>
<div class="gmail_extra"><br></div><div class="gmail_extra">- Brant<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Dec 8, 2013 at 5:20 PM, Monty Taylor <span dir="ltr"><<a href="mailto:mordred@inaugust.com" target="_blank">mordred@inaugust.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi!<br>
<br>
Thanks - I've been wanting to kill this for a long time. Thanks for<br>
starting the discussion...<br>
<div class="im"><br>
On 12/08/2013 07:26 PM, Brant Knudson wrote:<br>
><br>
> We'd like to get the keystoneclient tests out of keystone. They're<br>
> serving a useful purpose of catching problems with non-backwards<br>
> compatible changes in keystoneclient so we still want them run. Problem<br>
> is they're running at the wrong time -- only on changes to keystone and<br>
> not changes to keystoneclient.<br>
><br>
> The tests need to be run:<br>
><br>
> When keystoneclient changes<br>
>  - run the tests against the change<br>
><br>
> When the tests change<br>
>  - run the change against the current keystoneclient and also old clients<br>
><br>
> When keystone changes<br>
>  - run the tests against the change with current client<br>
<br>
</div>You're talking about this:<br>
<br>
<a href="https://review.openstack.org/#/c/41931/" target="_blank">https://review.openstack.org/#/c/41931/</a><br>
<br>
Which is almost ready to go.<br>
<div> </div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="im">
> So here's what I think we need to do to get keystone client tests out of<br>
> keystone:<br>
><br>
>  1) Figure out where to put the tests - is it tempest or something else?<br>
<br>
</div>Tempest. They should be moved to tempest.<br>
<div class="im"><br>
>  2) Write up a test and put it there<br>
>  3) Have a job that when there's a change in the tests it runs against<br>
> current client lib<br>
<br>
</div>Don't need most of that - the generalized "test clients against stable<br>
versions" matrix is about to land - as long as tempest has your tests in<br>
the scenarios, you'll be fine.<br>
<div class="im"><br>
>  4) Expand the job to also run against old clients<br>
>     - or is there 1 job per version?<br>
>     - what versions? (keystone does master, essex-3, and 0.1.1)<br>
>     - e.g. tox -e master,essex-3,0.1.1<br>
<br>
</div>essex and 0.1.1 are both older than dirt. We just removed folsom from<br>
the gate. I'd got ahead and remove these.<br>
<div class="im"><br>
>     - suggest start with these versions and then consider what to use in<br>
> future<br>
<br>
</div>OpenStack has a clear support policy - the gate infrastructure will be<br>
covering that. Done!<br>
<div class="im"><br></div></blockquote><div><br></div><div>What is the support policy for the client libs? Nobody's tried to remove anything since I started reviewing.<br><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div class="im">
>  5) Now we can start adding tests<br>
<br>
</div>Tempest scenarios.<br>
<div class="im"><br>
>  6) Have a job that when there's a change in keystoneclient it runs<br>
> these tests against the change<br>
>  7) When there's a change in keystone, run these tests against the change<br>
<br>
</div>Yup. Already accounted for.<br>
<div class="im"><br>
>  8) Copy the keystoneclient tests from keystone to the new location --<br>
> will require some changes<br>
>  9) Remove the tests from keystone \o/<br>
> 10) Move tests back to keystone where makes sense -- use webtest like v3<br>
> tests<br>
><br>
> I created an etherpad with this same info so it's easier to discuss:<br>
> <a href="https://etherpad.openstack.org/p/KeystoneTestsToTempest" target="_blank">https://etherpad.openstack.org/p/KeystoneTestsToTempest</a><br>
><br>
> - Brant<br>
><br>
><br>
><br>
</div><div class=""><div class="h5">> _______________________________________________<br>
> OpenStack-dev mailing list<br>
> <a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
><br>
<br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br></div></div>