<div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Dec 8, 2013 at 3:37 PM, Matt Riedemann <span dir="ltr"><<a href="mailto:mriedem@linux.vnet.ibm.com" target="_blank">mriedem@linux.vnet.ibm.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5"><br>
<br>
On Sunday, December 08, 2013 11:26:07 AM, Brant Knudson wrote:<br>
</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5">
<br>
We'd like to get the keystoneclient tests out of keystone. They're<br>
serving a useful purpose of catching problems with non-backwards<br>
compatible changes in keystoneclient so we still want them run.<br>
Problem is they're running at the wrong time -- only on changes to<br>
keystone and not changes to keystoneclient.<br>
<br>
The tests need to be run:<br>
<br>
When keystoneclient changes<br>
 - run the tests against the change<br>
<br>
When the tests change<br>
 - run the change against the current keystoneclient and also old clients<br>
<br>
When keystone changes<br>
 - run the tests against the change with current client<br>
<br>
So here's what I think we need to do to get keystone client tests out<br>
of keystone:<br>
<br>
 1) Figure out where to put the tests - is it tempest or something else?<br>
 2) Write up a test and put it there<br>
 3) Have a job that when there's a change in the tests it runs against<br>
current client lib<br>
 4) Expand the job to also run against old clients<br>
    - or is there 1 job per version?<br>
    - what versions? (keystone does master, essex-3, and 0.1.1)<br>
    - e.g. tox -e master,essex-3,0.1.1<br>
    - suggest start with these versions and then consider what to use<br>
in future<br>
 5) Now we can start adding tests<br>
 6) Have a job that when there's a change in keystoneclient it runs<br>
these tests against the change<br>
 7) When there's a change in keystone, run these tests against the change<br>
 8) Copy the keystoneclient tests from keystone to the new location --<br>
will require some changes<br>
 9) Remove the tests from keystone \o/<br>
10) Move tests back to keystone where makes sense -- use webtest like<br>
v3 tests<br>
<br>
I created an etherpad with this same info so it's easier to discuss:<br>
<a href="https://etherpad.openstack.org/p/KeystoneTestsToTempest" target="_blank">https://etherpad.openstack.<u></u>org/p/KeystoneTestsToTempest</a><br>
<br>
- Brant<br><br></div></div>
</blockquote>
<br>
I'll ask the super obvious question, why not move the keystoneclient tests to keystoneclient?<br><br>
</blockquote></div><div class="gmail_extra"><br></div>I believe Brant is talking about the tests that use different versions of the keystone client against the keystone server.<br><br clear="all"><div><br></div>-- <br>David<br>
blog: <a href="http://www.traceback.org" target="_blank">http://www.traceback.org</a><br>twitter: <a href="http://twitter.com/dstanek" target="_blank">http://twitter.com/dstanek</a><div>www: <a href="http://dstanek.com" target="_blank">http://dstanek.com</a></div>

</div></div>