<div dir="ltr"><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Dec 9, 2013 at 11:18 AM, Jeremy Stanley <span dir="ltr"><<a href="mailto:fungi@yuggoth.org" target="_blank">fungi@yuggoth.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 2013-12-09 11:07:50 -0600 (-0600), Brant Knudson wrote:<br>
[...]<br>
<div class="im">> Is testing multiple versions of keystoneclient actually worth it?<br>
> If the other projects don't feel the need for this then why does<br>
> Keystone? It's actually caught problems so it's proved useful to<br>
> Keystone, and we're making changes to the client so this type of<br>
> testing seems important, but maybe it's not useful enough to<br>
> continue to do the multiple version testing. If we're going to<br>
> support backwards compatibility we should test it.<br>
</div>[...]<br>
<br>
Well, at a minimum we should be testing both that the tip of master<br>
for the client works with servers, and also that the tip of<br>
server branches (master, stable/x, stable/y)  work with the latest<br>
released version of the client. There are already plans in motion to<br>
solve this in integration testing for all clients, because not doing<br>
so allows us to break ourselves in unfortunate ways.<br></blockquote><div><br></div><div>This isn't the testing that Keystone's client tests do. Keystone's client tests verify that the client doesn't change in an incompatible way. For example, we've got a test that verifies that you can do client.tenants.list() ; so if someone decides to change "tenants" to "projects" then this test will fail.<br>
</div><div><br></div><div>I don't know of any specific testing that verifies that the client works against older (stable/*) servers. Maybe it happens when you submit a change to stable/ later.<br></div><div><br></div>
<div>- Brant<br></div><div><br></div></div></div></div>