<br><br><div class="gmail_quote">On Thu, Feb 14, 2013 at 5:33 AM, Attila Fazekas <span dir="ltr"><<a href="mailto:afazekas@redhat.com" target="_blank">afazekas@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Very good idea!<br>
<br>
I think it can fit into tempest repository,  but in a different directory.<br>
<br>
I would extend a scope too.</blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
At the first Round:<br>
- *mange command tests.<br></blockquote><div><br></div><div>At first I was thinking of testing only testing the python-*clients, but testing the *-manage CLI tools makes sense as well.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


- remote execution (with ssh connection pooling)<br>
The whitebox test type (not the existing test case), partially should be converted to utilities, partially the functionality should move to the new folder.<br>
<a href="https://github.com/openstack/tempest/blob/master/tempest/whitebox.py#L138" target="_blank">https://github.com/openstack/tempest/blob/master/tempest/whitebox.py#L138</a></blockquote><div><br></div><div>Agreed.</div>

<div><br></div><div>I am currently working on the first draft to get the new folder started, at which point we can start moving thing around and expanding the tests.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<br>
<div class="im HOEnZb"><br>
<br>
----- Original Message -----<br>
> From: "Daryl Walleck" <<a href="mailto:daryl.walleck@RACKSPACE.COM">daryl.walleck@RACKSPACE.COM</a>><br>
> To: "All Things QA." <<a href="mailto:openstack-qa@lists.openstack.org">openstack-qa@lists.openstack.org</a>><br>
> Sent: Thursday, February 14, 2013 3:33:20 AM<br>
> Subject: Re: [openstack-qa] New Client Test Suite<br>
><br>
><br>
><br>
><br>
><br>
> We've bumped into some Novaclient only issues before in the past as<br>
> well. Sam and some of his team did prototype some tests that execute<br>
> using Novaclient. If there's any interest I can see about getting it<br>
> into a WIP branch to get eyes on it.<br>
><br>
><br>
><br>
> Daryl<br>
><br>
><br>
</div><div class="im HOEnZb">> From: Joe Gordon [<a href="mailto:jogo@cloudscaling.com">jogo@cloudscaling.com</a>]<br>
> Sent: Tuesday, February 12, 2013 4:39 PM<br>
> To: <a href="mailto:openstack-qa@lists.openstack.org">openstack-qa@lists.openstack.org</a><br>
> Subject: [openstack-qa] New Client Test Suite<br>
><br>
><br>
><br>
><br>
> Hi All,<br>
><br>
> We currently have thorough API tests (Tempest) that do an excellent<br>
> job of testing nova, glance, keystone, etc. But to date we don't<br>
> have anything that tests the assorted python clients.<br>
><br>
><br>
> Extensive python client tests, which would consist of mostly shell<br>
> commands, would prevent many bugs from arising such as:<br>
> <a href="https://bugs.launchpad.net/python-novaclient/+bug/1122958" target="_blank">https://bugs.launchpad.net/python-novaclient/+bug/1122958</a> .<br>
><br>
><br>
> The question is where should theses tests live?<br>
><br>
><br>
> * Devstack/smoketests - these are just smoketests and are not<br>
> designed to be exhaustive<br>
> * Tempest - currently explicitly doesn't use the python clients, but<br>
> we can add a separate folder that tests the clients<br>
> * In respective client repos - easier to require new tests when<br>
> adding to client, but will result in divergent test suites<br>
> * Separate Repo - perhaps this is premature?<br>
><br>
><br>
> I propose adding a separate folder in tempest to run the python<br>
> client tests, and taking it from there.<br>
><br>
><br>
><br>
><br>
> best,<br>
> Joe Gordon<br>
</div><div class="HOEnZb"><div class="h5">> _______________________________________________<br>
> openstack-qa mailing list<br>
> <a href="mailto:openstack-qa@lists.openstack.org">openstack-qa@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-qa" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-qa</a><br>
><br>
<br>
_______________________________________________<br>
openstack-qa mailing list<br>
<a href="mailto:openstack-qa@lists.openstack.org">openstack-qa@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-qa" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-qa</a><br>
</div></div></blockquote></div><br>