<div dir="ltr">hi, Muller.<div><br></div><div>    As you mentioned, is there will have <span style="font-size:14px">a individual Tempest plugin named "</span><span style="font-size:14px">Neutron Tempest plugin</span><span style="font-size:14px">" in future?</span></div><h2 class="" style="margin:0px 0px 5px;padding:0px;line-height:30px;font-size:24px;overflow:hidden;zoom:1;color:rgb(67,67,67);font-family:Arial,sans-serif"><br></h2><div>Thanks</div><div>Zhi Chang</div></div><div class="gmail_extra"><br><div class="gmail_quote">2016-05-14 6:53 GMT+08:00 Assaf Muller <span dir="ltr"><<a href="mailto:assaf@redhat.com" target="_blank">assaf@redhat.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">TL;DR: I'm looking for volunteers for tasks 1, 2 and 3 listed below.<br>
Help would be hugely appreciated and %(local_drink)s will be bought in<br>
Barcelona. I've posted example patches that demonstrate the idea.<br>
Needless to say I'm here to provide reviews and to answer questions.<br>
Additionally, most of the discussions have been within the Neutron<br>
community and I'm looking for feedback from Tempest folks.<br>
<br>
<br>
The context:<br>
The Neutron community has been engaged in a long running effort to<br>
move some of the networking API tests to the Neutron tree. We started<br>
by copying the api/network directory tree, later keeping only the<br>
tests, importing the test infrastructure itself from Tempest. We<br>
continued by minimizing the imports we do from Tempest (Excluding<br>
tempest.lib), and introduced a Neutron Tempest plugin.<br>
<br>
One issue that remains is that some of the tests are still found in<br>
both repositories. This confuses contributors and wastes compute<br>
resources. Since the tests run against stable/{liberty|mitaka} and<br>
master, it should be safe to dedup. I proposed a line in the sand so<br>
that 'core resources' remain to be tested in Tempest and more<br>
'advanced' APIs are tested in Neutron. The concept was agreed upon by<br>
the Neutron and (Then) Tempest PTLs, and the specifics were discussed<br>
and a consensus was found in patch [2]. Here is the resulting doc for<br>
your viewing pleasure [5].<br>
<br>
<br>
The work:<br>
After I removed the API tests for core resources from the Neutron<br>
tree, there remain three tasks to finish the de-dup:<br>
<br>
1*) Remove tests for advanced APIs from Tempest. The full list of<br>
tests that I propose be removed from Tempest is tracked here [1] (With<br>
the rationale found at [2]), and an example patch may be found here<br>
[4].<br>
2) Push tests for Neutron core resources that were added after the<br>
fork from Tempest, then delete these from Neutron. This is also<br>
tracked in [1], with example patches found here [6]. This is not a<br>
strict cut/paste as the way Tempest and Neutron interact with clients<br>
is slightly different. Fun!<br>
3) Sync tests for Neutron core resources that were updated after the<br>
fork from Tempest. Test modifications include: Bug fixes for raceful<br>
tests, py3 fixes, doc string typos and more. This is also tracked in<br>
[1], with example patches found here [3].<br>
<br>
* I believe that as far as the Tempest test removal criteria found at<br>
[7], this case falls under the first exception: 'The class of testing<br>
has been decided to be outside the scope of tempest' and we may skip<br>
the three prong rule for removal. Input welcome.<br>
<br>
[1] <a href="https://etherpad.openstack.org/p/neutron-tempest-defork" rel="noreferrer" target="_blank">https://etherpad.openstack.org/p/neutron-tempest-defork</a><br>
[2] <a href="https://review.openstack.org/#/c/280427/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/280427/</a><br>
[3] <a href="https://review.openstack.org/#/c/316280/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/316280/</a> +<br>
<a href="https://review.openstack.org/#/c/316283/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/316283/</a><br>
[4] <a href="https://review.openstack.org/#/c/316183/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/316183/</a><br>
[5] <a href="http://docs.openstack.org/developer/neutron/devref/development.environment.html#api-tests" rel="noreferrer" target="_blank">docs.openstack.org/developer/neutron/devref/development.environment.html#api-tests</a><br>
[6] <a href="https://review.openstack.org/#/c/316265/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/316265/</a> +<br>
<a href="https://review.openstack.org/#/c/316269/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/316269/</a><br>
[7] <a href="https://wiki.openstack.org/wiki/QA/Tempest-test-removal" rel="noreferrer" target="_blank">https://wiki.openstack.org/wiki/QA/Tempest-test-removal</a><br>
<br>
The work is tracked via:<br>
* <a href="https://review.openstack.org/#/q/topic:bug/1552960" rel="noreferrer" target="_blank">https://review.openstack.org/#/q/topic:bug/1552960</a><br>
* <a href="https://bugs.launchpad.net/neutron/+bug/1552960" rel="noreferrer" target="_blank">https://bugs.launchpad.net/neutron/+bug/1552960</a><br>
* <a href="https://etherpad.openstack.org/p/neutron-tempest-defork" rel="noreferrer" target="_blank">https://etherpad.openstack.org/p/neutron-tempest-defork</a><br>
* My head<br>
<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br>
<br>
</blockquote></div><br></div>