<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">Hello Neutron team,</div><div class="gmail_quote"><br></div><div class="gmail_quote">From the "<span style="font-size:13px;font-family:arial,sans-serif">Testing </span><span class="" style="font-size:13px;font-family:arial,sans-serif">Requirements" section, Tempest is mentioned as a requirement.</span></div>
<div class="gmail_quote"><span style="font-family:arial,sans-serif;font-size:13px">Does that mean all the thirdparty vendors' system should run all the tests in Tempest?</span></div><div class="gmail_quote"><div class="gmail_quote">
<span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div class="gmail_quote"><span style="font-family:arial,sans-serif;font-size:13px">It might not make perfect sense to test image API for changes in the neutron code. </span></div>
<div><span style="font-family:arial,sans-serif;font-size:13px">So can we define some subset of tests that are relevant to neutron (e.g. tempest.api.network, tempest.scenario.test_network_* ). </span><br></div></div><div class="gmail_quote">
<span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div class="gmail_quote"><span style="font-family:arial,sans-serif;font-size:13px">Also, some plugins may not implement full set of APIs defined by Neutron, (for example. Vendor X hasn't supported floating IP API). </span></div>
<div class="gmail_quote"><span style="font-family:arial,sans-serif;font-size:13px">What should be the acceptance criteria for the API compatibility? </span><br></div><div class="gmail_quote"><span style="font-family:arial,sans-serif;font-size:13px"><br>
</span></div><div class="gmail_quote"><span style="font-family:arial,sans-serif;font-size:13px">Thanks,</span></div><div class="gmail_quote"><span style="font-family:arial,sans-serif;font-size:13px">Tomoe</span></div><div class="gmail_quote">
<br></div><div class="gmail_quote">On Mon, Nov 18, 2013 at 10:59 PM, Russell Bryant <span dir="ltr"><<a href="mailto:rbryant@redhat.com" target="_blank">rbryant@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">On 11/18/2013 08:42 AM, Kyle Mestery (kmestery) wrote:<br>
> Yong, if you read Mark's proposal closely, the third party tests will only run when the specific third party code is touched, or when the Jenkins user submits code.<br>
><br>
> On Nov 17, 2013, at 11:50 PM, Yongsheng Gong <<a href="mailto:gongysh@unitedstack.com">gongysh@unitedstack.com</a>> wrote:<br>
><br>
>> For third party testing, I am afraid these tests will make the patch merge process much longer since each patch, which even has nothing to do with the specific plugins, will triggers the unwanted third party testing jobs.<br>

<br>
</div>And note that if it's not gating, we do not necessarily have to wait for<br>
every third party system to report in before merging the patch.<br>
<span class=""><font color="#888888"><br>
--<br>
Russell Bryant<br>
</font></span><div class=""><div class="h5"><br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br></div></div>