<div dir="ltr">Hi Simon,<div><br></div><div>I agree with your concern.</div><div>Let me point out however that VMware mine sweeper runs almost all the smoke suite.</div><div>It's been down a few days for an internal software upgrade, so perhaps you have not seen any recent report from it.</div>
<div><br></div><div>I've seen some CI systems testing as little as tempest.api.network.</div><div>Since a criterion on the minimum set of tests to run was not defined prior to the release cycle, it was also not ok to enforce it once the system went live.</div>
<div>The only thing active at the moment is a sort of purpose built lie detector [1].</div><div><br></div><div>I hope stricter criteria will be enforced for Juno; I personally think every CI should run at least the smoketest suite for L2/L3 services (eg: load balancer scenario will stay optional).</div>
<div><br></div><div>Salvatore</div><div><br></div><div>[1] <a href="https://review.openstack.org/#/c/75304/">https://review.openstack.org/#/c/75304/</a></div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">
On 3 April 2014 12:28, Simon Pasquier <span dir="ltr"><<a href="mailto:simon.pasquier@bull.net" target="_blank">simon.pasquier@bull.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi,<br>
<br>
I'm looking at [1] but I see no requirement of which Tempest tests<br>
should be executed.<br>
<br>
In particular, I'm a bit puzzled that it is not mandatory to boot an<br>
instance and check that it gets connected to the network. To me, this is<br>
the very minimum for asserting that your plugin or driver is working<br>
with Neutron *and* Nova (I'm not even talking about security groups). I<br>
had a quick look at the existing 3rd party CI systems and I found none<br>
running this kind of check (correct me if I'm wrong).<br>
<br>
Thoughts?<br>
<br>
[1] <a href="https://wiki.openstack.org/wiki/Neutron_Plugins_and_Drivers" target="_blank">https://wiki.openstack.org/wiki/Neutron_Plugins_and_Drivers</a><br>
<span class="HOEnZb"><font color="#888888">--<br>
Simon Pasquier<br>
Software Engineer (OpenStack Expertise Center)<br>
Bull, Architect of an Open World<br>
Phone: <a href="tel:%2B%2033%204%2076%2029%2071%2049" value="+33476297149">+ 33 4 76 29 71 49</a><br>
<a href="http://www.bull.com" target="_blank">http://www.bull.com</a><br>
<br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</font></span></blockquote></div><br></div>