<div dir="ltr">Salvatore,<div><br></div><div>I do agree with you. When I said in my first email "little bit of guidance" I mean the policy for Icehouse and moving forward. I do not want to make our PTL angry  :-)</div>
<div><br></div><div>Mark,</div><div><br></div><div>I hope you can commend on this thread, otherwise I will bring this topic on our next IRC meeting.</div><div><br></div><div>Thanks,</div><div><br></div><div>Edgar</div></div>
<div class="gmail_extra"><br><br><div class="gmail_quote">On Wed, Nov 13, 2013 at 7:11 PM, Salvatore Orlando <span dir="ltr"><<a href="mailto:sorlando@nicira.com" target="_blank">sorlando@nicira.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I reckon we should wait a little for the PTL to propose a draft of the policy we can comment on.<div><br>
</div><div>'thirdy paty test' probably was meant as integration with gerrit (<a href="http://ci.openstack.org/third_party.html" target="_blank">http://ci.openstack.org/third_party.html</a>); the test suite to be executed is, obviously, the tempest test suite.</div>

<div>In my opinion, the policy will define criteria for acceptability of skipped tests and ability of adding plugin-specific tests.</div><div><br></div><div>Regards,</div><div>Salvatore</div></div><div class="HOEnZb"><div class="h5">
<div class="gmail_extra">
<br><br><div class="gmail_quote">On 12 November 2013 15:15, Kyle Mestery (kmestery) <span dir="ltr"><<a href="mailto:kmestery@cisco.com" target="_blank">kmestery@cisco.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div>On Nov 12, 2013, at 2:46 AM, Robert Collins <<a href="mailto:robertc@robertcollins.net" target="_blank">robertc@robertcollins.net</a>> wrote:<br>
> On 12 November 2013 21:15, Edgar Magana <<a href="mailto:emagana@plumgrid.com" target="_blank">emagana@plumgrid.com</a>> wrote:<br>
>> Team,<br>
>><br>
>> It has been decided during the Icehouse summit that all vendor specific<br>
>> plug-ins should enforce remote tempest tests:<br>
>> <a href="http://ci.openstack.org/third_party.html" target="_blank">http://ci.openstack.org/third_party.html</a><br>
>><br>
>> I would like to understand if we will apply this rule for any new plug-in<br>
>> during Icehouse or we will start applying this new requirement until "J"<br>
>> timeframe.<br>
><br>
> I can't comment on when - thats a Neutron dev decision, but I heartily<br>
> endorse getting all code paths tested asap :).<br>
><br>
</div>My personal opinion is if we are going to require all existing Neutron plugins to<br>
have valid smokestack tests by Icehouse-2, then any new plugins should not<br>
be allowed into the tree without those tests. This includes new Modular Layer 2<br>
MechanismDrivers as well.<br>
<div><br>
>> I do believe that should enforce this new requirement ASAP but I also<br>
>> believe that we need to provide a little bit more of guidance on this<br>
>> process.<br>
>> So, Besides the above mentioned wiki, is there any more information that we<br>
>> can provide about this new requirement? I think we should update Neutron<br>
>> wiki with this information.<br>
>> If somebody is very familiar with the process will be interested in posting<br>
>> their input on this thread.<br>
><br>
> I think the requirement of 'use third party tests' is confusing goal<br>
> with implementation: the goal should be that 'all vendor plugins be CI<br>
> tested at verification level at minimum'. This leaves room for gate<br>
> based testing of such plugins too, if the vendor steps up and meets<br>
> the requirements to have their plugin be gate checked - which is<br>
> superior to merely doing verification checks.<br>
><br>
> -Rob<br>
<br>
<br>
<br>
<br>
</div><div><div>_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br></div>
</div></div><br>_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div>