<div dir="ltr">Hi Kyle, <div><br></div><div>Arista CI has been voting +1 for success and comments in case of Failures. </div><div style>Are the CI's now allowed to post -1 for failures? I have to make a minor change to start voting -1. </div>
<div style><br></div><div style>Please advise. </div><div style>-Sukhdev</div><div style><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Jun 13, 2014 at 10:07 AM, Kyle Mestery <span dir="ltr"><<a href="mailto:mestery@noironetworks.com" target="_blank">mestery@noironetworks.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I've spent some time doing some initial analysis of 3rd Party CI in<br>
Neutron. The tl;dr is that it's a mess, and it needs fixing. And I'm<br>
setting a deadline of Juno-2 for people to address their CI systems<br>
and get them in shape or we will remove plugins and drivers in Juno-3<br>
which do not meet the expectations set out below.<br>
<br>
My initial analysis of Neutron 3rd Party CI is here [1]. This was<br>
somewhat correlated with information from DriverLog [2], which was<br>
helpful to put this together.<br>
<br>
As you can see from the list, there are a lot of CI systems which are<br>
broken right now. Some have just recently started working again.<br>
Others are working great, and some are in the middle somewhere. The<br>
overall state isn't that great. I'm sending this email to<br>
openstack-dev and BCC;ing CI owners to raise awareness of this issue.<br>
If I have incorrectly labeled your CI, please update the etherpad and<br>
include links to the latest voting/comments your CI system has done<br>
upstream and reply to this thread.<br>
<br>
I have documented the 3rd Party CI requirements for Neutron here [3].<br>
I expect people to be following these guidelines for their CI systems.<br>
If there are questions on the guidelines or expectations, please reply<br>
to this thread or reach out to myself in #openstack-neutron on<br>
Freenode. There is also a third-party meeting [4] which is a great<br>
place to ask questions and share your experience setting up a 3rd<br>
party CI system. The infra team has done a great job sponsoring and<br>
running this meeting (thanks Anita!), so please both take advantage of<br>
it and also contribute to it so we can all share knowledge and help<br>
each other.<br>
<br>
Owners of plugins/drivers should ensure their CI is matching the<br>
requirements set forth by both infra and Neutron when running tests<br>
and posting results. Like I indicated earlier, we will look at<br>
removing code for drivers which are not meeting these requirements as<br>
set forth in the wiki pages.<br>
<br>
The goal of this effort is to ensure consistency across testing<br>
platforms, making it easier for developers to diagnose issues when<br>
third party CI systems fail, and to ensure these drivers are tested<br>
since they are part of the integrated releases we perform. We used to<br>
require a core team member to sponsor a plugin/driver, but we moved to<br>
the 3rd party CI system in Icehouse instead. Ensuring these systems<br>
are running and properly working is the only way we can ensure code is<br>
working when it's part of the integrated release.<br>
<br>
Thanks,<br>
Kyle<br>
<br>
[1] <a href="https://etherpad.openstack.org/p/ZLp9Ow3tNq" target="_blank">https://etherpad.openstack.org/p/ZLp9Ow3tNq</a><br>
[2] <a href="http://www.stackalytics.com/driverlog/?project_id=openstack%2Fneutron&vendor=&release_id=" target="_blank">http://www.stackalytics.com/driverlog/?project_id=openstack%2Fneutron&vendor=&release_id=</a><br>

[3] <a href="https://wiki.openstack.org/wiki/NeutronThirdPartyTesting" target="_blank">https://wiki.openstack.org/wiki/NeutronThirdPartyTesting</a><br>
[4] <a href="https://wiki.openstack.org/wiki/Meetings/ThirdParty" target="_blank">https://wiki.openstack.org/wiki/Meetings/ThirdParty</a><br>
<br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</blockquote></div><br></div>