<div dir="ltr">Hi, <div><br></div><div>Yesterday, I pushed a patch to review and was surprised that several of the third party CI systems reported back that the patch-set worked where it definitely shouldn't have. Anyways, I tested out my theory a little more and it turns out a few of the 3rd party CI systems for neutron are just returning  SUCCESS even if the patch set didn't run successfully (<a href="https://review.openstack.org/#/c/75304/">https://review.openstack.org/#/c/75304/</a>). </div>
<div><br></div><div>Here's a short summery of what I found. </div><div><br></div><div>Hyper-V CI -- This seems like an easy fix as it's posting "build succeeded" but also puts to the side "test run failed". Would probably be a good idea to remove the "build succeeded" message to avoid any confusion. </div>
<div><br></div><div><br></div><div>Brocade CI<span style="white-space:pre"> - From the log files it posts it shows that it tries to apply my patch but fails: </span><br></div><div><span style="white-space:pre"><br></span></div>
<div><pre style="color:rgb(0,0,0);word-wrap:break-word;white-space:pre-wrap">2014-02-20 20:23:48 + cd /opt/stack/neutron
2014-02-20 20:23:48 + git fetch <a href="https://review.openstack.org/openstack/neutron.git">https://review.openstack.org/openstack/neutron.git</a> refs/changes/04/75304/1
2014-02-20 20:24:00 From <a href="https://review.openstack.org/openstack/neutron
2014-02-20">https://review.openstack.org/openstack/neutron
2014-02-20</a> 20:24:00  * branch            refs/changes/04/75304/1 -> FETCH_HEAD
2014-02-20 20:24:00 + git checkout FETCH_HEAD
2014-02-20 20:24:00 error: Your local changes to the following files would be overwritten by checkout:
2014-02-20 20:24:00     etc/neutron/plugins/ml2/ml2_conf_brocade.ini
2014-02-20 20:24:00     neutron/plugins/ml2/drivers/brocade/mechanism_brocade.py
2014-02-20 20:24:00 Please, commit your changes or stash them before you can switch branches.
2014-02-20 20:24:00 Aborting
2014-02-20 20:24:00 + cd /opt/stack/neutron</pre></div><div>but still continues running (without my patchset) and reports success. -- This actually looks like a devstack bug  (i'll check it out). </div><div><br></div>
<div>PLUMgrid CI - Seems to always vote +1 without a failure (<a href="https://review.openstack.org/#/dashboard/10117">https://review.openstack.org/#/dashboard/10117</a>) though the logs are private so we can't really tell whats going on. <br>
</div><div><br></div><div>I was thinking it might be worth while or helpful to have a job that tests that CI is actually fails when we expect it to. </div><div><br></div><div>Best, </div><div><br>Aaron</div><div><br></div>
</div>