<div dir="ltr">One Convergence CI did report the third party tests as failed, but is configured not to vote. Should we turn on the voting?<div><br></div><div style>Thanks,</div><div style>-hemanth</div></div><div class="gmail_extra">
<br><br><div class="gmail_quote">On Fri, Feb 21, 2014 at 1:29 PM, Carl Baldwin <span dir="ltr"><<a href="mailto:carl@ecbaldwin.net" target="_blank">carl@ecbaldwin.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Aaron,<br>
<br>
I was thinking the same thing recently with this patch [1].  Patch<br>
sets 1-5 should have failed for any plugin besides ml2 yet some passed<br>
and I wondered how that could happen.  Kudos to those patches that<br>
failed my patch sets correctly.<br>
<br>
Carl<br>
<br>
[1] <a href="https://review.openstack.org/#/c/72565/" target="_blank">https://review.openstack.org/#/c/72565/</a><br>
<div class="HOEnZb"><div class="h5"><br>
On Fri, Feb 21, 2014 at 11:34 AM, Aaron Rosen <<a href="mailto:aaronorosen@gmail.com">aaronorosen@gmail.com</a>> wrote:<br>
> Hi,<br>
><br>
> Yesterday, I pushed a patch to review and was surprised that several of the<br>
> third party CI systems reported back that the patch-set worked where it<br>
> definitely shouldn't have. Anyways, I tested out my theory a little more and<br>
> it turns out a few of the 3rd party CI systems for neutron are just<br>
> returning  SUCCESS even if the patch set didn't run successfully<br>
> (<a href="https://review.openstack.org/#/c/75304/" target="_blank">https://review.openstack.org/#/c/75304/</a>).<br>
><br>
> Here's a short summery of what I found.<br>
><br>
> Hyper-V CI -- This seems like an easy fix as it's posting "build succeeded"<br>
> but also puts to the side "test run failed". Would probably be a good idea<br>
> to remove the "build succeeded" message to avoid any confusion.<br>
><br>
><br>
> Brocade CI - From the log files it posts it shows that it tries to apply my<br>
> patch but fails:<br>
><br>
> 2014-02-20 20:23:48 + cd /opt/stack/neutron<br>
> 2014-02-20 20:23:48 + git fetch<br>
> <a href="https://review.openstack.org/openstack/neutron.git" target="_blank">https://review.openstack.org/openstack/neutron.git</a> refs/changes/04/75304/1<br>
> 2014-02-20 20:24:00 From <a href="https://review.openstack.org/openstack/neutron" target="_blank">https://review.openstack.org/openstack/neutron</a><br>
> 2014-02-20 20:24:00  * branch            refs/changes/04/75304/1 -><br>
> FETCH_HEAD<br>
> 2014-02-20 20:24:00 + git checkout FETCH_HEAD<br>
> 2014-02-20 20:24:00 error: Your local changes to the following files would<br>
> be overwritten by checkout:<br>
> 2014-02-20 20:24:00   etc/neutron/plugins/ml2/ml2_conf_brocade.ini<br>
> 2014-02-20 20:24:00<br>
>       neutron/plugins/ml2/drivers/brocade/mechanism_brocade.py<br>
> 2014-02-20 20:24:00 Please, commit your changes or stash them before you can<br>
> switch branches.<br>
> 2014-02-20 20:24:00 Aborting<br>
> 2014-02-20 20:24:00 + cd /opt/stack/neutron<br>
><br>
> but still continues running (without my patchset) and reports success. --<br>
> This actually looks like a devstack bug  (i'll check it out).<br>
><br>
> PLUMgrid CI - Seems to always vote +1 without a failure<br>
> (<a href="https://review.openstack.org/#/dashboard/10117" target="_blank">https://review.openstack.org/#/dashboard/10117</a>) though the logs are private<br>
> so we can't really tell whats going on.<br>
><br>
> I was thinking it might be worth while or helpful to have a job that tests<br>
> that CI is actually fails when we expect it to.<br>
><br>
> Best,<br>
><br>
> Aaron<br>
><br>
><br>
</div></div><div class="HOEnZb"><div class="h5">> _______________________________________________<br>
> OpenStack-dev mailing list<br>
> <a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
><br>
<br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br></div>