<div dir="ltr">Thanks for the reminder Jim.  I think it would be helpful if zuul reported a message back to gerrit only if the xml output has changed.  Something like "<span style="font-family:arial,sans-serif;font-size:12.7272720336914px">builder-compare-</span><span style="font-family:arial,sans-serif;font-size:12.7272720336914px">xml job</span> reported changes in xml output for OpenStack jobs".</div>
<div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Sep 2, 2014 at 4:02 PM, James E. Blair <span dir="ltr"><<a href="mailto:corvus@inaugust.com" target="_blank">corvus@inaugust.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
Jenkins-job-builder runs a job called "jenkins-job-builder-compare-xml"<br>
which runs JJB master against openstack's JJB config, then runs it again<br>
with the proposed change and compares the output.<br>
<br>
Instead of success/failure, what it does is reports whether the output<br>
changed or not.  If you follow the link, you can see exactly what<br>
changed (it produces a diff).<br>
<br>
Generally in JJB, by default we should expect that most changes do not<br>
change the XML output.  Of course they can and should sometimes, which<br>
is why the job doesn't vote.  In those cases, I think it's worth<br>
highlighting either in the commit message or in the comments what you<br>
would expect to change and why it's okay.<br>
<br>
If the compare job says that the output changed, reviewers should ask<br>
why it changed -- it may be an error.  Or if it was intentional, make<br>
sure that the output of the compare job matches the intent of the<br>
change.<br>
<br>
Recently, a change was merged where JJB completely failed to run on the<br>
production openstack-infra config.  Not only is this a problem for<br>
infra, but it likely is a very legitimate bug in JJB itself.  The<br>
problem was visible in the output of the compare XML job, which also<br>
indicated that the XML output changed.  Hopefully in the future, we can<br>
catch this in review.  If it would help catch people's attention, we can<br>
change the message that Zuul leaves on the XML compare job.<br>
<br>
-Jim<br>
<br>
_______________________________________________<br>
OpenStack-Infra mailing list<br>
<a href="mailto:OpenStack-Infra@lists.openstack.org">OpenStack-Infra@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-infra" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-infra</a><br>
</blockquote></div><br></div>