<div dir="ltr"><div><div><div>I have been hit by these failures as well.<br></div>I think you did well by bumping out that revert from the queue; I think it simply cures the sympton possibly affecting correct operations of the firewall service.<br></div>If we are looking at removing the sympton on the API job, than I'd skip the failing tests while somebody figures out what's going on (unless the team decides that it is better to revert again multiple workers).<br><br></div>However, I think the issue might not be limited at firewall. I've seen a worrying spike in rally failures [1]. Since it's non-voting probably developers do not care a lot about it, but it provides very useful insights. I am looking at rally logs now - at the moment I have not yet a clear idea of the root cause of such failures.<br><br>Salvatore<br><br>[1] <a href="http://graphite.openstack.org/render/?width=840&height=308&_salt=1439335659.449&target=hitcount%28stats.zuul.pipeline.check.job.gate-rally-dsvm-neutron-neutron.FAILURE%2C%221h%22%29&from=-72hours">http://graphite.openstack.org/render/?width=840&height=308&_salt=1439335659.449&target=hitcount%28stats.zuul.pipeline.check.job.gate-rally-dsvm-neutron-neutron.FAILURE%2C%221h%22%29&from=-72hours</a><br><div><div><div><br></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On 12 August 2015 at 00:21, Sean M. Collins <span dir="ltr"><<a href="mailto:sean@coreitpro.com" target="_blank">sean@coreitpro.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello,<br>
<br>
Today has been an exciting day, to say the least. Earlier today I was<br>
pinged on IRC about some firewall as a service unit test failures that<br>
were blocking patches from being merged, such as <a href="https://review.openstack.org/#/c/211537/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/211537/</a>.<br>
<br>
Neutron devs started poking around a bit and discussing on the IRC channel.<br>
<br>
<a href="http://eavesdrop.openstack.org/irclogs/%23openstack-neutron/%23openstack-neutron.2015-08-11.log.html#t2015-08-11T16:59:13" rel="noreferrer" target="_blank">http://eavesdrop.openstack.org/irclogs/%23openstack-neutron/%23openstack-neutron.2015-08-11.log.html#t2015-08-11T16:59:13</a><br>
<br>
I've started to dig a little bit and document what I've found on this<br>
bug.<br>
<br>
<a href="https://bugs.launchpad.net/neutron/+bug/1483875" rel="noreferrer" target="_blank">https://bugs.launchpad.net/neutron/+bug/1483875</a><br>
<br>
There was a change recently merged in devstack-gate which changes the<br>
MySQL database driver and the number of workers - <a href="https://review.openstack.org/#/c/210649/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/210649/</a><br>
which might be what is triggering the race condition - but I'm honestly<br>
not sure.<br>
<br>
I proposed a revert to a section of the FwaaS code, but frankly I'm not<br>
sure if this will fix the problem - <a href="https://review.openstack.org/211677" rel="noreferrer" target="_blank">https://review.openstack.org/211677</a><br>
- so I bumped it out of the merge queue when my anxiety reached maximum.<br>
I'm just not confident enough about my knowledge of the FwaaS codebase<br>
to really be making these kinds of changes.<br>
<br>
Is there anyone that has any insights?<br>
<span class="HOEnZb"><font color="#888888"><br>
<br>
--<br>
Sean M. Collins<br>
<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</font></span></blockquote></div><br></div>