<div dir="ltr"><div>Some more info added to Jakub's excellent report :)</div><div><br></div><div><br></div><div>New kernel Ubuntu-4.4.0-89.112HEADUbuntu-4.4.0-89.112master was</div><div>tagged 9 days ago (07/31/2017) [0].</div><div><br></div><div>From a quick look, the only commit around this function is [1].</div><div><br></div><div>[0] <a href="http://kernel.ubuntu.com/git/ubuntu/ubuntu-xenial.git/commit/?id=64de31ed97a03ec1b86fd4f76e445506dce55b02">http://kernel.ubuntu.com/git/ubuntu/ubuntu-xenial.git/commit/?id=64de31ed97a03ec1b86fd4f76e445506dce55b02</a></div><div>[1] <a href="http://kernel.ubuntu.com/git/ubuntu/ubuntu-xenial.git/commit/?id=2ad4caea651e1cc0fc86111ece9f9d74de825b78">http://kernel.ubuntu.com/git/ubuntu/ubuntu-xenial.git/commit/?id=2ad4caea651e1cc0fc86111ece9f9d74de825b78</a></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Aug 9, 2017 at 3:29 PM, Jakub Libosvar <span dir="ltr"><<a href="mailto:jlibosva@redhat.com" target="_blank">jlibosva@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Daniel Alvarez and I spent some time looking at it and the culprit was<br>
finally found.<br>
<br>
tl;dr<br>
<br>
We updated a kernel on machines to one containing bug when creating<br>
conntrack entries which makes functional tests stuck. More info at [4].<br>
<br>
For now, I sent a patch [5] to disable for now jobs that create<br>
conntrack entries manually, it needs update of commit message. Once it<br>
merges, we an enable back functional job to voting to avoid regressions.<br>
<br>
Is it possible to switch used image for jenkins machines to use back the<br>
older version? Any other ideas how to deal with the kernel bug?<br>
<br>
Thanks<br>
Jakub<br>
<br>
[5] <a href="https://review.openstack.org/#/c/492068/1" rel="noreferrer" target="_blank">https://review.openstack.org/#<wbr>/c/492068/1</a><br>
<div class="HOEnZb"><div class="h5"><br>
On 07/08/2017 11:52, Jakub Libosvar wrote:<br>
> Hi all,<br>
><br>
> as per grafana [1] the functional job is broken. Looking at logstash [2]<br>
> it started happening consistently since 2017-08-03 16:27. I didn't find<br>
> any particular patch in Neutron that could cause it.<br>
><br>
> The culprit is that ovsdb starts misbehaving [3] and then we retry calls<br>
> indefinitely. We still use 2.5.2 openvswitch as we had before. I opened<br>
> a bug [4] and started investigation, I'll update my findings there.<br>
><br>
> I think at this point there is no reason to run "recheck" on your patches.<br>
><br>
> Thanks,<br>
> Jakub<br>
><br>
> [1]<br>
> <a href="http://grafana.openstack.org/dashboard/db/neutron-failure-rate?panelId=7&fullscreen" rel="noreferrer" target="_blank">http://grafana.openstack.org/<wbr>dashboard/db/neutron-failure-<wbr>rate?panelId=7&fullscreen</a><br>
> [2] <a href="http://bit.ly/2vdKMwy" rel="noreferrer" target="_blank">http://bit.ly/2vdKMwy</a><br>
> [3]<br>
> <a href="http://logs.openstack.org/14/488914/8/check/gate-neutron-dsvm-functional-ubuntu-xenial/75d7482/logs/openvswitch/ovsdb-server.txt.gz" rel="noreferrer" target="_blank">http://logs.openstack.org/14/<wbr>488914/8/check/gate-neutron-<wbr>dsvm-functional-ubuntu-xenial/<wbr>75d7482/logs/openvswitch/<wbr>ovsdb-server.txt.gz</a><br>
> [4] <a href="https://bugs.launchpad.net/neutron/+bug/1709032" rel="noreferrer" target="_blank">https://bugs.launchpad.net/<wbr>neutron/+bug/1709032</a><br>
><br>
<br>
<br>
______________________________<wbr>______________________________<wbr>______________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.<wbr>openstack.org?subject:<wbr>unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-dev</a><br>
</div></div></blockquote></div><br></div>