<div dir="ltr">I have some hints which the people looking at neutron failures might find useful.<div><br></div><div># 1 - in [1] a weird thing happens with DHCP. A DHCPDISCOVER with for <font color="#000000">fa:16:3e:cc:d9:c7 is pretty much simultaneously received by two dnsmasq instances, which are listening on ports belonging to two distinct networks.</font></div>
<div><font color="#000000">Looking at the agent logs as well, this apparently happens because both DHCP ports and the VM VIF port are plugged into br-int at the same time and none of them has been wired by the ovs agent. It seems that VIF plugging performed both in nova and the agents does not disable those VIFs by default, so this is a likely explanation. The resulting effect is probably that one DHCP server cancels the offer send by the other, thus resulting in no IP configured in the VM.</font></div>
<div><font color="#000000">A corollary is that there is a chance that so far DHCP has worked by chance in several cases, because the DISCOVER message was sent before the ports were wired. So fixing this bug might spur a new set of timeout errors, especially if we consider that now neutron does not create the dhcp port until a port is created on the subnet, thus meaning that the wiring of the DHCP port is likely to happen after the VIF.</font></div>
<div><br></div><div># 2 - the latest tempest changes are leaving resources behind - look at the bottom [2]. Armax has added a check to our CI to verify this; for upstream jobs, this probably means more load on the system, and higher possibility of timeouts and other non-deterministic failures.</div>
<div><br></div><div># 3 - Still in [2] you will notice that the VM has not yet configured networking when the timeout expires. Correlating the timestamp when the VM acquires the clock, and the time elapsed from boot at that instant it is possible to infer the VM has been not doing anything for about 34 seconds after becoming active; this causes the job to always time out and Armax has whitelisted this bug in mine sweeper. This problem however might be exclusive to our CI (which in this instance uses the libvirt/kvm virt driver).</div>
<div><br></div><div>Regards,</div><div>Salvatore</div><div><br></div><div>[1] <a href="http://logs.openstack.org/19/67919/2/check/check-tempest-dsvm-neutron-isolated/ddaf7c5/logs/syslog.txt.gz">http://logs.openstack.org/19/67919/2/check/check-tempest-dsvm-neutron-isolated/ddaf7c5/logs/syslog.txt.gz</a></div>
<div>[2] <a href="http://81.156.166.125/67719/1/686/console.txt.gz">http://81.156.166.125/67719/1/686/console.txt.gz</a></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 21 January 2014 15:52, Russell Bryant <span dir="ltr"><<a href="mailto:rbryant@redhat.com" target="_blank">rbryant@redhat.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">-----BEGIN PGP SIGNED MESSAGE-----<br>
Hash: SHA1<br>
<div class="im"><br>
On 01/21/2014 07:14 AM, Sean Dague wrote:<br>
> Brief update on where we stand on the gate (still not great) - gate<br>
> is currently 126 deep - top of queue entered 51hrs ago<br>
><br>
> Bug 1270680 - v3 extensions api inherently racey wrt instances -<br>
> patch landed (seems to have helped though the exception is still<br>
> showing up quite a bit, so don't know if this is 100% fixed)<br>
><br>
> - Thanks to Russell, Dan Smith, and Chris Yeoh for diving in here.<br>
<br>
</div>The workaround we merged didn't catch all cases of this bug.  I have<br>
another patch to get the rest.  We should promote this to the front of<br>
the gate queue.<br>
<br>
<a href="https://review.openstack.org/68147" target="_blank">https://review.openstack.org/68147</a><br>
<br>
- --<br>
Russell Bryant<br>
-----BEGIN PGP SIGNATURE-----<br>
Version: GnuPG v1<br>
Comment: Using GnuPG with Thunderbird - <a href="http://www.enigmail.net/" target="_blank">http://www.enigmail.net/</a><br>
<br>
iEYEARECAAYFAlLel84ACgkQFg9ft4s9SAbxJACdGTzWShYGdIOPNVg+UsR4eaS4<br>
PBIAnjoByv0u5irwhEPSmx5SF18aL2nF<br>
=2k2f<br>
-----END PGP SIGNATURE-----<br>
<div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br></div>