<div dir="ltr">Good catch. This was a result of the "Don't unnecessarily loop through all ports/interfaces" patch.[1]<div><br><div><div>Passing a list of names to "ovs-vsctl list Interface" with an element that doesn't match an existing port causes an error.[2] This happens when a port is deleted right after the list of interface names is gathered but before the "list Interface" command is run. I think the resulting runtime errors were interfering with the correct operation of the agent.</div></div></div><div><br></div><div>There is a fix up[3] that adds the '--if-exists' flag that should restore the previous behavior of not requiring the requested names to exist. Hopefully that should clear up the issue.</div><div><br></div><div><br></div><div>1. <a href="https://github.com/openstack/neutron/commit/3f0bf6cfac2e151d5a4a7f076062b3365bdbf457">https://github.com/openstack/neutron/commit/3f0bf6cfac2e151d5a4a7f076062b3365bdbf457</a></div><div>2. <a href="http://logs.openstack.org/12/142412/3/gate/gate-tempest-dsvm-neutron-full/9990c84/logs/screen-q-agt.txt.gz#_2015-01-02_15_42_40_999">http://logs.openstack.org/12/142412/3/gate/gate-tempest-dsvm-neutron-full/9990c84/logs/screen-q-agt.txt.gz#_2015-01-02_15_42_40_999</a></div><div>3. <a href="https://review.openstack.org/#/c/144872/">https://review.openstack.org/#/c/144872/</a></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Jan 3, 2015 at 4:14 PM, Matt Riedemann <span dir="ltr"><<a href="mailto:mriedem@linux.vnet.ibm.com" target="_blank">mriedem@linux.vnet.ibm.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><a href="https://bugs.launchpad.net/neutron/+bug/1407190" target="_blank">https://bugs.launchpad.net/<u></u>neutron/+bug/1407190</a><br>
<br>
Looks like this started on 12/29.  I checked the neutron commits around that time and there are some related to ports/interfaces and openvswitch but I'm not sure that they contributing to this issue.<br>
<br>
I've put a bunch of notes and log links in the bug report, basically there is a race in a tempest test where it creates a server and adds two ports to it (so a total of three), it waits for each port to be ACTIVE before continuing, and then does a show port call by port ID and server ID and expects the port to be the same as what it originally created. When this fails, the expected port_status is 'ACTIVE' but the actual port_status is 'BUILD'.<br>
<br>
I've found in the logs where nova/neutron are seeing the port going to 'BUILD' state but I don't know enough about the neutron code to tell what actually triggers this change, the only place I see 'BUILD' used is in the nova event notifier code in neutron which is related to the vif plug/unplug callback on nova server boot.<br>
<br>
This isn't the top gate bug, but it's got a significant number of hits and seems like something that we should be able to reasonably get a quick handle on given I think we know when it started (12/29 according to logstash, I caught it before the 10 day index in logstash passed).<span class="HOEnZb"><font color="#888888"><br>
<br>
-- <br>
<br>
Thanks,<br>
<br>
Matt Riedemann<br>
<br>
<br>
______________________________<u></u>_________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org" target="_blank">OpenStack-dev@lists.openstack.<u></u>org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/<u></u>cgi-bin/mailman/listinfo/<u></u>openstack-dev</a><br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div>Kevin Benton</div></div>
</div>