<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;">What I ended up doing was writing a cronjob that checked for queues with 0 consumers and messages > 0, then I deleted those queues.<div>Seems to make rabbit happy</div><div><br><div><div>On May 21, 2014, at 8:21 AM, Michael Dorman <<a href="mailto:mdorman@godaddy.com">mdorman@godaddy.com</a>> wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite">

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; font-size: 14px; font-family: Calibri, sans-serif;">
<div>Actually, I lied.  This change has been merged and is part of Icehouse.</div>
<div><br>
</div>
<div>We are still running on Havana, though, and haven’t actually tried it.  People we talked to have had success with it, though.</div>
<div><br>
</div>
<div><br>
</div>
<span id="OLK_SRC_BODY_SECTION">
<div style="font-family: Calibri; font-size: 11pt; text-align: left; border-width: 1pt medium medium; border-style: solid none none; padding: 3pt 0in 0in; border-top-color: rgb(181, 196, 223);">
<span style="font-weight:bold">From: </span>Michael Dorman <<a href="mailto:mdorman@godaddy.com">mdorman@godaddy.com</a>><br>
<span style="font-weight:bold">Date: </span>Wednesday, May 21, 2014 at 9:14 AM<br>
<span style="font-weight:bold">To: </span>Belmiro Moreira <<a href="mailto:moreira.belmiro.email.lists@gmail.com">moreira.belmiro.email.lists@gmail.com</a>>, OpenStack Operators <<a href="mailto:openstack-operators@lists.openstack.org">openstack-operators@lists.openstack.org</a>><br>
<span style="font-weight:bold">Subject: </span>Re: [Openstack-operators] nova-compute not consuming messages<br>
</div>
<div><br>
</div>
<div>
<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; font-size: 14px; font-family: Calibri, sans-serif;">
<div>We see the same behavior, and a lot of other people have this problem, too.  It’s related to how the Rabbit client code is handling disconnects/reconnects.  Do you happen to be connecting to Rabbit through a load balancer?</div>
<div><br>
</div>
<div>We don’t have a create solution for this, but talked to several folks at the Summit for ideas.</div>
<div><br>
</div>
<div>See this bug:  <a href="https://bugs.launchpad.net/oslo/+bug/856764">https://bugs.launchpad.net/oslo/+bug/856764</a>  and this review: <a href="https://review.openstack.org/#/c/76686/">https://review.openstack.org/#/c/76686/</a> for a possible solution.
  This has not been merged in yet, though.</div>
<div><br>
</div>
<div>Mike</div>
<div><br>
</div>
<div><br>
</div>
<span id="OLK_SRC_BODY_SECTION">
<div style="font-family: Calibri; font-size: 11pt; text-align: left; border-width: 1pt medium medium; border-style: solid none none; padding: 3pt 0in 0in; border-top-color: rgb(181, 196, 223);">
<span style="font-weight:bold">From: </span>Belmiro Moreira <<a href="mailto:moreira.belmiro.email.lists@gmail.com">moreira.belmiro.email.lists@gmail.com</a>><br>
<span style="font-weight:bold">Date: </span>Wednesday, May 21, 2014 at 8:05 AM<br>
<span style="font-weight:bold">To: </span>OpenStack Operators <<a href="mailto:openstack-operators@lists.openstack.org">openstack-operators@lists.openstack.org</a>><br>
<span style="font-weight:bold">Subject: </span>[Openstack-operators] nova-compute not consuming messages<br>
</div>
<div><br>
</div>
<div>
<div>
<div dir="ltr"><p class="MsoNormal">Hi,</p><p class="MsoNormal">In our infrastructure we are observing that some compute nodes are reporting the state correctly but not consuming messages.</p><p class="MsoNormal">For the scheduler they are available, so it schedules VMs on them, and then the messages are pilling up in the compute.”host” queues.</p><p class="MsoNormal">Restarting nova-compute solves the problem. All old messages in the queue are consumed and they start behaving properly until next time…</p><p class="MsoNormal">I don’t get anything interesting from the logs.</p><div> <br class="webkit-block-placeholder"></div><p class="MsoNormal">We are using rabbit 3.2.4 clustered with mirror queues and Havana 2.
</p><div> <br class="webkit-block-placeholder"></div><p class="MsoNormal">Anyone observed the same symptoms?</p><div> <br class="webkit-block-placeholder"></div><p class="MsoNormal">thanks,</p><p class="MsoNormal">Belmiro</p>
</div>
</div>
</div>
</span></div>
</div>
</span>
</div>

_______________________________________________<br>OpenStack-operators mailing list<br><a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators<br></blockquote></div><br></div></body></html>