<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif;">
<div>Actually, I lied.  This change has been merged and is part of Icehouse.</div>
<div><br>
</div>
<div>We are still running on Havana, though, and haven’t actually tried it.  People we talked to have had success with it, though.</div>
<div><br>
</div>
<div><br>
</div>
<span id="OLK_SRC_BODY_SECTION">
<div style="font-family:Calibri; font-size:11pt; text-align:left; color:black; BORDER-BOTTOM: medium none; BORDER-LEFT: medium none; PADDING-BOTTOM: 0in; PADDING-LEFT: 0in; PADDING-RIGHT: 0in; BORDER-TOP: #b5c4df 1pt solid; BORDER-RIGHT: medium none; PADDING-TOP: 3pt">
<span style="font-weight:bold">From: </span>Michael Dorman <<a href="mailto:mdorman@godaddy.com">mdorman@godaddy.com</a>><br>
<span style="font-weight:bold">Date: </span>Wednesday, May 21, 2014 at 9:14 AM<br>
<span style="font-weight:bold">To: </span>Belmiro Moreira <<a href="mailto:moreira.belmiro.email.lists@gmail.com">moreira.belmiro.email.lists@gmail.com</a>>, OpenStack Operators <<a href="mailto:openstack-operators@lists.openstack.org">openstack-operators@lists.openstack.org</a>><br>
<span style="font-weight:bold">Subject: </span>Re: [Openstack-operators] nova-compute not consuming messages<br>
</div>
<div><br>
</div>
<div>
<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif;">
<div>We see the same behavior, and a lot of other people have this problem, too.  It’s related to how the Rabbit client code is handling disconnects/reconnects.  Do you happen to be connecting to Rabbit through a load balancer?</div>
<div><br>
</div>
<div>We don’t have a create solution for this, but talked to several folks at the Summit for ideas.</div>
<div><br>
</div>
<div>See this bug:  <a href="https://bugs.launchpad.net/oslo/+bug/856764">https://bugs.launchpad.net/oslo/+bug/856764</a>  and this review: <a href="https://review.openstack.org/#/c/76686/">https://review.openstack.org/#/c/76686/</a> for a possible solution.
  This has not been merged in yet, though.</div>
<div><br>
</div>
<div>Mike</div>
<div><br>
</div>
<div><br>
</div>
<span id="OLK_SRC_BODY_SECTION">
<div style="font-family:Calibri; font-size:11pt; text-align:left; color:black; BORDER-BOTTOM: medium none; BORDER-LEFT: medium none; PADDING-BOTTOM: 0in; PADDING-LEFT: 0in; PADDING-RIGHT: 0in; BORDER-TOP: #b5c4df 1pt solid; BORDER-RIGHT: medium none; PADDING-TOP: 3pt">
<span style="font-weight:bold">From: </span>Belmiro Moreira <<a href="mailto:moreira.belmiro.email.lists@gmail.com">moreira.belmiro.email.lists@gmail.com</a>><br>
<span style="font-weight:bold">Date: </span>Wednesday, May 21, 2014 at 8:05 AM<br>
<span style="font-weight:bold">To: </span>OpenStack Operators <<a href="mailto:openstack-operators@lists.openstack.org">openstack-operators@lists.openstack.org</a>><br>
<span style="font-weight:bold">Subject: </span>[Openstack-operators] nova-compute not consuming messages<br>
</div>
<div><br>
</div>
<div>
<div>
<div dir="ltr">
<p class="MsoNormal">Hi,</p>
<p class="MsoNormal">In our infrastructure we are observing that some compute nodes are reporting the state correctly but not consuming messages.</p>
<p class="MsoNormal">For the scheduler they are available, so it schedules VMs on them, and then the messages are pilling up in the compute.”host” queues.</p>
<p class="MsoNormal">Restarting nova-compute solves the problem. All old messages in the queue are consumed and they start behaving properly until next time…</p>
<p class="MsoNormal">I don’t get anything interesting from the logs.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">We are using rabbit 3.2.4 clustered with mirror queues and Havana 2.
</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">Anyone observed the same symptoms?</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">thanks,</p>
<p class="MsoNormal">Belmiro</p>
</div>
</div>
</div>
</span></div>
</div>
</span>
</body>
</html>