<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif;">
<div>
<div>+1 on this.</div>
<div><br>
</div>
<div>In general rabbitmq connectivity/failover is pretty terrible.  Services look to be connected to rabbitmq but in reality they aren't, monitoring on the server to see if it has an established connection to rabbitmq isn't enough. Our experience is pretty
 much the same on anything that is using rabbitmq - not just nova-compute.  The issue seems to be that it can send messages, but it doesn't actually pull messages from the queue.  Also, when we restart a rabbit node in the cluster, connections typically have
 issues re-establishing and we need to restart most services to fix the issue.</div>
<div>
<div>
<div>____________________________________________</div>
<div> </div>
<div>Kris Lindgren</div>
<div>Senior Linux Systems Engineer</div>
<div>GoDaddy, LLC.</div>
<div><br>
</div>
</div>
<div><br>
</div>
</div>
</div>
<div><br>
</div>
<span id="OLK_SRC_BODY_SECTION">
<div style="font-family:Calibri; font-size:11pt; text-align:left; color:black; BORDER-BOTTOM: medium none; BORDER-LEFT: medium none; PADDING-BOTTOM: 0in; PADDING-LEFT: 0in; PADDING-RIGHT: 0in; BORDER-TOP: #b5c4df 1pt solid; BORDER-RIGHT: medium none; PADDING-TOP: 3pt">
<span style="font-weight:bold">From: </span>Gustavo Randich <<a href="mailto:gustavo.randich@gmail.com">gustavo.randich@gmail.com</a>><br>
<span style="font-weight:bold">Date: </span>Thursday, January 15, 2015 at 8:34 AM<br>
<span style="font-weight:bold">To: </span>"<a href="mailto:openstack-operators@lists.openstack.org">openstack-operators@lists.openstack.org</a>" <<a href="mailto:openstack-operators@lists.openstack.org">openstack-operators@lists.openstack.org</a>><br>
<span style="font-weight:bold">Subject: </span>[Openstack-operators] Way to check compute <-> rabbitmq connectivity<br>
</div>
<div><br>
</div>
<div>
<div>
<div dir="ltr">
<div>
<div>
<div>Hi, <br>
<br>
</div>
I'm experiencing some issues with nova-compute services not responding to rabbitmq messages, despite the service reporting OK state via periodic tasks. Apparently the TCP connection is open but in a stale or unresponsive state. This happens sporadically when
 there is some not yet understood network problem. Restarting nova-compute solves the problem.<br>
<br>
</div>
Is there any way, preferably via openstack API, to probe service responsiveness, i.e., that it consumes messages, so we can program an alert?<br>
<br>
</div>
Thanks in advance!<br>
<br>
</div>
</div>
</div>
</span>
</body>
</html>