<div dir="ltr">I am curious how your system is setup?<div>Are you using nova with local storage? </div><div>Are you using ceph?</div><div><br></div><div>How long does it take to launch an instance when you are seeing this message?</div><div><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Aug 7, 2019 at 11:12 AM Herve Beraud <<a href="mailto:hberaud@redhat.com">hberaud@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Le mar. 6 août 2019 à 17:14, Ben Nemec <<a href="mailto:openstack@nemebean.com" target="_blank">openstack@nemebean.com</a>> a écrit :<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Another thing to check if you're having seemingly inexplicable messaging <br>
issues is that there isn't a notification queue filling up somewhere. If <br>
notifications are enabled somewhere but nothing is consuming them the <br>
size of the queue will eventually grind rabbit to a halt.<br>
<br>
I used to check queue sizes through the rabbit web ui, so I have to <br>
admit I'm not sure how to do it through the cli.<br></blockquote><div><br></div><div><div>You can use the following command to monitor your queues and observe size and growing:</div><div><br></div><div>```<br></div><div>watch -c "rabbitmqctl list_queues name  messages_unacknowledged"</div><div>```</div><div><br></div><div>Or also something like that:</div><div><br></div><div>```</div><div><span class="gmail-m_-5715964677809042606gmail-foldable-quoted" id="gmail-m_-5715964677809042606gmail-yui_3_10_3_1_1565173869096_326">rabbitmqctl list_queues messages consumers name message_bytes messages_unacknowledged  > messages_ready head_message_timestamp consumer_utilisation memory state | grep reply</span></div><div>```</div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
On 7/31/19 10:48 AM, Gabriele Santomaggio wrote:<br>
> Hi,<br>
> Are you using ssl connections ?<br>
> <br>
> Can be this issue ?<br>
> <a href="https://bugs.launchpad.net/ubuntu/+source/oslo.messaging/+bug/1800957" rel="noreferrer" target="_blank">https://bugs.launchpad.net/ubuntu/+source/oslo.messaging/+bug/1800957</a><br>
> <br>
> <br>
> ------------------------------------------------------------------------<br>
> *From:* Laurent Dumont <<a href="mailto:laurentfdumont@gmail.com" target="_blank">laurentfdumont@gmail.com</a>><br>
> *Sent:* Wednesday, July 31, 2019 4:20 PM<br>
> *To:* Grant Morley<br>
> *Cc:* <a href="mailto:openstack-operators@lists.openstack.org" target="_blank">openstack-operators@lists.openstack.org</a><br>
> *Subject:* Re: Slow instance launch times due to RabbitMQ<br>
> That is a bit strange, list_queues should return stuff. Couple of ideas :<br>
> <br>
>   * Are the Rabbit connection failure logs on the compute pointing to a<br>
>     specific controller?<br>
>   * Are there any logs within Rabbit on the controller that would point<br>
>     to a transient issue?<br>
>   * cluster_status is a snapshot of the cluster at the time you ran the<br>
>     command. If the alarms have cleared, you won't see anything.<br>
>   * If you have the RabbitMQ management plugin activated, I would<br>
>     recommend a quick look to see the historical metrics and overall status.<br>
> <br>
> <br>
> On Wed, Jul 31, 2019 at 9:35 AM Grant Morley <<a href="mailto:grant@civo.com" target="_blank">grant@civo.com</a> <br>
> <mailto:<a href="mailto:grant@civo.com" target="_blank">grant@civo.com</a>>> wrote:<br>
> <br>
>     Hi guys,<br>
> <br>
>     We are using Ubuntu 16 and OpenStack ansible to do our setup.<br>
> <br>
>     rabbitmqctl list_queues<br>
>     Listing queues<br>
> <br>
>     (Doesn't appear to be any queues )<br>
> <br>
>     rabbitmqctl cluster_status<br>
> <br>
>     Cluster status of node<br>
>     'rabbit@management-1-rabbit-mq-container-b4d7791f'<br>
>     [{nodes,[{disc,['rabbit@management-1-rabbit-mq-container-b4d7791f',<br>
>                      'rabbit@management-2-rabbit-mq-container-b455e77d',<br>
>                      'rabbit@management-3-rabbit-mq-container-1d6ae377']}]},<br>
>       {running_nodes,['rabbit@management-3-rabbit-mq-container-1d6ae377',<br>
>                       'rabbit@management-2-rabbit-mq-container-b455e77d',<br>
>                       'rabbit@management-1-rabbit-mq-container-b4d7791f']},<br>
>       {cluster_name,<<"openstack">>},<br>
>       {partitions,[]},<br>
>       {alarms,[{'rabbit@management-3-rabbit-mq-container-1d6ae377',[]},<br>
>                {'rabbit@management-2-rabbit-mq-container-b455e77d',[]},<br>
>                {'rabbit@management-1-rabbit-mq-container-b4d7791f',[]}]}]<br>
> <br>
>     Regards,<br>
> <br>
>     On 31/07/2019 11:49, Laurent Dumont wrote:<br>
>>     Could you forward the output of the following commands on a<br>
>>     controller node? :<br>
>><br>
>>     rabbitmqctl cluster_status<br>
>>     rabbitmqctl list_queues<br>
>><br>
>>     You won't necessarily see a high load on a Rabbit cluster that is<br>
>>     in a bad state.<br>
>><br>
>>     On Wed, Jul 31, 2019 at 5:19 AM Grant Morley <<a href="mailto:grant@civo.com" target="_blank">grant@civo.com</a><br>
>>     <mailto:<a href="mailto:grant@civo.com" target="_blank">grant@civo.com</a>>> wrote:<br>
>><br>
>>         Hi all,<br>
>><br>
>>         We are randomly seeing slow instance launch / deletion times<br>
>>         and it appears to be because of RabbitMQ. We are seeing a lot<br>
>>         of these messages in the logs for Nova and Neutron:<br>
>><br>
>>         ERROR oslo.messaging._drivers.impl_rabbit [-]<br>
>>         [f4ab3ca0-b837-4962-95ef-dfd7d60686b6] AMQP server on<br>
>>         <a href="http://10.6.2.212:5671" rel="noreferrer" target="_blank">10.6.2.212:5671</a> <<a href="http://10.6.2.212:5671" rel="noreferrer" target="_blank">http://10.6.2.212:5671</a>> is unreachable: Too<br>
>>         many heartbeats missed. Trying again in 1 seconds. Client<br>
>>         port: 37098: ConnectionForced: Too many heartbeats missed<br>
>><br>
>>         The RabbitMQ cluster isn't under high load and I am not seeing<br>
>>         any packets drop over the network when I do some tracing.<br>
>><br>
>>         We are only running 15 compute nodes currently and have >1000<br>
>>         instances so it isn't a large deployment.<br>
>><br>
>>         Are there any good configuration tweaks for RabbitMQ running<br>
>>         on OpenStack Queens?<br>
>><br>
>>         Many Thanks,<br>
>><br>
>>         -- <br>
>><br>
>>         Grant Morley<br>
>>         Cloud Lead, Civo Ltd<br>
>>         <a href="http://www.civo.com" rel="noreferrer" target="_blank">www.civo.com</a> <<a href="https://www.civo.com/" rel="noreferrer" target="_blank">https://www.civo.com/</a>>| Signup for an account!<br>
>>         <<a href="https://www.civo.com/signup" rel="noreferrer" target="_blank">https://www.civo.com/signup</a>><br>
>><br>
>     -- <br>
> <br>
>     Grant Morley<br>
>     Cloud Lead, Civo Ltd<br>
>     <a href="http://www.civo.com" rel="noreferrer" target="_blank">www.civo.com</a> <<a href="https://www.civo.com/" rel="noreferrer" target="_blank">https://www.civo.com/</a>>| Signup for an account!<br>
>     <<a href="https://www.civo.com/signup" rel="noreferrer" target="_blank">https://www.civo.com/signup</a>><br>
> <br>
<br>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr" class="gmail-m_-5715964677809042606gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>Hervé Beraud</div><div>Senior Software Engineer<br></div><div>Red Hat - Openstack Oslo</div><div>irc: hberaud</div><div>-----BEGIN PGP SIGNATURE-----<br><br>wsFcBAABCAAQBQJb4AwCCRAHwXRBNkGNegAALSkQAHrotwCiL3VMwDR0vcja10Q+<br>Kf31yCutl5bAlS7tOKpPQ9XN4oC0ZSThyNNFVrg8ail0SczHXsC4rOrsPblgGRN+<br>RQLoCm2eO1AkB0ubCYLaq0XqSaO+Uk81QxAPkyPCEGT6SRxXr2lhADK0T86kBnMP<br>F8RvGolu3EFjlqCVgeOZaR51PqwUlEhZXZuuNKrWZXg/oRiY4811GmnvzmUhgK5G<br>5+f8mUg74hfjDbR2VhjTeaLKp0PhskjOIKY3vqHXofLuaqFDD+WrAy/NgDGvN22g<br>glGfj472T3xyHnUzM8ILgAGSghfzZF5Skj2qEeci9cB6K3Hm3osj+PbvfsXE/7Kw<br>m/xtm+FjnaywZEv54uCmVIzQsRIm1qJscu20Qw6Q0UiPpDFqD7O6tWSRKdX11UTZ<br>hwVQTMh9AKQDBEh2W9nnFi9kzSSNu4OQ1dRMcYHWfd9BEkccezxHwUM4Xyov5Fe0<br>qnbfzTB1tYkjU78loMWFaLa00ftSxP/DtQ//iYVyfVNfcCwfDszXLOqlkvGmY1/Y<br>F1ON0ONekDZkGJsDoS6QdiUSn8RZ2mHArGEWMV00EV5DCIbCXRvywXV43ckx8Z+3<br>B8qUJhBqJ8RS2F+vTs3DTaXqcktgJ4UkhYC2c1gImcPRyGrK9VY0sCT+1iA+wp/O<br>v6rDpkeNksZ9fFSyoY2o<br>=ECSj<br>-----END PGP SIGNATURE-----<br><br></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div>