<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Nov 12, 2022 at 3:08 AM Franck VEDEL <<a href="mailto:franck.vedel@univ-grenoble-alpes.fr">franck.vedel@univ-grenoble-alpes.fr</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">Bonjour !<div><br></div><div>Output of the command</div><div><br></div><div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Cluster status of node rabbit@iut1r-srv-ops01-i01 ...</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Basics</font></div><div><span style="color:rgb(227,36,0)">Cluster name: <a href="mailto:rabbit@iut1r-srv-ops01-i01.u-ga.fr" target="_blank">rabbit@iut1r-srv-ops01-i01.u-ga.fr</a></span></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;"><br></font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Disk Nodes</font></div><div><span style="color:rgb(227,36,0)">rabbit@iut1r-srv-ops01-i01</span></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">rabbit@iut1r-srv-ops02-i01</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;"><br></font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Running Nodes</font></div><div><span style="color:rgb(227,36,0)">rabbit@iut1r-srv-ops01-i01</span></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">rabbit@iut1r-srv-ops02-i01</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;"><br></font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Versions</font></div><div><span style="color:rgb(227,36,0)">rabbit@iut1r-srv-ops01-i01: RabbitMQ 3.9.20 on Erlang 24.3.4.2</span></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">rabbit@iut1r-srv-ops02-i01: RabbitMQ 3.9.20 on Erlang 24.3.4.2</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;"><br></font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Maintenance status</font></div><div><span style="color:rgb(227,36,0)">Node: rabbit@iut1r-srv-ops01-i01, status: not under maintenance</span></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Node: rabbit@iut1r-srv-ops02-i01, status: not under maintenance</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;"><br></font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Alarms</font></div><div><span style="color:rgb(227,36,0)">(none)</span></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;"><br></font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Network Partitions</font></div><div><span style="color:rgb(227,36,0)">(none)</span></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;"><br></font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Listeners</font></div><div><span style="color:rgb(227,36,0)">Node: rabbit@iut1r-srv-ops01-i01, interface: [::], port: 15672, protocol: http, purpose: HTTP API</span></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Node: rabbit@iut1r-srv-ops01-i01, interface: [::], port: 15692, protocol: http/prometheus, purpose: Prometheus exporter API over HTTP</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Node: rabbit@iut1r-srv-ops01-i01, interface: 10.0.5.109, port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Node: rabbit@iut1r-srv-ops01-i01, interface: 10.0.5.109, port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Node: rabbit@iut1r-srv-ops02-i01, interface: [::], port: 15672, protocol: http, purpose: HTTP API</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Node: rabbit@iut1r-srv-ops02-i01, interface: [::], port: 15692, protocol: http/prometheus, purpose: Prometheus exporter API over HTTP</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Node: rabbit@iut1r-srv-ops02-i01, interface: 10.0.5.110, port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Node: rabbit@iut1r-srv-ops02-i01, interface: 10.0.5.110, port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;"><br></font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Feature flags</font></div><div><span style="color:rgb(227,36,0)">Flag: drop_unroutable_metric, state: enabled</span></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Flag: empty_basic_get_metric, state: enabled</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Flag: implicit_default_bindings, state: enabled</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Flag: maintenance_mode_status, state: enabled</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Flag: quorum_queue, state: enabled</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Flag: stream_queue, state: enabled</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Flag: user_limits, state: enabled</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">Flag: virtual_host_metadata, state: enabled</font></div><div><br></div><div>
<div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div style="color:rgb(0,0,0);letter-spacing:normal;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none">So… nothing strange for me.</div><div style="color:rgb(0,0,0);letter-spacing:normal;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><br></div><div style="color:rgb(0,0,0);letter-spacing:normal;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none">All containers are healthy nom (after delete rabbitmq and rebuild rabbitmq).</div><div style="color:rgb(0,0,0);letter-spacing:normal;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><br></div><div style="color:rgb(0,0,0);letter-spacing:normal;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><br></div><div><div>in addition to dhcp, communications on the network do not work.</div><div>If I create an instance, it has no ip address by dhcp.</div><div>If I give her a static ip, she can't reach the router.</div><div>If I create another instance, with another static ip, they don't communicate with each other.</div><div>And they can't ping the router (or routers, I put 2, 1 on each of my 2 external networks)</div><div><br></div><div>There are some errors in rabbitmq…..log:</div><div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">2022-11-12 08:53:37.155542+01:00 [error] <0.16179.2> missed heartbeats from client, timeout: 60s</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">2022-11-12 08:54:54.026480+01:00 [error] <0.17357.2> closing AMQP connection <0.17357.2> (<a href="http://10.0.5.109:37532" target="_blank">10.0.5.109:37532</a> -> <a href="http://10.0.5.109:5672" target="_blank">10.0.5.109:5672</a> - mod_wsgi:43:e50d8e69-7c76-4198-877c-c807e0a180d8):</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">2022-11-12 08:54:54.026480+01:00 [error] <0.17357.2> missed heartbeats from client, timeout: 60s</font></div></div><div><br></div><div>There are some errors also in neutron-l3-agent.log</div><div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">2022-11-11 22:04:42.512 37 ERROR oslo_service.periodic_task     message = self.waiters.get(msg_id, timeout=timeout)</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">2022-11-11 22:04:42.512 37 ERROR oslo_service.periodic_task   File "/var/lib/kolla/venv/lib/python3.6/site-packages/oslo_messaging/_drivers/amqpdriver.py", line 445, in get</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">2022-11-11 22:04:42.512 37 ERROR oslo_service.periodic_task     'to message ID %s' % msg_id)</font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">2022-11-11 22:04:42.512 37 ERROR oslo_service.periodic_task oslo_messaging.exceptions.MessagingTimeout: Timed out waiting for a reply to message ID 297cacfadd764562bf09a1c5daf61958</font></div><div><br></div><div>Also in neutron-dhcp-agent.log</div><div><div><font color="#ff4013" style="--darkreader-inline-color:#ff4d1c;">2022-11-11 22:04:44.854 7 ERROR neutron.agent.dhcp.agent     message = self.waiters.get(msg_id, timeout=timeout)</font></div><div><font color="#ff4013" style="--darkreader-inline-color:#ff4d1c;">2022-11-11 22:04:44.854 7 ERROR neutron.agent.dhcp.agent   File "/var/lib/kolla/venv/lib/python3.6/site-packages/oslo_messaging/_drivers/amqpdriver.py", line 445, in get</font></div><div><font color="#ff4013" style="--darkreader-inline-color:#ff4d1c;">2022-11-11 22:04:44.854 7 ERROR neutron.agent.dhcp.agent     'to message ID %s' % msg_id)</font></div><div><font color="#ff4013" style="--darkreader-inline-color:#ff4d1c;">2022-11-11 22:04:44.854 7 ERROR neutron.agent.dhcp.agent oslo_messaging.exceptions.MessagingTimeout: Timed out waiting for a reply to message ID 6f1d9d0c51ac4d89b9c889ca273f40a0</font></div><div><br></div></div></div><div>A lot of errors in neutron-metadata.log</div><div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">2022-11-11 22:01:44.152 43 ERROR oslo.messaging._drivers.impl_rabbit [-] [d7902e2c-eba9-40e4-b872-40e7ba7a39ec] AMQP server on <a href="http://10.0.5.109:5672" target="_blank">10.0.5.109:5672</a> is unreachable: <RecoverableConnectionError: unknown error>. Trying again in 1 seconds.: amqp.exceptions.RecoverableConnectionError: <RecoverableConnectionError: unknown error></font></div><div><font color="#e32400" style="--darkreader-inline-color:#ff4b23;">2022-11-11 22:01:44.226 7 ERROR oslo.messaging._drivers.impl_rabbit [-] [028872e4-fcd1-4de5-b20c-8c5541e3c77f] AMQP server on <a href="http://10.0.5.109:5672" target="_blank">10.0.5.109:5672</a> is unreachable: <RecoverableConnectionError: unknown error>. Trying again in 1 seconds.: amqp.exceptions.RecoverableConnectionError: <RecoverableConnectionError: unknown error></font></div><div><br></div><div><br></div></div><div>timeout …. waiting…. unreachable…. connectionerror…. </div><div><br></div><div>Something is wrong, but I think it’s very difficult to find the problem. To difficult for me.</div><div>« nc -v » works.</div><div></div></div></div></div></div></div></div></div></div></div></blockquote><div><br></div><div>There are several things that can cause issues with Rabbit, or with services sending messages. Rabbit itself is not always to blame. Things I've seen cause issues before include:</div><div><br></div><div>1) Time not being in sync on all systems (covered that earlier)</div><div>2) DNS (it's always DNS, right?)</div><div>3) Networking issues like mismatched MTU</div><div>4) Nova being configured for a Ceph backend, but timing out trying to talk to the cluster (messages would expire while Nova waited on it)</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><div><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div><div> <br></div></div></div></div></div></div></div></div></div></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><div><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div><div></div><div><div>I do not know what to do.</div><div>I can lose all data (networks, instances, volumes, etc). I can start again on a new config</div><div>Do I do it with kolla-ansible -i multinode destroy?</div><div><br></div></div></div></div></div></div></div></div></div></div></div></blockquote><div>Yeah, just do kolla-ansible -i multinode destroy after backing up your kolla configs.</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><div><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div><div><div></div><div>Before switching to Yoga, I had a cluster under Xena. I kept my configuration and a venv (python) with koll-ansible for Xena.</div><div>Am I going back to this version? How without doing stupid things?</div><div><br></div></div></div></div></div></div></div></div></div></div></div></blockquote><div>I can't see any good reason to roll back to Xena. Yoga should be fine. </div><div><br></div><div>Changing should be as simple as swapping your VENV, and using your Xena globals.yml, passwords.yml, inventory, and any other custom configs you had for that version.  </div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><div><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div dir="auto" style="text-align:start;text-indent:0px"><div><div><div></div><div><br></div></div><div>Thanks a lot.</div></div><div style="color:rgb(0,0,0);letter-spacing:normal;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><br></div><div style="color:rgb(0,0,0);letter-spacing:normal;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><span style="color:rgb(31,73,125);font-family:Arial,sans-serif;font-size:10pt">Franck VEDEL</span></div></div></div><div style="color:rgb(0,0,0);letter-spacing:normal;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;margin:0cm 0cm 0.0001pt"><br></div></div></div></div><br>
</div>
<div><br><blockquote type="cite"><div>Le 11 nov. 2022 à 23:33, Laurent Dumont <<a href="mailto:laurentfdumont@gmail.com" target="_blank">laurentfdumont@gmail.com</a>> a écrit :</div><br><div><span style="font-family:Verdana;font-size:13px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline">docker exec -it rabbitmq rabbitmqctl cluster_status</span></div></blockquote></div><br></div></div></blockquote></div></div>