<div dir="auto">Hi,<div dir="auto"><br></div><div dir="auto">just another idea:</div><div dir="auto"><br></div><div dir="auto">Rabbitmq is able to count undelivered messages. We could use this information to detect the broken bindings (causing undeliverable messages).</div><div dir="auto"><br></div><div dir="auto">Anyone already doing this?</div><div dir="auto"><br></div><div dir="auto">I currently don't have a way to reproduce the broken bindings, so I'm unable to proof the idea.</div><div dir="auto"><br></div><div dir="auto">Seems we have to wait issue to happen again - what - hopefully - never happens :)</div><div dir="auto"><br></div><div dir="auto"> Fabian </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Arnaud Morin <<a href="mailto:arnaud.morin@gmail.com">arnaud.morin@gmail.com</a>> schrieb am Di., 18. Aug. 2020, 14:07:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hey all,<br>
<br>
About the vexxhost strategy to use only one rabbit server and manage HA through<br>
rabbit.<br>
Do you plan to do the same for MariaDB/MySQL?<br>
<br>
-- <br>
Arnaud Morin<br>
<br>
On 14.08.20 - 18:45, Fabian Zimmermann wrote:<br>
> Hi,<br>
> <br>
> i read somewhere that vexxhosts kubernetes openstack-Operator is running<br>
> one rabbitmq Container per Service. Just the kubernetes self healing is<br>
> used as "ha" for rabbitmq.<br>
> <br>
> That seems to match with my finding: run rabbitmq standalone and use an<br>
> external system to restart rabbitmq if required.<br>
> <br>
>  Fabian<br>
> <br>
> Satish Patel <<a href="mailto:satish.txt@gmail.com" target="_blank" rel="noreferrer">satish.txt@gmail.com</a>> schrieb am Fr., 14. Aug. 2020, 16:59:<br>
> <br>
> > Fabian,<br>
> ><br>
> > what do you mean?<br>
> ><br>
> > >> I think vexxhost is running (1) with their openstack-operator - for<br>
> > reasons.<br>
> ><br>
> > On Fri, Aug 14, 2020 at 7:28 AM Fabian Zimmermann <<a href="mailto:dev.faz@gmail.com" target="_blank" rel="noreferrer">dev.faz@gmail.com</a>><br>
> > wrote:<br>
> > ><br>
> > > Hello again,<br>
> > ><br>
> > > just a short update about the results of my tests.<br>
> > ><br>
> > > I currently see 2 ways of running openstack+rabbitmq<br>
> > ><br>
> > > 1. without durable-queues and without replication - just one<br>
> > rabbitmq-process which gets (somehow) restarted if it fails.<br>
> > > 2. durable-queues and replication<br>
> > ><br>
> > > Any other combination of these settings leads to more or less issues with<br>
> > ><br>
> > > * broken / non working bindings<br>
> > > * broken queues<br>
> > ><br>
> > > I think vexxhost is running (1) with their openstack-operator - for<br>
> > reasons.<br>
> > ><br>
> > > I added [kolla], because kolla-ansible is installing rabbitmq with<br>
> > replication but without durable-queues.<br>
> > ><br>
> > > May someone point me to the best way to document these findings to some<br>
> > official doc?<br>
> > > I think a lot of installations out there will run into issues if - under<br>
> > load - a node fails.<br>
> > ><br>
> > >  Fabian<br>
> > ><br>
> > ><br>
> > > Am Do., 13. Aug. 2020 um 15:13 Uhr schrieb Fabian Zimmermann <<br>
> > <a href="mailto:dev.faz@gmail.com" target="_blank" rel="noreferrer">dev.faz@gmail.com</a>>:<br>
> > >><br>
> > >> Hi,<br>
> > >><br>
> > >> just did some short tests today in our test-environment (without<br>
> > durable queues and without replication):<br>
> > >><br>
> > >> * started a rally task to generate some load<br>
> > >> * kill-9-ed rabbitmq on one node<br>
> > >> * rally task immediately stopped and the cloud (mostly) stopped working<br>
> > >><br>
> > >> after some debugging i found (again) exchanges which had bindings to<br>
> > queues, but these bindings didnt forward any msgs.<br>
> > >> Wrote a small script to detect these broken bindings and will now check<br>
> > if this is "reproducible"<br>
> > >><br>
> > >> then I will try "durable queues" and "durable queues with replication"<br>
> > to see if this helps. Even if I would expect<br>
> > >> rabbitmq should be able to handle this without these "hidden broken<br>
> > bindings"<br>
> > >><br>
> > >> This just FYI.<br>
> > >><br>
> > >>  Fabian<br>
> ><br>
</blockquote></div>