<div dir="ltr">Yes, we're doing this when all MariaDB containers are down.<div>But we still curious about this problem. Ordering to shutdown then boot up the MariaDB cluster still can caused this issue.</div><div><br></div><div>My initial guess is that the docker is startup earlier than network, caused they can't connect each other.</div><div>But it still a guess because the connection usually back if restart container manually. At least this is what we solve if the service can't connect to DB or AMQP but both them are fine.</div><div><br></div><div>Perhaps I may try this. For now, it seems like using mariadb_recovery is the only way to let MariaDB back online if reboot the whole cluster right?</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Mark Goddard <<a href="mailto:mark@stackhpc.com">mark@stackhpc.com</a>> 於 2019年11月15日 週五 下午8:07寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Fri, 15 Nov 2019 at 03:28, Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank">missile0407@gmail.com</a>> wrote:<br>
><br>
> Hi everyone,<br>
> I want to ask about the order of shutdown MariaDB (or mean controller) node.<br>
><br>
> For previous steps we found is usually shutdown slaves first, then master [1].<br>
> But we found that the MariaDB still get container restarting issue even I followed the step after booting up the cluster.<br>
><br>
> Below is that I did when shutdown/boot up controller.<br>
> 1. Shutdown the slaves first, then master<br>
> 2. Boot master first, then slaves.<br>
><br>
> For looking which one is master, we usually looking for the haproxy log and find which mariadb node that the last session access the DB.<br>
> Or looking for which mariadb container has "--wsrep-new-cluster" in BOOTSTRAP_ARGS.<br>
><br>
> Does anyone has experience about this?<br>
<br>
Hi Eddie,<br>
You can use the kolla-ansible mariadb_recovery command to bootstrap a<br>
cluster where all nodes have gone down.<br>
Mark<br>
><br>
> Many thanks,<br>
> Eddie.<br>
><br>
> [1] <a href="https://bugs.launchpad.net/kolla-ansible/+bug/1712087" rel="noreferrer" target="_blank">https://bugs.launchpad.net/kolla-ansible/+bug/1712087</a><br>
</blockquote></div>