<div dir="ltr">Hi Erik,<div><br></div><div>I'm already checked NIC link and no issue found. Pinging the nodes each other on each interfaces is OK.</div><div>And I'm not check docker logs about rabbitmq sbecause it works normally. I'll check that out later.</div><div><br></div><div>-Eddie</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Erik McCormick <<a href="mailto:emccormick@cirrusseven.com">emccormick@cirrusseven.com</a>> 於 2020年2月4日 週二 下午9:19寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div>⁹<br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 4, 2020, 7:20 AM Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank">missile0407@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi everyone,<div><br></div><div>We have the Kolla Openstack site, which is 3 HCI (Controller+Compute) + 3 Storage (Ceph OSD)</div><div>site without internet. We did the shutdown few days ago since CNY holidays. </div><div><br></div><div>Today we re-launch whole cluster back. First we met the issue that MariaDB containers keep</div><div>restarting, and we fixed by using mariadb_recovery command.</div><div>After that we check the status of each services, and found that all services shown at</div><div>Admin > System > System Information are DOWN. Strange is no MariaDB, AMQP connection,</div><div>or other error found when check the downed service log.</div><div><br></div><div>We tried reboot each servers but the situation still a same. Then we found the RabbitMQ log not</div><div>updating, the last log still stayed at the date we shutdown. Logged in to RabbitMQ container and</div><div>type "rabbitmqctl status" shows connection refused, and tried access its web manager from </div><div><VIP>:15672 on browser just gave us "503 Service unavailable" message. Also no port 5672</div><div>listening.</div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"></div><div dir="auto"><div dir="auto"><div><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br></div></blockquote></div></div><div dir="auto"><span style="font-family:sans-serif">Any chance you have a NIC that didn't come up? What is in the log of the container itself? (ie. docker log rabbitmq). </span><br style="font-family:sans-serif"></div><div dir="auto"><span style="font-family:sans-serif"><br></span></div></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br></div></div></blockquote></div></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>I searched this issue on the internet but only few information about this. One of solution is delete</div><div>some files in mnesia folder, another is remove rabbitmq container and its volume then re-deploy.</div><div>But both are not sure. Does anyone know how to solve it?</div><div><br></div><div><br></div><div>Many thanks,</div><div>Eddie.</div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">-Erik</div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
</blockquote></div></div></div>
</blockquote></div>