
<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">Hi Eddie,<div class=""><br class=""></div><div class="">Seems like an issue[1] which has been fixed previously. Could you please let me know which version are you using?</div><div class=""><br class=""></div><div class=""><span style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); font-family: Menlo-Regular; font-size: 11px;" class="">-</span>osmanlicilegi</div><div class=""><br class=""></div><div class="">[1] <a href="https://bugs.launchpad.net/kolla-ansible/+bug/1837699" class="">https://bugs.launchpad.net/kolla-ansible/+bug/1837699</a><br class=""><div><br class=""><blockquote type="cite" class=""><div class="">On 5 Feb 2020, at 14:33, Eddie Yen <<a href="mailto:missile0407@gmail.com" class="">missile0407@gmail.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div dir="ltr" class="">Today I tried to recovery RabbitMQ back, but still not useful, even delete everything<div class="">about data and configs for RabbitMQ then re-deploy (without destroy).</div><div class=""><br class=""></div><div class="">And I found that the /etc/hosts on every nodes all been flushed, the hostname</div><div class="">resolve data created by kolla-ansible are gone. Checked and found that the MAAS</div><div class="">just enabled manage_etc_hosts config in /etc/cloud/cloud.cfg.d/ which caused </div><div class="">/etc/hosts been reset everytime when boot.</div><div class=""><br class=""></div><div class="">Not sure it was a root cause or not but unfortunately I already reset whole RabbitMQ</div><div class="">data, so only I can do is destroy and deploy again. Fortunately this cluster was just</div><div class="">beginning so no VM launch, and no do complex setup yet.</div><div class=""><br class=""></div><div class="">I think the issue may solved, although still need a time to investigate. Based on this</div><div class="">experience, need to notice about this may going to happen if using MAAS to deploy</div><div class="">the OS.</div><div class=""><br class=""></div><div class="">-Eddie</div></div><br class=""><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Eddie Yen <<a href="mailto:missile0407@gmail.com" class="">missile0407@gmail.com</a>> 於 2020年2月4日 週二 下午9:45寫道：<br class=""></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr" class="">Hi Erik,<div class=""><br class=""></div><div class="">I'm already checked NIC link and no issue found. Pinging the nodes each other on each interfaces is OK.</div><div class="">And I'm not check docker logs about rabbitmq sbecause it works normally. I'll check that out later.</div><div class=""><br class=""></div><div class="">-Eddie</div></div><br class=""><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Erik McCormick <<a href="mailto:emccormick@cirrusseven.com" target="_blank" class="">emccormick@cirrusseven.com</a>> 於 2020年2月4日 週二 下午9:19寫道：<br class=""></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto" class=""><div class="">⁹<br class=""><br class=""><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 4, 2020, 7:20 AM Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank" class="">missile0407@gmail.com</a>> wrote:<br class=""></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr" class="">Hi everyone,<div class=""><br class=""></div><div class="">We have the Kolla Openstack site, which is 3 HCI (Controller+Compute) + 3 Storage (Ceph OSD)</div><div class="">site without internet. We did the shutdown few days ago since CNY holidays. </div><div class=""><br class=""></div><div class="">Today we re-launch whole cluster back. First we met the issue that MariaDB containers keep</div><div class="">restarting, and we fixed by using mariadb_recovery command.</div><div class="">After that we check the status of each services, and found that all services shown at</div><div class="">Admin > System > System Information are DOWN. Strange is no MariaDB, AMQP connection,</div><div class="">or other error found when check the downed service log.</div><div class=""><br class=""></div><div class="">We tried reboot each servers but the situation still a same. Then we found the RabbitMQ log not</div><div class="">updating, the last log still stayed at the date we shutdown. Logged in to RabbitMQ container and</div><div class="">type "rabbitmqctl status" shows connection refused, and tried access its web manager from </div><div class=""><VIP>:15672 on browser just gave us "503 Service unavailable" message. Also no port 5672</div><div class="">listening.</div></div></blockquote></div></div><div dir="auto" class=""><br class=""></div><div dir="auto" class=""></div><div dir="auto" class=""><div dir="auto" class=""><div class=""><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class=""><div dir="ltr" class=""><br class=""></div></blockquote></div></div><div dir="auto" class=""><span style="font-family:sans-serif" class="">Any chance you have a NIC that didn't come up? What is in the log of the container itself? (ie. docker log rabbitmq). </span><br style="font-family:sans-serif" class=""></div><div dir="auto" class=""><span style="font-family:sans-serif" class=""><br class=""></span></div></div><div dir="auto" class=""><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr" class=""><div class=""><br class=""></div></div></blockquote></div></div><div dir="auto" class=""><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr" class=""><div class="">I searched this issue on the internet but only few information about this. One of solution is delete</div><div class="">some files in mnesia folder, another is remove rabbitmq container and its volume then re-deploy.</div><div class="">But both are not sure. Does anyone know how to solve it?</div><div class=""><br class=""></div><div class=""><br class=""></div><div class="">Many thanks,</div><div class="">Eddie.</div></div></blockquote></div></div><div dir="auto" class=""><br class=""></div><div dir="auto" class="">-Erik</div><div dir="auto" class=""><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">

</blockquote></div></div></div>

</blockquote></div>

</blockquote></div>

</div></blockquote></div><br class=""></div></body></html>