<div dir="ltr">Today I tried to recovery RabbitMQ back, but still not useful, even delete everything<div>about data and configs for RabbitMQ then re-deploy (without destroy).</div><div><br></div><div>And I found that the /etc/hosts on every nodes all been flushed, the hostname</div><div>resolve data created by kolla-ansible are gone. Checked and found that the MAAS</div><div>just enabled manage_etc_hosts config in /etc/cloud/cloud.cfg.d/ which caused </div><div>/etc/hosts been reset everytime when boot.</div><div><br></div><div>Not sure it was a root cause or not but unfortunately I already reset whole RabbitMQ</div><div>data, so only I can do is destroy and deploy again. Fortunately this cluster was just</div><div>beginning so no VM launch, and no do complex setup yet.</div><div><br></div><div>I think the issue may solved, although still need a time to investigate. Based on this</div><div>experience, need to notice about this may going to happen if using MAAS to deploy</div><div>the OS.</div><div><br></div><div>-Eddie</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Eddie Yen <<a href="mailto:missile0407@gmail.com">missile0407@gmail.com</a>> 於 2020年2月4日 週二 下午9:45寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Erik,<div><br></div><div>I'm already checked NIC link and no issue found. Pinging the nodes each other on each interfaces is OK.</div><div>And I'm not check docker logs about rabbitmq sbecause it works normally. I'll check that out later.</div><div><br></div><div>-Eddie</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Erik McCormick <<a href="mailto:emccormick@cirrusseven.com" target="_blank">emccormick@cirrusseven.com</a>> 於 2020年2月4日 週二 下午9:19寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div>⁹<br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 4, 2020, 7:20 AM Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank">missile0407@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi everyone,<div><br></div><div>We have the Kolla Openstack site, which is 3 HCI (Controller+Compute) + 3 Storage (Ceph OSD)</div><div>site without internet. We did the shutdown few days ago since CNY holidays. </div><div><br></div><div>Today we re-launch whole cluster back. First we met the issue that MariaDB containers keep</div><div>restarting, and we fixed by using mariadb_recovery command.</div><div>After that we check the status of each services, and found that all services shown at</div><div>Admin > System > System Information are DOWN. Strange is no MariaDB, AMQP connection,</div><div>or other error found when check the downed service log.</div><div><br></div><div>We tried reboot each servers but the situation still a same. Then we found the RabbitMQ log not</div><div>updating, the last log still stayed at the date we shutdown. Logged in to RabbitMQ container and</div><div>type "rabbitmqctl status" shows connection refused, and tried access its web manager from </div><div><VIP>:15672 on browser just gave us "503 Service unavailable" message. Also no port 5672</div><div>listening.</div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"></div><div dir="auto"><div dir="auto"><div><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br></div></blockquote></div></div><div dir="auto"><span style="font-family:sans-serif">Any chance you have a NIC that didn't come up? What is in the log of the container itself? (ie. docker log rabbitmq). </span><br style="font-family:sans-serif"></div><div dir="auto"><span style="font-family:sans-serif"><br></span></div></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br></div></div></blockquote></div></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>I searched this issue on the internet but only few information about this. One of solution is delete</div><div>some files in mnesia folder, another is remove rabbitmq container and its volume then re-deploy.</div><div>But both are not sure. Does anyone know how to solve it?</div><div><br></div><div><br></div><div>Many thanks,</div><div>Eddie.</div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">-Erik</div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
</blockquote></div></div></div>
</blockquote></div>
</blockquote></div>