<div dir="ltr"><div>(Click the "Send" button too fast...)</div><div><br></div>Thanks to Dincer's information. Looks like the issue has already been resolved before but not merge to the branch we're using.<div>I'll do the cherry-pick to stable/rocky later.</div><div><br></div><div>-Eddie</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Eddie Yen <<a href="mailto:missile0407@gmail.com">missile0407@gmail.com</a>> 於 2020年2月6日 週四 下午3:57寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Dincer,<div><br></div><div>I'm using Rocky, and seems like this fix didn't merge to stable/rocky.</div><div>And also what you wrote about flush host table issue in MAAS deployment.</div><div><br></div><div>-Eddie</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Dincer Celik <<a href="mailto:hello@dincercelik.com" target="_blank">hello@dincercelik.com</a>> 於 2020年2月6日 週四 下午3:13寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Hi Eddie,<div><br></div><div>Seems like an issue[1] which has been fixed previously. Could you please let me know which version are you using?</div><div><br></div><div><span style="color:rgb(0,0,0);font-family:Menlo-Regular;font-size:11px">-</span>osmanlicilegi</div><div><br></div><div>[1] <a href="https://bugs.launchpad.net/kolla-ansible/+bug/1837699" target="_blank">https://bugs.launchpad.net/kolla-ansible/+bug/1837699</a><br><div><br><blockquote type="cite"><div>On 5 Feb 2020, at 14:33, Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank">missile0407@gmail.com</a>> wrote:</div><br><div><div dir="ltr">Today I tried to recovery RabbitMQ back, but still not useful, even delete everything<div>about data and configs for RabbitMQ then re-deploy (without destroy).</div><div><br></div><div>And I found that the /etc/hosts on every nodes all been flushed, the hostname</div><div>resolve data created by kolla-ansible are gone. Checked and found that the MAAS</div><div>just enabled manage_etc_hosts config in /etc/cloud/cloud.cfg.d/ which caused </div><div>/etc/hosts been reset everytime when boot.</div><div><br></div><div>Not sure it was a root cause or not but unfortunately I already reset whole RabbitMQ</div><div>data, so only I can do is destroy and deploy again. Fortunately this cluster was just</div><div>beginning so no VM launch, and no do complex setup yet.</div><div><br></div><div>I think the issue may solved, although still need a time to investigate. Based on this</div><div>experience, need to notice about this may going to happen if using MAAS to deploy</div><div>the OS.</div><div><br></div><div>-Eddie</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank">missile0407@gmail.com</a>> 於 2020年2月4日 週二 下午9:45寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Erik,<div><br></div><div>I'm already checked NIC link and no issue found. Pinging the nodes each other on each interfaces is OK.</div><div>And I'm not check docker logs about rabbitmq sbecause it works normally. I'll check that out later.</div><div><br></div><div>-Eddie</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Erik McCormick <<a href="mailto:emccormick@cirrusseven.com" target="_blank">emccormick@cirrusseven.com</a>> 於 2020年2月4日 週二 下午9:19寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div>⁹<br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 4, 2020, 7:20 AM Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank">missile0407@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi everyone,<div><br></div><div>We have the Kolla Openstack site, which is 3 HCI (Controller+Compute) + 3 Storage (Ceph OSD)</div><div>site without internet. We did the shutdown few days ago since CNY holidays. </div><div><br></div><div>Today we re-launch whole cluster back. First we met the issue that MariaDB containers keep</div><div>restarting, and we fixed by using mariadb_recovery command.</div><div>After that we check the status of each services, and found that all services shown at</div><div>Admin > System > System Information are DOWN. Strange is no MariaDB, AMQP connection,</div><div>or other error found when check the downed service log.</div><div><br></div><div>We tried reboot each servers but the situation still a same. Then we found the RabbitMQ log not</div><div>updating, the last log still stayed at the date we shutdown. Logged in to RabbitMQ container and</div><div>type "rabbitmqctl status" shows connection refused, and tried access its web manager from </div><div><VIP>:15672 on browser just gave us "503 Service unavailable" message. Also no port 5672</div><div>listening.</div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"></div><div dir="auto"><div dir="auto"><div><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br></div></blockquote></div></div><div dir="auto"><span style="font-family:sans-serif">Any chance you have a NIC that didn't come up? What is in the log of the container itself? (ie. docker log rabbitmq). </span><br style="font-family:sans-serif"></div><div dir="auto"><span style="font-family:sans-serif"><br></span></div></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br></div></div></blockquote></div></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>I searched this issue on the internet but only few information about this. One of solution is delete</div><div>some files in mnesia folder, another is remove rabbitmq container and its volume then re-deploy.</div><div>But both are not sure. Does anyone know how to solve it?</div><div><br></div><div><br></div><div>Many thanks,</div><div>Eddie.</div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">-Erik</div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
</blockquote></div></div></div>
</blockquote></div>
</blockquote></div>
</div></blockquote></div><br></div></div></blockquote></div>
</blockquote></div>