<div dir="ltr">Hi Albert, thanks for your process.<div><br></div><div>I'll record these and think about how to do this on kolla if similar issue happen in the future.</div><div><br></div><div>-Eddie</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Albert Braden <<a href="mailto:Albert.Braden@synopsys.com">Albert.Braden@synopsys.com</a>> 於 2020年2月6日 週四 上午1:41寫道：<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-US">
<div class="gmail-m_6636545772282558900WordSection1">
<p class="MsoNormal">Hi Eddie,<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">This is the process that I use to reset RMQ when it fails. RMQ messages are ephemeral; losing your old RMQ messages doesn’t ruin the cluster.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">On master: <u></u><u></u></p>
<p class="MsoNormal">service rabbitmq-server stop <u></u><u></u></p>
<p class="MsoNormal">ps auxw|grep rabbit <u></u><u></u></p>
<p class="MsoNormal">(kill any rabbit processes) <u></u><u></u></p>
<p class="MsoNormal">rm -rf /var/lib/rabbitmq/mnesia/* <u></u><u></u></p>
<p class="MsoNormal">service rabbitmq-server start <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl add_user admin <RMQ pwd from transport_url in nova.conf>
<u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl set_user_tags admin administrator <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl set_permissions -p / admin ".*" ".*" ".*" <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl add_user openstack <RMQ pwd from transport_url in nova.conf>
<u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl set_permissions -p / openstack ".*" ".*" ".*" <u></u>
<u></u></p>
<p class="MsoNormal">rabbitmqctl set_policy ha-all "" '{"ha-mode":"all"}' <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl list_policies <u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">on slaves: <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl stop_app <u></u><u></u></p>
<p class="MsoNormal">If RMQ fails to reset on a slave, or fails to start after resetting, then:
<u></u><u></u></p>
<p class="MsoNormal">service rabbitmq-server stop <u></u><u></u></p>
<p class="MsoNormal">ps auxw|grep rabbit <u></u><u></u></p>
<p class="MsoNormal">(kill any rabbit processes) <u></u><u></u></p>
<p class="MsoNormal">rm -rf /var/lib/rabbitmq/mnesia/* <u></u><u></u></p>
<p class="MsoNormal">service rabbitmq-server start <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl stop_app <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl reset <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl start_app <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl stop_app <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl join_cluster rabbit@<master> <u></u><u></u></p>
<p class="MsoNormal">rabbitmqctl start_app <u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><b>From:</b> Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank">missile0407@gmail.com</a>> <br>
<b>Sent:</b> Wednesday, February 5, 2020 3:33 AM<br>
<b>To:</b> openstack-discuss <<a href="mailto:openstack-discuss@lists.openstack.org" target="_blank">openstack-discuss@lists.openstack.org</a>><br>
<b>Subject:</b> Re: [kolla] All services stats DOWN after re-launch whole cluster.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">Today I tried to recovery RabbitMQ back, but still not useful, even delete everything<u></u><u></u></p>
<div>
<p class="MsoNormal">about data and configs for RabbitMQ then re-deploy (without destroy).<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">And I found that the /etc/hosts on every nodes all been flushed, the hostname<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">resolve data created by kolla-ansible are gone. Checked and found that the MAAS<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">just enabled manage_etc_hosts config in /etc/cloud/cloud.cfg.d/ which caused <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">/etc/hosts been reset everytime when boot.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Not sure it was a root cause or not but unfortunately I already reset whole RabbitMQ<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">data, so only I can do is destroy and deploy again. Fortunately this cluster was just<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">beginning so no VM launch, and no do complex setup yet.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I think the issue may solved, although still need a time to investigate. Based on this<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">experience, need to notice about this may going to happen if using MAAS to deploy<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">the OS.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">-Eddie<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank">missile0407@gmail.com</a>>
<span style="font-family:"MS Gothic"">於</span> 2020<span style="font-family:"MS Gothic"">年</span>2<span style="font-family:"MS Gothic"">月</span>4<span style="font-family:"MS Gothic"">日</span>
<span style="font-family:"MS Gothic"">週二</span> <span style="font-family:"MS Gothic"">
下午</span>9:45<span style="font-family:"MS Gothic"">寫道：</span><u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<p class="MsoNormal">Hi Erik,<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I'm already checked NIC link and no issue found. Pinging the nodes each other on each interfaces is OK.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">And I'm not check docker logs about rabbitmq sbecause it works normally. I'll check that out later.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">-Eddie<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">Erik McCormick <<a href="mailto:emccormick@cirrusseven.com" target="_blank">emccormick@cirrusseven.com</a>>
<span style="font-family:"MS Gothic"">於</span> 2020<span style="font-family:"MS Gothic"">年</span>2<span style="font-family:"MS Gothic"">月</span>4<span style="font-family:"MS Gothic"">日</span>
<span style="font-family:"MS Gothic"">週二</span> <span style="font-family:"MS Gothic"">
下午</span>9:19<span style="font-family:"MS Gothic"">寫道：</span><u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal" style="margin-bottom:12pt">⁹<u></u><u></u></p>
<div>
<div>
<p class="MsoNormal">On Tue, Feb 4, 2020, 7:20 AM Eddie Yen <<a href="mailto:missile0407@gmail.com" target="_blank">missile0407@gmail.com</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<p class="MsoNormal">Hi everyone,<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">We have the Kolla Openstack site, which is 3 HCI (Controller+Compute) + 3 Storage (Ceph OSD)<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">site without internet. We did the shutdown few days ago since CNY holidays. <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Today we re-launch whole cluster back. First we met the issue that MariaDB containers keep<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">restarting, and we fixed by using mariadb_recovery command.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">After that we check the status of each services, and found that all services shown at<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Admin > System > System Information are DOWN. Strange is no MariaDB, AMQP connection,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">or other error found when check the downed service log.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">We tried reboot each servers but the situation still a same. Then we found the RabbitMQ log not<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">updating, the last log still stayed at the date we shutdown. Logged in to RabbitMQ container and<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">type "rabbitmqctl status" shows connection refused, and tried access its web manager from <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><VIP>:15672 on browser just gave us "503 Service unavailable" message. Also no port 5672<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">listening.<u></u><u></u></p>
</div>
</div>
</blockquote>
</div>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<div>
<div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</blockquote>
</div>
</div>
<div>
<p class="MsoNormal"><span style="font-family:Arial,sans-serif">Any chance you have a NIC that didn't come up? What is in the log of the container itself? (ie. docker log rabbitmq). </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
<div>
<div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</blockquote>
</div>
</div>
<div>
<div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">I searched this issue on the internet but only few information about this. One of solution is delete<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">some files in mnesia folder, another is remove rabbitmq container and its volume then re-deploy.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">But both are not sure. Does anyone know how to solve it?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Many thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Eddie.<u></u><u></u></p>
</div>
</div>
</blockquote>
</div>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">-Erik<u></u><u></u></p>
</div>
</div>
</blockquote>
</div>
</blockquote>
</div>
</div>
</div>

</blockquote></div>