<div dir="ltr">Hello Lee<div><br></div><div>Below is the only information from qemu logs.</div><div><br></div><div>2020-12-22T07:20:10.251883Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48CH).vmx-invept-single-context<br>-noglobals [bit 43]<br>2020-12-22T07:20:10.251887Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(480H).vmx-ins-outs [bit 54]<br>2020-12-22T07:20:10.251890Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(480H).vmx-true-ctls [bit 55]<br>2020-12-22T07:20:10.251894Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(491H).vmx-eptp-switching [bit 0<br>]<br><b>2021-01-05 01:39:20.896+0000: shutting down, reason=crashed <<< no logs before or after this from Timestamp</b><br>2021-01-05 06:21:37.682+0000: starting up libvirt version: 6.0.0, package: 0ubuntu8~cloud0 (Openstack Ubuntu Testing Bot <openstack-<br><a href="mailto:testing-bot@ubuntu.com">testing-bot@ubuntu.com</a>> Mon, 20 Apr 2020 18:44:06 +0000), qemu version: 4.2.0Debian 1:4.2-3ubuntu6~cloud0, kernel: 4.15.0-106-generi<br>c, hostname: fgshwbucehyp02.maas<br>LC_ALL=C \<br>PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin \<br>HOME=/var/lib/libvirt/qemu/domain-147-instance-0000057b \<br>XDG_DATA_HOME=/var/lib/libvirt/qemu/domain-147-instance-0000057b/.local/share \<br>XDG_CACHE_HOME=/var/lib/libvirt/qemu/domain-147-instance-0000057b/.cache \<br>XDG_CONFIG_HOME=/var/lib/libvirt/qemu/domain-147-instance-0000057b/.config \<br></div><div><br></div><div>These VMs are migrated from VMware to Openstack (if this tip helps in someway)</div><div><br></div><div>May VMs get auto shutdown randomly </div><div><br></div><div>instance-0000032c.log:2021-01-03 17:30:32.980+0000: shutting down, reason=crashed<br>instance-000004d3.log:2020-12-10 21:20:45.807+0000: shutting down, reason=crashed<br>instance-000004d3.log:2020-12-13 21:06:43.683+0000: shutting down, reason=crashed<br>instance-000004d3.log:2020-12-18 23:02:30.727+0000: shutting down, reason=crashed<br>instance-000004d3.log:2020-12-23 16:39:22.194+0000: shutting down, reason=crashed<br>instance-000004d3.log:2020-12-29 23:43:03.554+0000: shutting down, reason=crashed<br>instance-000004d3.log:2021-01-03 19:13:08.850+0000: shutting down, reason=crashed<br>instance-0000057b.log:2020-12-07 04:20:44.540+0000: shutting down, reason=crashed<br>instance-0000057b.log:2020-12-09 18:22:08.652+0000: shutting down, reason=crashed<br>instance-0000057b.log:2020-12-12 19:37:34.824+0000: shutting down, reason=crashed<br>instance-0000057b.log:2020-12-15 16:38:50.268+0000: shutting down, reason=crashed<br>instance-0000057b.log:2020-12-16 17:31:29.975+0000: shutting down, reason=crashed<br>instance-0000057b.log:2020-12-21 18:55:58.644+0000: shutting down, reason=crashed<br>instance-0000057b.log:2021-01-05 01:39:20.896+0000: shutting down, reason=crashed<br></div><div><br></div><div>Not sure what could i do more to prevent the auto shutdown </div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 4, 2021 at 3:14 PM Lee Yarwood <<a href="mailto:lyarwood@redhat.com" target="_blank">lyarwood@redhat.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 04-01-21 14:53:59, Deepa KR wrote:<br>
> Hi All<br>
> <br>
> Any suggestions highly appreciated.<br>
> We are facing these issues very frequently now .<br>
<br>
Can you pastebin the domain QEMU log from<br>
/var/log/libvirt/qemu/$domain.log? That should detail why the domain is<br>
crashing.<br>
<br>
I'd also recommend reviewing the following docs from libvirt on how to<br>
enable debug logs etc:<br>
<br>
<a href="https://libvirt.org/kbase/debuglogs.html" rel="noreferrer" target="_blank">https://libvirt.org/kbase/debuglogs.html</a><br>
<br>
> On Mon, Nov 23, 2020 at 10:03 AM Deepa KR <<a href="mailto:deepa.kr@fingent.com" target="_blank">deepa.kr@fingent.com</a>> wrote:<br>
> > Hi<br>
> ><br>
> > Can see only  shutting down, reason=crashed in libvirt/qemu logs .Nothing<br>
> > else .<br>
> > Couldn't find anything else in neutron logs as well<br>
> ><br>
> ><br>
> > On Wed, Nov 18, 2020 at 5:23 PM Deepa KR <<a href="mailto:deepa.kr@fingent.com" target="_blank">deepa.kr@fingent.com</a>> wrote:<br>
> ><br>
> >> Thanks for pointing out. Have 70 + vms and has issue with just 3 vms so i<br>
> >> am really confused<br>
> >><br>
> >> Sent from my iPhone<br>
> >><br>
> >> On 18-Nov-2020, at 1:56 PM, rui zang <<a href="mailto:rui.zang@yandex.com" target="_blank">rui.zang@yandex.com</a>> wrote:<br>
> >><br>
> >> <br>
> >> [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] *Received unexpected<br>
> >> event network-vif-unplugged-e97839a1-bbc4-4d26-af30-768ca3630ce9 for<br>
> >> instance with vm_state active and task_state None.*<br>
> >><br>
> >><br>
> >> Clearly the network virtual interface was somehow removed or unplugged.<br>
> >> What you should look into is OVS or whatever the network solution you are<br>
> >> using.<br>
> >><br>
> >><br>
> >> 18.11.2020, 01:44, "Deepa KR" <<a href="mailto:deepa.kr@fingent.com" target="_blank">deepa.kr@fingent.com</a>>:<br>
> >><br>
> >>  Hi All<br>
> >><br>
> >> We have a Openstack setup with the *Ussuri Version* and I am *regularly<br>
> >> facing auto shutdown of a few VMs (ubuntu16.04) randomly* .<br>
> >> If I restart then the instance is back .<br>
> >><br>
> >> From logs I was able to see the messages below .<br>
> >><br>
> >>  WARNING nova.compute.manager [req-2a21d455-ac04-44aa-b248-4776e5109013<br>
> >> 813f3fb52c434e38991bb90aa4771541 10b5279cb6f64ca19871f132a2cee1a3 - default<br>
> >> default] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] *Received<br>
> >> unexpected event network-vif-unplugged-e97839a1-bbc4-4d26-af30-768ca3630ce9<br>
> >> for instance with vm_state active and task_state None.*<br>
> >>  INFO nova.compute.manager [-] [instance:<br>
> >> 28cd861c-ef15-444a-a902-9cac643c72b5] VM Stopped (Lifecycle Event)<br>
> >>  INFO nova.compute.manager [req-8261f607-4f1e-459d-85d4-e269694dd477 - -<br>
> >> - - -] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] *During<br>
> >> _sync_instance_power_state the DB power_state (1) does not match the<br>
> >> vm_power_state from the hypervisor (4). Updating power_state in the DB to<br>
> >> match the hypervisor.*<br>
> >> syslog:Nov 13 07:01:07 fgshwbucehyp04 nova-compute[2680204]: 2020-11-13<br>
> >> 07:01:07.684 2680204 WARNING nova.compute.manager<br>
> >> [req-8261f607-4f1e-459d-85d4-e269694dd477 - - - - -] [instance:<br>
> >> 28cd861c-ef15-444a-a902-9cac643c72b5] *Instance shutdown by itself.<br>
> >> Calling the stop API. Current vm_state: active, current task_state: None,<br>
> >> original DB power_state: 1, current VM power_state: 4*<br>
> >>   nova.compute.manager [req-8261f607-4f1e-459d-85d4-e269694dd477 - - - -<br>
> >> -] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] *Instance is already<br>
> >> powered off in the hypervisor when stop is called.*<br>
> >>  nova.virt.libvirt.driver [req-8261f607-4f1e-459d-85d4-e269694dd477 - - -<br>
> >> - -] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] *Instance already<br>
> >> shutdown.*<br>
> >>  nova.virt.libvirt.driver [-] [instance:<br>
> >> 28cd861c-ef15-444a-a902-9cac643c72b5] *Instance destroyed successfully.*<br>
> >>  nova.compute.manager [req-7a0a0d03-e286-42f0-9e36-38a432f236f3<br>
> >> d9ca03b9d0884d51a26a39b6c82f02eb 304d859c43df4de4944ca5623f7f455c - default<br>
> >> default] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] Get console output<br>
> >>  nova.virt.libvirt.driver [-] [instance:<br>
> >> 28cd861c-ef15-444a-a902-9cac643c72b5] *Instance destroyed successfully.*<br>
> >><br>
> >> I searched a few blogs and forums but couldn't find a solution to it .<br>
> >><br>
> >> Few mentioned to add s*ync_power_state_interval=-1 in *<br>
> >> */etc/nova/nova.conf *.But understood that this will help only when nova<br>
> >> stops vm.<br>
> >> But in this case vm itself is shutting down (*Instance shutdown by<br>
> >> itself. Calling the stop API*)<br>
> >> Also no memory issue in VM nor the hypervisor.<br>
> >> Also did apt-get upgrade .<br>
> >><br>
> >> It would be great if anyone can shed light to this issue.<br>
> >><br>
> >> Regards,<br>
> >> Deepa K R<br>
> >><br>
> >> Sent from my iPhone<br>
> >><br>
> >><br>
> ><br>
> > --<br>
> ><br>
> ><br>
> > Regards,<br>
> ><br>
> > Deepa K R | DevOps Team Lead<br>
> ><br>
> ><br>
> ><br>
> > USA | UAE | INDIA | AUSTRALIA<br>
> ><br>
> ><br>
> ><br>
> <br>
> -- <br>
> <br>
> <br>
> Regards,<br>
> <br>
> Deepa K R | DevOps Team Lead<br>
> <br>
> <br>
> <br>
> USA | UAE | INDIA | AUSTRALIA<br>
<br>
<br>
<br>
<br>
-- <br>
Lee Yarwood                 A5D1 9385 88CB 7E5F BE64  6618 BCA6 6E33 F672 2D76<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><p style="margin:0in 0in 0.0001pt"><br>Regards,</p><p style="margin:0in 0in 0.0001pt"><font color="#ff0000">Deepa K R</font><font color="#666666"> | DevOps Team Lead</font></p><span><p style="margin:0in 0in 0.0001pt"><font color="#666666"><br></font></p><p style="margin:0in 0in 0.0001pt"><font size="4"></font><img src="cid:ii_144d3e1003a21d10" width="200" height="63"><br></p><p style="margin:0in 0in 0.0001pt"><span style="color:rgb(0,0,0);font-family:Arial;font-size:x-small;white-space:pre-wrap">USA | UAE | INDIA | AUSTRALIA</span><br></p><p style="margin:0in 0in 0.0001pt"><br></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif"><span lang="EN-IN"></span></p></span><p style="margin:0in 0in 0.0001pt"><img src="cid:ii_14192b6d31f4f112"></p></div></div></div></div></div>