<div dir="ltr">Hello Pierre<div><br></div><div>Yeah have checked hypervisor too ..No error related to kernel out-of-memory (OOM) in hypervisor</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 4, 2021 at 3:45 PM Pierre Riteau <<a href="mailto:pierre@stackhpc.com">pierre@stackhpc.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Deepa,<br>
<br>
You mention checking dmesg *inside* the VM. But have you checked dmesg<br>
on the hypervisor? It's possible your qemu-kvm processes are<br>
terminated by the kernel out-of-memory (OOM) killer because they try<br>
to allocate more memory than available.<br>
<br>
Best wishes,<br>
Pierre Riteau (priteau)<br>
<br>
<br>
On Wed, 18 Nov 2020 at 03:44, Deepa KR <<a href="mailto:deepa.kr@fingent.com" target="_blank">deepa.kr@fingent.com</a>> wrote:<br>
><br>
> Hello Mohammed<br>
><br>
> Thanks for the response.<br>
> No error message inside vm. Have checked dmesg, syslog etc .<br>
><br>
> I mentioned vm is shutting down itself because of error messages Instance shutdown by itself. Calling the stop API. Current vm_state: active, current task_state: None, original DB power_state: 1, current VM power_state: 4 from hypervisor.<br>
><br>
> Sent from my iPhone<br>
><br>
> > On 17-Nov-2020, at 11:35 PM, Mohammed Naser <<a href="mailto:mnaser@vexxhost.com" target="_blank">mnaser@vexxhost.com</a>> wrote:<br>
> ><br>
> > On Tue, Nov 17, 2020 at 12:46 PM Deepa KR <<a href="mailto:deepa.kr@fingent.com" target="_blank">deepa.kr@fingent.com</a>> wrote:<br>
> >><br>
> >>  Hi All<br>
> >><br>
> >> We have a Openstack setup with the Ussuri Version and I am regularly facing auto shutdown of a few VMs (ubuntu16.04) randomly .<br>
> >> If I restart then the instance is back .<br>
> >><br>
> >> From logs I was able to see the messages below .<br>
> >><br>
> >> WARNING nova.compute.manager [req-2a21d455-ac04-44aa-b248-4776e5109013 813f3fb52c434e38991bb90aa4771541 10b5279cb6f64ca19871f132a2cee1a3 - default default] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] Received unexpected event network-vif-unplugged-e97839a1-bbc4-4d26-af30-768ca3630ce9 for instance with vm_state active and task_state None.<br>
> >> INFO nova.compute.manager [-] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] VM Stopped (Lifecycle Event)<br>
> >> INFO nova.compute.manager [req-8261f607-4f1e-459d-85d4-e269694dd477 - - - - -] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] During _sync_instance_power_state the DB power_state (1) does not match the vm_power_state from the hypervisor (4). Updating power_state in the DB to match the hypervisor.<br>
> >> syslog:Nov 13 07:01:07 fgshwbucehyp04 nova-compute[2680204]: 2020-11-13 07:01:07.684 2680204 WARNING nova.compute.manager [req-8261f607-4f1e-459d-85d4-e269694dd477 - - - - -] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] Instance shutdown by itself. Calling the stop API. Current vm_state: active, current task_state: None, original DB power_state: 1, current VM power_state: 4<br>
> >>  nova.compute.manager [req-8261f607-4f1e-459d-85d4-e269694dd477 - - - - -] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] Instance is already powered off in the hypervisor when stop is called.<br>
> >> nova.virt.libvirt.driver [req-8261f607-4f1e-459d-85d4-e269694dd477 - - - - -] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] Instance already shutdown.<br>
> >> nova.virt.libvirt.driver [-] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] Instance destroyed successfully.<br>
> >> nova.compute.manager [req-7a0a0d03-e286-42f0-9e36-38a432f236f3 d9ca03b9d0884d51a26a39b6c82f02eb 304d859c43df4de4944ca5623f7f455c - default default] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] Get console output<br>
> >> nova.virt.libvirt.driver [-] [instance: 28cd861c-ef15-444a-a902-9cac643c72b5] Instance destroyed successfully.<br>
> >><br>
> >> I searched a few blogs and forums but couldn't find a solution to it .<br>
> >><br>
> >> Few mentioned to add sync_power_state_interval=-1 in /etc/nova/nova.conf .But understood that this will help only when nova stops vm.<br>
> >> But in this case vm itself is shutting down (Instance shutdown by itself. Calling the stop API)<br>
> >> Also no memory issue in VM nor the hypervisor.<br>
> >> Also did apt-get upgrade .<br>
> >><br>
> >> It would be great if anyone can shed light to this issue.<br>
> ><br>
> > You should check and see if there is anything inside `dmesg` that<br>
> > shows the VM dying (any segfaults?).  Also, it's possible that the VM<br>
> > itself is shutting off so maybe you should check ni its logs.<br>
> ><br>
> >> Regards,<br>
> >> Deepa K R<br>
> >><br>
> >> Sent from my iPhone<br>
> ><br>
> ><br>
> ><br>
> > --<br>
> > Mohammed Naser<br>
> > VEXXHOST, Inc.<br>
><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><p style="margin:0in 0in 0.0001pt"><br>Regards,</p><p style="margin:0in 0in 0.0001pt"><font color="#ff0000">Deepa K R</font><font color="#666666"> | DevOps Team Lead</font></p><span><p style="margin:0in 0in 0.0001pt"><font color="#666666"><br></font></p><p style="margin:0in 0in 0.0001pt"><font size="4"></font><img src="cid:ii_144d3e1003a21d10" width="200" height="63"><br></p><p style="margin:0in 0in 0.0001pt"><span style="color:rgb(0,0,0);font-family:Arial;font-size:x-small;white-space:pre-wrap">USA | UAE | INDIA | AUSTRALIA</span><br></p><p style="margin:0in 0in 0.0001pt"><br></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;font-size:11pt;font-family:Calibri,sans-serif"><span lang="EN-IN"></span></p></span><p style="margin:0in 0in 0.0001pt"><img src="cid:ii_14192b6d31f4f112"></p></div></div></div></div>