<div dir="auto">Anycase, after an image update instances are down but also restarting them, the system becomes very slow.<div dir="auto">I do not know if because I am not really uploading the openstack images but only retagging them to simulate an update. </div><div dir="auto">The following are my steps:</div><div dir="auto">- change images tag on local registry</div><div dir="auto">- apply the new tag in globals.yml</div><div dir="auto">- pull the images with new tag on computes and controllers.</div><div dir="auto">- run deploy</div><div dir="auto"><br></div><div dir="auto">Any suggestion, please?</div><div dir="auto">Ignazio</div><div dir="auto"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Il Mar 24 Ago 2021, 13:47 Ignazio Cassano <<a href="mailto:ignaziocassano@gmail.com">ignaziocassano@gmail.com</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hello Sean,</div><div>I do not know what is "systemd-machined".</div><div>My compute nodes are ubuntu 20.40, while images are centos source wallaby.</div><div>Reading the logs is sure that nova compute lost connection with libvirtd, but in a installation where containers are not used (no kolla) this does not happen.</div><div>What I must check, please ?</div><div>Is the above bug considered still opened ?</div><div>Ignazio<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Il giorno mar 24 ago 2021 alle ore 13:35 Sean Mooney <<a href="mailto:smooney@redhat.com" target="_blank" rel="noreferrer">smooney@redhat.com</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Tue, 2021-08-24 at 13:00 +0200, Ignazio Cassano wrote:<br>
> I tried again. I started with e new installation of wallaby but this time I<br>
> used centos source instead of ubuntu source.<br>
> After first deploy I stared a virtual machine.<br>
> Then I update the images and I ran a new deploy.<br>
> Instance went down and in the nova compute log I got the following:<br>
> <a href="https://paste.openstack.org/show/808282/" rel="noreferrer noreferrer" target="_blank">https://paste.openstack.org/show/808282/</a><br>
<br>
i dont know if its the same issue but you might be hitting this <br>
<a href="https://bugzilla.redhat.com/show_bug.cgi?id=1963164" rel="noreferrer noreferrer" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1963164</a><br>
tl;dr is systemd-machined previously did not work inside the contaiener so livert fell<br>
back to its generic cgroups backend, ignoring machined managing mancines without it but recently systemd-machined started<br>
working in the contianer. when you upgrade libvirt switches to its machined backend but it does not have the vms registred in that<br>
so it stopps them.<br>
<br>
<br>
> <br>
> Ignazio<br>
> <br>
> <br>
> Il giorno mar 24 ago 2021 alle ore 09:02 Ignazio Cassano <<br>
> <a href="mailto:ignaziocassano@gmail.com" target="_blank" rel="noreferrer">ignaziocassano@gmail.com</a>> ha scritto:<br>
> <br>
> > Hello, about the above issue, we discussed on yesterday on openstack-kolla<br>
> > IRC.<br>
> > The issue is not related to masakary, but it happens when nova-compute is<br>
> > redeployed with the following error in<br>
> > linvirt.log:<br>
> > 021-08-24 06:59:25.012+0000: 3224764: info : libvirt version: 6.0.0,<br>
> > package: 0ubuntu8.12 (Christian Ehrhardt <<a href="mailto:christian.ehrhardt@canonical.com" target="_blank" rel="noreferrer">christian.ehrhardt@canonical.com</a>><br>
> > Tue, 20 Jul 2021 14:13:56 +0200)<br>
> > 2021-08-24 06:59:25.012+0000: 3224764: info : hostname: tst2-kvm02<br>
> > 2021-08-24 06:59:25.012+0000: 3224764: error :<br>
> > dnsmasqCapsRefreshInternal:714 : Cannot check dnsmasq binary<br>
> > /usr/sbin/dnsmasq: No such file or directory<br>
> > 2021-08-24 06:59:25.857+0000: 3224822: error : qemuMonitorOpenUnix:292 :<br>
> > failed to connect to monitor socket: Connection refused<br>
> > 2021-08-24 06:59:25.876+0000: 3224821: error : qemuMonitorOpenUnix:292 :<br>
> > failed to connect to monitor socket: Connection refused<br>
> > 2021-08-24 06:59:44.670+0000: 3224751: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-alpha' on this host<br>
> > 2021-08-24 06:59:44.673+0000: 3224753: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-arm' on this host<br>
> > 2021-08-24 06:59:44.674+0000: 3224750: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-arm' on this host<br>
> > 2021-08-24 06:59:44.677+0000: 3224752: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-arm' on this host<br>
> > 2021-08-24 06:59:44.681+0000: 3224749: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-aarch64' on this host<br>
> > 2021-08-24 06:59:44.684+0000: 3224751: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-cris' on this host<br>
> > 2021-08-24 06:59:44.713+0000: 3224751: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-lm32' on this host<br>
> > 2021-08-24 06:59:44.716+0000: 3224753: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-m68k' on this host<br>
> > 2021-08-24 06:59:44.719+0000: 3224750: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-microblaze' on this host<br>
> > 2021-08-24 06:59:44.721+0000: 3224752: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-microblazeel' on this host<br>
> > 2021-08-24 06:59:44.725+0000: 3224749: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-mips' on this host<br>
> > 2021-08-24 06:59:44.727+0000: 3224751: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-mipsel' on this host<br>
> > 2021-08-24 06:59:44.731+0000: 3224753: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-mips64' on this host<br>
> > 2021-08-24 06:59:44.733+0000: 3224750: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-mips64el' on this host<br>
> > 2021-08-24 06:59:44.736+0000: 3224752: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-ppc' on this host<br>
> > 2021-08-24 06:59:44.739+0000: 3224749: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-ppc64' on this host<br>
> > 2021-08-24 06:59:44.741+0000: 3224751: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-ppc64' on this host<br>
> > 2021-08-24 06:59:44.744+0000: 3224753: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-ppc64' on this host<br>
> > 2021-08-24 06:59:44.747+0000: 3224750: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-ppc64le' on this host<br>
> > 2021-08-24 06:59:44.750+0000: 3224752: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-ppc64le' on this host<br>
> > 2021-08-24 06:59:44.753+0000: 3224749: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-ppc64le' on this host<br>
> > 2021-08-24 06:59:44.755+0000: 3224751: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-riscv32' on this host<br>
> > 2021-08-24 06:59:44.758+0000: 3224753: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-riscv64' on this host<br>
> > 2021-08-24 06:59:44.761+0000: 3224750: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-s390x' on this host<br>
> > 2021-08-24 06:59:44.763+0000: 3224752: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-sh4' on this host<br>
> > 2021-08-24 06:59:44.766+0000: 3224749: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-sh4eb' on this host<br>
> > 2021-08-24 06:59:44.768+0000: 3224751: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-sparc' on this host<br>
> > 2021-08-24 06:59:44.771+0000: 3224753: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-sparc64' on this host<br>
> > 2021-08-24 06:59:44.773+0000: 3224750: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-unicore32' on this host<br>
> > 2021-08-24 06:59:44.795+0000: 3224750: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-xtensa' on this host<br>
> > 2021-08-24 06:59:44.798+0000: 3224752: error :<br>
> > virQEMUCapsCacheLookupDefault:5577 : invalid argument: KVM is not supported<br>
> > by '/usr/bin/qemu-system-xtensaeb' on this host<br>
> > <br>
> > Ignazio<br>
> > <br>
> > Il giorno lun 23 ago 2021 alle ore 17:51 Ignazio Cassano <<br>
> > <a href="mailto:ignaziocassano@gmail.com" target="_blank" rel="noreferrer">ignaziocassano@gmail.com</a>> ha scritto:<br>
> > <br>
> > > Hello All,<br>
> > > I am new in kolla so probably my procedure is not correct.<br>
> > > Last week I installed  wallaby and I deployed on my openstack only two<br>
> > > virtual machines.<br>
> > > Today I tried to updated images so:<br>
> > > <br>
> > > 1 pulled new images on my local registry<br>
> > > 2 pushed new images on my local registry<br>
> > > 3 pushed new images from my local registry to controllers and compute<br>
> > > nodes<br>
> > > (kolla-ansible pull --limit control,compute<br>
> > > 4 run kolla-ansible deploy<br>
> > > <br>
> > > All virtual machines went in shutoff state.<br>
> > > What is wrong in my procedure ?<br>
> > > <br>
> > > Regards<br>
> > > Ignazio<br>
> > > <br>
> > <br>
<br>
<br>
</blockquote></div>
</blockquote></div>