<div dir="ltr">Fantastic! Glad you were able to find a solution.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Nov 22, 2021 at 12:02 PM <<a href="mailto:DHilsbos@performair.com">DHilsbos@performair.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Laurent;<br>
<br>
Your message ended up pointing me in the right direction.  I started asking myself why libvirtd came from Ubuntu configured incorrectly for live migrations. The obvious answer is: it didn't.  That suggested that I ad configured something incorrectly.  That realization, together with the discussion from [1] led me to set libvirt.live_migration_scheme="ssh" in nova.conf.  After restarting nova-compute, I can now live migrate instances between Ubuntu servers.<br>
<br>
Thank you for your assistance.<br>
<br>
Thank you,<br>
<br>
Dominic L. Hilsbos, MBA<br>
Vice President – Information Technology<br>
Perform Air International Inc.<br>
DHilsbos@PerformAir.com<br>
<a href="http://www.PerformAir.com" rel="noreferrer" target="_blank">www.PerformAir.com</a><br>
<br>
[1] <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1254307" rel="noreferrer" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1254307</a><br>
<br>
-----Original Message-----<br>
From: <a href="mailto:DHilsbos@performair.com" target="_blank">DHilsbos@performair.com</a> [mailto:<a href="mailto:DHilsbos@performair.com" target="_blank">DHilsbos@performair.com</a>] <br>
Sent: Monday, November 22, 2021 9:09 AM<br>
To: <a href="mailto:laurentfdumont@gmail.com" target="_blank">laurentfdumont@gmail.com</a>; <a href="mailto:mnaser@vexxhost.com" target="_blank">mnaser@vexxhost.com</a><br>
Cc: <a href="mailto:openstack-discuss@lists.openstack.org" target="_blank">openstack-discuss@lists.openstack.org</a><br>
Subject: RE: [ops][nova][victoria] QEMU/KVM libvirt Authentication Failed<br>
<br>
Laurent;<br>
<br>
We're running Victoria.  Here are specific package versions:<br>
Ubuntu: 20.10<br>
nova-compute: 22.2.1-0ubuntu1 (both)<br>
nova-compute-kvm: 22.2.1-0ubuntu1 (both)<br>
qemu-kvm: 5.0-5unbuntu9.9 (both)<br>
libvirt-daemon: 6.6.0-1ubuntu3.5 (both)<br>
<br>
As I said, this has come up for me before, but I can't find records of how it was addressed.  I don't remember an issue of authentication from before, however.  From before, I do remember that after the ssh connection to setup the new host, qemu/kvm on the old host makes a connection to qemu/kvm on the new host, in order to coordinate the transfer of memory contents, and other dynamic elements.<br>
<br>
Yes, I can cold migrate between all 3 servers, which makes this a non-critical issue.<br>
<br>
While I have a CentOS Nova host, I'm not going to attempt to get live-migration working between the Ubuntu Servers <br>
<br>
Changing the configuration of libvirt from system sockets to native listeners got me past a connection refused error (it appears that lbvirt also connects from one server to another?)<br>
<br>
Thank you,<br>
<br>
Dominic L. Hilsbos, MBA<br>
Vice President – Information Technology<br>
Perform Air International Inc.<br>
DHilsbos@PerformAir.com<br>
<a href="http://www.PerformAir.com" rel="noreferrer" target="_blank">www.PerformAir.com</a><br>
<br>
From: Laurent Dumont [mailto:<a href="mailto:laurentfdumont@gmail.com" target="_blank">laurentfdumont@gmail.com</a>] <br>
Sent: Friday, November 19, 2021 6:45 PM<br>
To: Mohammed Naser<br>
Cc: Dominic Hilsbos; openstack-discuss<br>
Subject: Re: [ops][nova][victoria] QEMU/KVM libvirt Authentication Failed<br>
<br>
Which version of Openstack are you running?<br>
<br>
It seems to try to connect over qemu with auth over tcp. Without ssh?<br>
<br>
Is the cold migration working now?<br>
<br>
On Fri, Nov 19, 2021 at 8:35 PM Mohammed Naser <<a href="mailto:mnaser@vexxhost.com" target="_blank">mnaser@vexxhost.com</a>> wrote:<br>
Just a heads up even if you get things working you’re not going to be able to live migrate from centos to ubuntu and vice versa since there’s going to be things like apparmor and SELinux issues <br>
<br>
On Fri, Nov 19, 2021 at 11:35 AM <<a href="mailto:DHilsbos@performair.com" target="_blank">DHilsbos@performair.com</a>> wrote:<br>
All;<br>
<br>
I feel like I've dealt with this issue before, but I can't find any records of it.<br>
<br>
I've been swapping out the compute nodes in my cluster for newer and better hardware.  We also decided to abandon CentOS.  All the differences mean that we haven't been able to do live migrations.  I now have 2 servers with the same CPUs, OS (Ubuntu), OS Version (20.10), etc., and would like to get live migration working again.<br>
<br>
I configured passwordless ssh access between the servers for the nova users to get cold migration working.  I have also configured passwordless ssh for the root users in accordance with [1].<br>
<br>
When I try to do a live migration, the origin server generates this error, in the nova-compute log:<br>
2021-11-19 15:52:31.130 15610 ERROR nova.virt.libvirt.driver [-] [instance: 5935c07d-0c7f-48cc-a4b9-674504fc6005] Live Migration failure: operation failed: Failed to connect to remote libvirt URI qemu+tcp://<remote_server>/system: authentication failed: authentication failed: libvirt.libvirtError: operation failed: Failed to connect to remote libvirt URI qemu+tcp://<remote_server>/system: authentication failed: authentication failed<br>
<br>
At one point, I came across a tutorial on configuring live-migration for libvirt, which included a bunch of user configuration.  I don't remember having to do that before, but is that what I need to be looking for?<br>
<br>
Thank you,<br>
<br>
Dominic L. Hilsbos, MBA<br>
Vice President - Information Technology<br>
Perform Air International Inc.<br>
DHilsbos@PerformAir.com<br>
<a href="http://www.PerformAir.com" rel="noreferrer" target="_blank">www.PerformAir.com</a><br>
<br>
1: <a href="https://docs.openstack.org/nova/victoria/admin/configuring-migrations.html#section-configuring-compute-migrations" rel="noreferrer" target="_blank">https://docs.openstack.org/nova/victoria/admin/configuring-migrations.html#section-configuring-compute-migrations</a><br>
-- <br>
Mohammed Naser<br>
VEXXHOST, Inc.<br>
</blockquote></div>