<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><pre style="margin-top: 1.5em; margin-bottom: 1.5em; padding: 0px; border: 0px; font-size: 12.001199722290039px; font-family: "andale mono", "lucida console", monospace; vertical-align: baseline; white-space: pre-wrap; font-stretch: normal; line-height: 1.5; caret-color: rgb(83, 83, 83); color: rgb(83, 83, 83);" class="">Hi, </pre><pre style="margin-top: 1.5em; margin-bottom: 1.5em; padding: 0px; border: 0px; vertical-align: baseline; font-stretch: normal; line-height: 1.5;" class=""><span style="caret-color: rgb(83, 83, 83); color: rgb(83, 83, 83); font-family: "andale mono", "lucida console", monospace; font-size: 12.001199722290039px; white-space: pre-wrap;" class="">I have noticed that this problem occurs while attaching second NIC while using </span><font color="#535353" face="andale mono, lucida console, monospace" class=""><span style="caret-color: rgb(83, 83, 83); font-size: 12.001199722290039px; white-space: pre-wrap;" class="">qemu-kvm-5.1.0-14.el8.1.x86_64 and 1 vcpu instances. </span></font><span style="font-size: 12.001199722290039px; white-space: pre-wrap; color: rgb(83, 83, 83); font-family: "andale mono", "lucida console", monospace;" class="">Downgrading to qemu-kvm-4.2.0-29.el8.3.x86_64 or changing flavour to 2 vcpu fixes problem.</span></pre><pre style="margin-top: 1.5em; margin-bottom: 1.5em; padding: 0px; border: 0px; vertical-align: baseline; font-stretch: normal; line-height: 1.5;" class=""><font color="#535353" face="andale mono, lucida console, monospace" class=""><span style="font-size: 12.001199722290039px; white-space: pre-wrap;" class="">Failing ubuntu guests that I tested - </span></font><font color="#535353" face="andale mono, lucida console, monospace" class=""><span style="font-size: 12.001199722290039px; white-space: pre-wrap;" class=""> </span></font><span style="caret-color: rgb(215, 215, 215); font-size: 12.001199722290039px; white-space: pre-wrap; color: rgb(83, 83, 83); font-family: "andale mono", "lucida console", monospace;" class="">bionic, focal, groovy and hirsute from </span><font face="andale mono, lucida console, monospace" class=""><span style="caret-color: rgb(83, 83, 83); font-size: 12.001199722290039px; white-space: pre-wrap;" class=""><a href="https://cloud-images.ubuntu.com" class="">https://cloud-images.ubuntu.com</a></span></font><font color="#535353" face="andale mono, lucida console, monospace" class=""><span style="caret-color: rgb(83, 83, 83); font-size: 12.001199722290039px; white-space: pre-wrap;" class="">. C</span></font><span style="caret-color: rgb(215, 215, 215); color: rgb(83, 83, 83); font-family: "andale mono", "lucida console", monospace; font-size: 12.001199722290039px; white-space: pre-wrap;" class="">entos8 cloud image guests works fine though.</span></pre><pre style="margin-top: 1.5em; margin-bottom: 1.5em; padding: 0px; border: 0px; vertical-align: baseline; font-stretch: normal; line-height: 1.5;" class=""><font color="#535353" face="andale mono, lucida console, monospace" class=""><span style="caret-color: rgb(215, 215, 215); font-size: 12.001199722290039px; white-space: pre-wrap;" class="">I’ve raised bug to nova - </span></font><span style="caret-color: rgb(83, 83, 83); font-size: 12.001199722290039px; white-space: pre-wrap; color: rgb(83, 83, 83); font-family: "andale mono", "lucida console", monospace;" class=""><a href="https://bugs.launchpad.net/nova/+bug/1916879" class="">https://bugs.launchpad.net/nova/+bug/1916879</a></span></pre><pre style="margin-top: 1.5em; margin-bottom: 1.5em; padding: 0px; border: 0px; font-size: 12.001199722290039px; font-family: "andale mono", "lucida console", monospace; vertical-align: baseline; white-space: pre-wrap; font-stretch: normal; line-height: 1.5; caret-color: rgb(83, 83, 83); color: rgb(83, 83, 83);" class=""><div style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; white-space: normal;"><br class=""></div>

04.02.2021, 12:40, "Jonathan Rosser" <<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-discuss" style="margin: 0px; padding: 0px; border: 0px; font-style: inherit; font-family: inherit; vertical-align: baseline; color: rgb(188, 21, 24); text-decoration: none;" class="">jonathan.rosser at rd.bbc.co.uk</a>>:

><i class=""> I'm seeing very similar errors on patches we are trying to merge in openstack-ansible. Same sort of trouble with Centos breaking and Ubuntu working. References to logs with errors like yours are in the comments on this patch <a href="https://review.opendev.org/c/openstack/openstack-ansible-os_octavia/+/768514" style="margin: 0px; padding: 0px; border: 0px; font-style: inherit; font-family: inherit; vertical-align: baseline; color: rgb(188, 21, 24); text-decoration: none;" class="">https://review.opendev.org/c/openstack/openstack-ansible-os_octavia/+/768514</a>

</i>><i class="">

><i class=""> I was trying to find something specific we are doing wrong on Centos in openstack-ansible deployments but feels like there maybe some common Centos related factor here.

</i>><i class=""> On 04/02/2021 10:11, W Ch wrote:

</i>>><i class=""> Hi:

</i>>><i class="">

>><i class=""> Recently, we added a CI task[0] for octavia in the kolla project. and we tested octavia based on the ubuntu and centos systems.

</i>>><i class="">

>><i class=""> The ubuntu system worked as expected but Centos did not work.

</i>>><i class="">

</i>>><i class=""> I tried to debug it and result is following:

</i>>><i class="">

</i>>><i class=""> Octavia can not create a load balancer on centos8. because octavia-worker failed to plug a vip port on amphora vm.[1]

</i>>><i class="">

</i>>><i class=""> 2021-01-31 08:20:12.065 22 ERROR octavia.compute.drivers.nova_driver [-] Error attaching network None with ip None and port 26a39187-e95a-4131-91e7-24289e777f36 to amphora (compute_id: a210ec88-b554-487f-a125-30b5c7473060) : novaclient.exceptions.ClientException: Unknown Error (HTTP 504)

>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs [-] Error plugging amphora (compute_id: a210ec88-b554-487f-a125-30b5c7473060) into port 26a39187-e95a-4131-91e7-24289e777f36.: octavia.common.exceptions.ComputeUnknownException: Unknown exception from the compute driver: Unknown Error (HTTP 504).

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs Traceback (most recent call last):

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs File "/var/lib/kolla/venv/lib/python3.6/site-packages/octavia/compute/drivers/nova_driver.py", line 318, in attach_network_or_port

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs port_id=port_id)

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs File "/var/lib/kolla/venv/lib/python3.6/site-packages/novaclient/api_versions.py", line 393, in substitution

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs return methods[-1].func(obj, *args, **kwargs)

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs File "/var/lib/kolla/venv/lib/python3.6/site-packages/novaclient/v2/servers.py", line 2063, in interface_attach

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs obj_class=NetworkInterface)

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs File "/var/lib/kolla/venv/lib/python3.6/site-packages/novaclient/base.py", line 363, in _create

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs resp, body = self.api.client.post(url, body=body)

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs File "/var/lib/kolla/venv/lib/python3.6/site-packages/keystoneauth1/adapter.py", line 401, in post

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs return self.request(url, 'POST', **kwargs)

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs File "/var/lib/kolla/venv/lib/python3.6/site-packages/novaclient/client.py", line 78, in request

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs raise exceptions.from_response(resp, body, url, method)

</i>>><i class=""> 2021-01-31 08:20:12.066 22 ERROR octavia.network.drivers.neutron.allowed_address_pairs novaclient.exceptions.ClientException: Unknown Error (HTTP 504)

</i>>><i class="">

>><i class=""> Octavia-work called Neutron API to create a port. And called nova-api to attach the vip to amphora.

</i>>><i class="">

</i>>><i class=""> Neutron created port successfully, but nova failed to attach the port to instance.[2]

</i>>><i class="">

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [req-ab0e8d9b-664b-430f-8006-cad713b0c826 401ba22da5f8427fbda5fce24600041b 8ce8b97f710f43d7af2b8f9b1e0463c8 - default default] [instance: a210ec88-b554-487f-a125-30b5c7473060] attaching network adapter failed.: libvirt.libvirtError: Unable to read from monitor: Connection reset by peer

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] Traceback (most recent call last):

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] File "/var/lib/kolla/venv/lib/python3.6/site-packages/nova/virt/libvirt/driver.py", line 2149, in attach_interface

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] guest.attach_device(cfg, persistent=True, live=live)

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] File "/var/lib/kolla/venv/lib/python3.6/site-packages/nova/virt/libvirt/guest.py", line 304, in attach_device

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] self._domain.attachDeviceFlags(device_xml, flags=flags)

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] File "/var/lib/kolla/venv/lib/python3.6/site-packages/eventlet/tpool.py", line 190, in doit

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] result = proxy_call(self._autowrap, f, *args, **kwargs)

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] File "/var/lib/kolla/venv/lib/python3.6/site-packages/eventlet/tpool.py", line 148, in proxy_call

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] rv = execute(f, *args, **kwargs)

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] File "/var/lib/kolla/venv/lib/python3.6/site-packages/eventlet/tpool.py", line 129, in execute

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] six.reraise(c, e, tb)

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] File "/usr/lib/python3.6/site-packages/six.py", line 703, in reraise

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] raise value

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] File "/var/lib/kolla/venv/lib/python3.6/site-packages/eventlet/tpool.py", line 83, in tworker

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] rv = meth(*args, **kwargs)

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] File "/usr/lib64/python3.6/site-packages/libvirt.py", line 630, in attachDeviceFlags

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] if ret == -1: raise libvirtError ('virDomainAttachDeviceFlags() failed', dom=self)

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060] libvirt.libvirtError: Unable to read from monitor: Connection reset by peer

</i>>><i class=""> 2021-01-31 08:20:23.945 8 ERROR nova.virt.libvirt.driver [instance: a210ec88-b554-487f-a125-30b5c7473060]

</i>>><i class="">

</i>>><i class=""> Nova-compute called libvirt to attach the device. And libvirt also failed to attach the device[3]

</i>>><i class="">

</i>>><i class=""> 2021-01-31 08:20:23.884+0000: 86663: error : qemuMonitorIORead:491 : Unable to read from monitor: Connection reset by peer

</i>>><i class=""> 2021-01-31 08:20:23.884+0000: 86663: debug : qemuMonitorIO:618 : Error on monitor Unable to read from monitor: Connection reset by peer

</i>>><i class=""> 2021-01-31 08:20:23.884+0000: 86663: info : virObjectRef:402 : OBJECT_REF: obj=0x7f004c00b610

</i>>><i class=""> 2021-01-31 08:20:23.884+0000: 86663: debug : qemuMonitorIO:649 : Triggering error callback

</i>>><i class=""> 2021-01-31 08:20:23.884+0000: 86663: debug : qemuProcessHandleMonitorError:346 : Received error on 0x7f004c0095b0 'instance-00000001'

</i>>><i class=""> 2021-01-31 08:20:23.884+0000: 64768: debug : qemuMonitorSend:958 : Send command resulted in error Unable to read from monitor: Connection reset by peer

</i>>><i class="">

>><i class=""> I also tried to use kolla/ubuntu-source-nova-libvirt instead of kolla/centos-source-nova-libvirt. and it worked as expected.

</i>>><i class="">

>><i class=""> I think the root cause is that libvirt failed to attach a network device. but i don't know how to resolve this problem.

</i>>><i class="">

>><i class=""> could anyone help me?

</i>>><i class="">

</i>>><i class=""> Thanks

</i>>><i class="">

</i>>><i class=""> Wuchunyang

</i>>><i class="">

</i>>><i class=""> [0]: <a href="https://review.opendev.org/c/openstack/kolla-ansible/+/754285" style="margin: 0px; padding: 0px; border: 0px; font-style: inherit; font-family: inherit; vertical-align: baseline; color: rgb(188, 21, 24); text-decoration: none;" class="">https://review.opendev.org/c/openstack/kolla-ansible/+/754285</a>

</i>>><i class=""> [1]: <a href="https://zuul.opendev.org/t/openstack/build/e4b8c62c44a64b96bc287ba2ba2315f0/log/primary/logs/kolla/octavia/octavia-worker.txt#1116" style="margin: 0px; padding: 0px; border: 0px; font-style: inherit; font-family: inherit; vertical-align: baseline; color: rgb(188, 21, 24); text-decoration: none;" class="">https://zuul.opendev.org/t/openstack/build/e4b8c62c44a64b96bc287ba2ba2315f0/log/primary/logs/kolla/octavia/octavia-worker.txt#1116</a>

</i>>><i class=""> [2]: <a href="https://zuul.opendev.org/t/openstack/build/e4b8c62c44a64b96bc287ba2ba2315f0/log/primary/logs/kolla/nova/nova-compute.txt#2546" style="margin: 0px; padding: 0px; border: 0px; font-style: inherit; font-family: inherit; vertical-align: baseline; color: rgb(188, 21, 24); text-decoration: none;" class="">https://zuul.opendev.org/t/openstack/build/e4b8c62c44a64b96bc287ba2ba2315f0/log/primary/logs/kolla/nova/nova-compute.txt#2546</a>

</i>>><i class=""> [3]: <a href="https://zuul.opendev.org/t/openstack/build/e4b8c62c44a64b96bc287ba2ba2315f0/log/primary/logs/kolla/libvirt/libvirtd.txt#194472" style="margin: 0px; padding: 0px; border: 0px; font-style: inherit; font-family: inherit; vertical-align: baseline; color: rgb(188, 21, 24); text-decoration: none;" class="">https://zuul.opendev.org/t/openstack/build/e4b8c62c44a64b96bc287ba2ba2315f0/log/primary/logs/kolla/libvirt/libvirtd.txt#194472</a></i></pre><div class=""><pre style="margin-top: 1.5em; margin-bottom: 1.5em; padding: 0px; border: 0px; font-size: 12.001199722290039px; font-family: "andale mono", "lucida console", monospace; vertical-align: baseline; white-space: pre-wrap; font-stretch: normal; line-height: 1.5; caret-color: rgb(83, 83, 83); color: rgb(83, 83, 83);" class=""><div style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; white-space: normal;">Best regards, </div><div style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; white-space: normal;">Bartosz Bezak</div></pre><div class=""><br class=""></div></div><div class="">

<div dir="auto" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration: none; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div><br class=""></div></div><br class="Apple-interchange-newline"><br class="Apple-interchange-newline">

</div>

<br class=""></body></html>