<div dir="ltr"><div>We updated kombu and amqp on Jan 28th in RDO <a href="https://review.rdoproject.org/r/#/c/31661/">https://review.rdoproject.org/r/#/c/31661/</a> so it may be related to it.</div><div><br></div><div>Could you point me to some logs about the failure?</div><div><br></div><div>Best regards.</div><div><br></div><div>Alfredo</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Jan 30, 2021 at 1:15 PM Dmitriy Rabotyagov <<a href="mailto:noonedeadpunk@ya.ru">noonedeadpunk@ya.ru</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Yeah, they do:<br>
[root@centos-distro openstack-ansible]# rpm -qa | egrep "amqp|kombu" <br>
python3-kombu-5.0.2-1.el8.noarch <br>
python3-amqp-5.0.3-1.el8.noarch <br>
[root@centos-distro openstack-ansible]#<br>
<br>
But not sure about keystoneauth1 since I see this at the point in oslo.messaging. Full error in systemd looks like this:<br>
Jan 30 11:51:04 aio1 nova-conductor[97314]: 2021-01-30 11:51:04.543 97314 ERROR oslo.messaging._drivers.impl_rabbit [req-61609624-b577-475d-996e-bc8f9899eae0 - - - - -] Connection failed: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:897)<br>
<br>
<br>
30.01.2021, 12:42, "Thomas Goirand" <<a href="mailto:zigo@debian.org" target="_blank">zigo@debian.org</a>>:<br>
> On 1/30/21 10:47 AM, Dmitriy Rabotyagov wrote:<br>
>>  In the meanwhile we see that most of the services fail to interact with rabbitmq over self-signed SSL in case RDO packages are used even with Python 3.6.<br>
>>  We don't see this happening when installing things with pip packages though. Both rdo and pip version of eventlet we used was 0.30.0.<br>
>><br>
>>  RDO started failing for us several days back with:<br>
>>  ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:897)<br>
>><br>
>>  Not sure, maybe it's not related directly to eventlet, but sounds like it might be.<br>
><br>
> Does RDO has version 5.0.3 of AMQP and version 5.0.2 of Kombu? That's<br>
> what I had to do in Debian to pass this stage.<br>
><br>
> Though the next issue is what I wrote, when a service tries to validate<br>
> a keystone token (ie: keystoneauth1 calls requests that calls urllib3,<br>
> which in turns calls Python 3.9 SSL, and then crash with maximum<br>
> recursion depth exceeded). I'm no 100% sure the problem is in Eventlet,<br>
> but it really looks like it, as it's similar to another SSL crash we had<br>
> in Python 3.7.<br>
><br>
> Cheers,<br>
><br>
> Thomas Goirand (zigo)<br>
<br>
<br>
-- <br>
Kind Regards,<br>
Dmitriy Rabotyagov<br>
<br>
</blockquote></div>