<div dir="ltr"><div><div><div><div><div><div><div>We have an F5 doing all the SSL in front of our API servers.</div><div><br>SSL-Session:<br>    Protocol  : TLSv1.2<br>    Cipher    : ECDHE-RSA-AES256-GCM-SHA384</div><div><br></div>The majority of the requests that were failing was a glance request /v2/images?limit=20 (around 25% of requests which is around 1-2 a second)<br></div><div>Glance is on Ocata.</div><div><br></div><div>We also saw the same error on the heat and designate running pike and other services.<br></div><br></div>We thought it was to do with low entropy on the control VMs as they were actually low, however we tweaked this and increased entropy to over 3000 and still had issues.<br><br></div>The underlying hypervisor is also running Xenial and the 4.4.0-109 kernel but it hasn't got the intel-microcode package installed.<br><br></div>Let me know if anyone wants more details of our setup and I'll happily provide.<br><br><br></div>Cheers,<br></div>Sam<br><br><div><div><br><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jan 19, 2018 at 7:18 AM, Logan V. <span dir="ltr"><<a href="mailto:logan@protiumit.com" target="_blank">logan@protiumit.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">We upgraded our control plane to 4.4.0-109 + intel-microcode<br>
3.20180108.0~ubuntu16.04.2 several days ago, and are about 1/2 of the<br>
way thru upgrading our compute hosts with these changes. We use Ocata<br>
for all services, and no issue like this has been observed yet on our<br>
env. Control hosts are E5-2600 V2's and the computes are a mix of<br>
E5-2600 v2/v3/v4's along with some Xeon D1541's.<br>
<div class="HOEnZb"><div class="h5"><br>
On Thu, Jan 18, 2018 at 2:42 AM, Adam Heczko <<a href="mailto:aheczko@mirantis.com">aheczko@mirantis.com</a>> wrote:<br>
> Hello Sam, thank you for sharing this information.<br>
> Could you please provide more information related to your specific setup.<br>
> How is Keystone API endpoint TLS terminated in your setup?<br>
> AFAIK in our OpenStack labs we haven't observed anything like this although<br>
> we terminate TLS on Nginx or HAProxy.<br>
><br>
><br>
> On Thu, Jan 18, 2018 at 4:36 AM, Sam Morrison <<a href="mailto:sorrison@gmail.com">sorrison@gmail.com</a>> wrote:<br>
>><br>
>> Hi All,<br>
>><br>
>> We updated our control infrastructure to the latest Ubuntu Xenial Kernel<br>
>> (4.4.0-109) which includes the meltdown fixes.<br>
>><br>
>> We have found this kernel to have issues with SSL connections with python<br>
>> and have since downgraded. We get errors like:<br>
>><br>
>> SSLError: SSL exception connecting to<br>
>> <a href="https://keystone.example.com:35357/v3/auth/tokens" rel="noreferrer" target="_blank">https://keystone.example.com:<wbr>35357/v3/auth/tokens</a>: ("bad handshake:<br>
>> Error([('', 'osrandom_rand_bytes', 'getrandom() initialization<br>
>> failed.')],)”,)<br>
>><br>
>> Full trace:  <a href="http://paste.openstack.org/show/646803/" rel="noreferrer" target="_blank">http://paste.openstack.org/<wbr>show/646803/</a><br>
>><br>
>> This was affecting glance mainly but all API services were having issues.<br>
>><br>
>> Our controllers are running inside KVM VMs and the guests see the CPU as<br>
>> "Intel Xeon E3-12xx v2 (Ivy Bridge)”<br>
>><br>
>> This isn’t an openstack issue specifically but hopefully it helps others<br>
>> who may be seeing similar issues.<br>
>><br>
>><br>
>> Cheers,<br>
>> Sam<br>
>><br>
>><br>
>><br>
>><br>
>> ______________________________<wbr>_________________<br>
>> OpenStack-operators mailing list<br>
>> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.<wbr>openstack.org</a><br>
>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-operators</a><br>
><br>
><br>
><br>
><br>
> --<br>
> Adam Heczko<br>
> Security Engineer @ Mirantis Inc.<br>
><br>
> ______________________________<wbr>_________________<br>
> OpenStack-operators mailing list<br>
> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.<wbr>openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-operators</a><br>
><br>
</div></div></blockquote></div><br></div>