
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">

<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>

</head>

<body dir="ltr">

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

Thanks Ionut.</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

If you are able could you test this patch instead. I think I better understand what the issue was now. We were not only creating a new RPC Client for each HTTP request, but also a brand-new transport for each request.</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<a href="https://review.opendev.org/c/openstack/magnum/+/770707" id="LPlnk914373">https://review.opendev.org/c/openstack/magnum/+/770707</a><br>

</div>

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div id="appendonsend"></div>

<hr style="display:inline-block;width:98%" tabindex="-1">

<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> Ionut Biru <ionut@fleio.com><br>

<b>Sent:</b> Tuesday, January 12, 2021 3:17 AM<br>

<b>To:</b> Erik Olof Gunnar Andersson <eandersson@blizzard.com><br>

<b>Cc:</b> Spyros Trigazis <strigazi@gmail.com>; feilong <feilong@catalyst.net.nz>; openstack-discuss <openstack-discuss@lists.openstack.org><br>

<b>Subject:</b> Re: [magnum][api] Error system library fopen too many open files with magnum-auto-healer</font>

<div> </div>

</div>

<div>

<div dir="ltr">Hi Erik,

<div><br>

</div>

<div>Here it is: <a href="https://urldefense.com/v3/__https://paste.xinu.at/LgH8dT/__;!!Ci6f514n9QsL8ck!3xiIzEOH2LobmnEu2CJo-_pe1pReHXcpL2yaazTbfH6tKSlHF2JOL3RwsRanhwl2Xw$">https://paste.xinu.at/LgH8dT/</a></div>

</div>

<br>

<div class="x_gmail_quote">

<div dir="ltr" class="x_gmail_attr">On Mon, Jan 11, 2021 at 10:45 PM Erik Olof Gunnar Andersson <<a href="mailto:eandersson@blizzard.com">eandersson@blizzard.com</a>> wrote:<br>

</div>

<blockquote class="x_gmail_quote" style="margin:0px 0px 0px 0.8ex; border-left:1px solid rgb(204,204,204); padding-left:1ex">

<div lang="EN-US" style="">

<div class="x_gmail-m_4191465423871055665WordSection1">

<p class="x_MsoNormal">Thanks I added it to the commit.<u></u><u></u></p>

<p class="x_MsoNormal"><u></u> <u></u></p>

<p class="x_MsoNormal">Could you share your uwsgi config as well.<u></u><u></u></p>

<p class="x_MsoNormal"><u></u> <u></u></p>

<p class="x_MsoNormal">Best Regards, Erik Olof Gunnar Andersson<u></u><u></u></p>

<p class="x_MsoNormal">Technical Lead, Senior Cloud Engineer<u></u><u></u></p>

<p class="x_MsoNormal"><u></u> <u></u></p>

<div style="border-right:none; border-bottom:none; border-left:none; border-top:1pt solid rgb(225,225,225); padding:3pt 0in 0in">

<p class="x_MsoNormal"><b>From:</b> Ionut Biru <<a href="mailto:ionut@fleio.com" target="_blank">ionut@fleio.com</a>>

<br>

<b>Sent:</b> Tuesday, January 5, 2021 1:51 AM<br>

<b>To:</b> Erik Olof Gunnar Andersson <<a href="mailto:eandersson@blizzard.com" target="_blank">eandersson@blizzard.com</a>><br>

<b>Cc:</b> Spyros Trigazis <<a href="mailto:strigazi@gmail.com" target="_blank">strigazi@gmail.com</a>>; feilong <<a href="mailto:feilong@catalyst.net.nz" target="_blank">feilong@catalyst.net.nz</a>>; openstack-discuss <<a href="mailto:openstack-discuss@lists.openstack.org" target="_blank">openstack-discuss@lists.openstack.org</a>><br>

<b>Subject:</b> Re: [magnum][api] Error system library fopen too many open files with magnum-auto-healer<u></u><u></u></p>

</div>

<p class="x_MsoNormal"><u></u> <u></u></p>

<div>

<p class="x_MsoNormal">Hi,<u></u><u></u></p>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<div>

<p class="x_MsoNormal">Here is my config. maybe something is fishy.<u></u><u></u></p>

</div>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<div>

<p class="x_MsoNormal">I did have around 300 messages in the queue in <a href="https://urldefense.com/v3/__http:/notification.info__;!!Ci6f514n9QsL8ck!zXau4TQ7lpYxxCmShvD-QtwfISyXyajq11TeBMle6hAdw3N9NdP7PuG5YgqgOhdO4A$" target="_blank">

notification.info</a> and notification.err and I purged them.<u></u><u></u></p>

</div>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<div>

<p class="x_MsoNormal"><a href="https://urldefense.com/v3/__https:/paste.xinu.at/woMt/__;!!Ci6f514n9QsL8ck!zXau4TQ7lpYxxCmShvD-QtwfISyXyajq11TeBMle6hAdw3N9NdP7PuG5YgrG1_F7_w$" target="_blank">https://paste.xinu.at/woMt/</a><u></u><u></u></p>

</div>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

</div>

<p class="x_MsoNormal"><u></u> <u></u></p>

<div>

<div>

<p class="x_MsoNormal">On Tue, Jan 5, 2021 at 11:23 AM Erik Olof Gunnar Andersson <<a href="mailto:eandersson@blizzard.com" target="_blank">eandersson@blizzard.com</a>> wrote:<u></u><u></u></p>

</div>

<blockquote style="border-top:none; border-right:none; border-bottom:none; border-left:1pt solid rgb(204,204,204); padding:0in 0in 0in 6pt; margin-left:4.8pt; margin-right:0in">

<div>

<div>

<p class="x_MsoNormal"><span style="font-size:12pt; color:black">Yea - tested locally as well and wasn't able to reproduce it either. I changed the health service job to run every second and maxed out at about 42 connections to RabbitMQ with two conductor workers.<br>

<br>

/etc/magnum/magnun.conf<br>

<br>

[conductor] <u></u><u></u></span></p>

<div>

<p class="x_MsoNormal"><span style="font-size:12pt; color:black">workers = 2<u></u><u></u></span></p>

</div>

<p class="x_MsoNormal" style="margin-bottom:12pt"><span style="font-size:12pt; color:black"><u></u> <u></u></span></p>

</div>

<div class="x_MsoNormal" align="center" style="text-align:center">

<hr size="2" width="98%" align="center">

</div>

<div id="x_gmail-m_4191465423871055665gmail-m_8552743414295496124divRplyFwdMsg">

<p class="x_MsoNormal"><b><span style="color:black">From:</span></b><span style="color:black"> Spyros Trigazis <<a href="mailto:strigazi@gmail.com" target="_blank">strigazi@gmail.com</a>><br>

<b>Sent:</b> Tuesday, January 5, 2021 12:59 AM<br>

<b>To:</b> Ionut Biru <<a href="mailto:ionut@fleio.com" target="_blank">ionut@fleio.com</a>><br>

<b>Cc:</b> Erik Olof Gunnar Andersson <<a href="mailto:eandersson@blizzard.com" target="_blank">eandersson@blizzard.com</a>>; feilong <<a href="mailto:feilong@catalyst.net.nz" target="_blank">feilong@catalyst.net.nz</a>>; openstack-discuss <<a href="mailto:openstack-discuss@lists.openstack.org" target="_blank">openstack-discuss@lists.openstack.org</a>><br>

<b>Subject:</b> Re: [magnum][api] Error system library fopen too many open files with magnum-auto-healer</span>

<u></u><u></u></p>

<div>

<p class="x_MsoNormal"> <u></u><u></u></p>

</div>

</div>

<div>

<div>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<p class="x_MsoNormal"><u></u> <u></u></p>

<div>

<div>

<p class="x_MsoNormal">On Tue, Jan 5, 2021 at 9:36 AM Ionut Biru <<a href="mailto:ionut@fleio.com" target="_blank">ionut@fleio.com</a>> wrote:<u></u><u></u></p>

</div>

<blockquote style="border-top:none; border-right:none; border-bottom:none; border-left:1pt solid rgb(204,204,204); padding:0in 0in 0in 6pt; margin-left:4.8pt; margin-right:0in">

<div>

<p class="x_MsoNormal">Hi, <u></u><u></u></p>

<div>

<p class="x_MsoNormal"><br>

I tried with process=1 and it reached 1016 connections to rabbitmq.<u></u><u></u></p>

</div>

<div>

<p class="x_MsoNormal">lsof<u></u><u></u></p>

</div>

<div>

<p class="x_MsoNormal"><a href="https://urldefense.com/v3/__https:/paste.xinu.at/jGg/__;!!Ci6f514n9QsL8ck!w-sy8zu-TkPMcmlD3ZhyxEiBTRWikibrBZOfumXkqKodtdcI4FD236uNMmjynMvIcA$" target="_blank">https://paste.xinu.at/jGg/</a><u></u><u></u></p>

</div>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<div>

<p class="x_MsoNormal">i think it goes into error when it reaches 1024 file descriptors.<u></u><u></u></p>

</div>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<div>

<p class="x_MsoNormal">I'm out of ideas of how to resolve this. I only have 3 clusters available and it's kinda weird and It doesn't scale.<u></u><u></u></p>

</div>

</div>

</blockquote>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<div>

<p class="x_MsoNormal">No issues here with 100s of clusters. Not sure what doesn't scale.<u></u><u></u></p>

</div>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<div>

<p class="x_MsoNormal">* Maybe your rabbit is flooded with notifications that are not consumed? <u></u><u></u></p>

</div>

<div>

<p class="x_MsoNormal">* You can use way more than 1024 file descriptors, maybe 2^10?<u></u><u></u></p>

</div>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<div>

<p class="x_MsoNormal">Spyros<u></u><u></u></p>

</div>

<blockquote style="border-top:none; border-right:none; border-bottom:none; border-left:1pt solid rgb(204,204,204); padding:0in 0in 0in 6pt; margin-left:4.8pt; margin-right:0in">

<p class="x_MsoNormal"><u></u> <u></u></p>

<div>

<div>

<p class="x_MsoNormal">On Mon, Jan 4, 2021 at 9:53 PM Erik Olof Gunnar Andersson <<a href="mailto:eandersson@blizzard.com" target="_blank">eandersson@blizzard.com</a>> wrote:<u></u><u></u></p>

</div>

<blockquote style="border-top:none; border-right:none; border-bottom:none; border-left:1pt solid rgb(204,204,204); padding:0in 0in 0in 6pt; margin-left:4.8pt; margin-right:0in">

<div>

<div>

<p>Sure looks like RabbitMQ. How many workers do have you configured?<u></u><u></u></p>

<p> <u></u><u></u></p>

<p>Could you try to changing the uwsgi configuration to <span style="color:rgb(36,41,46); background:white">

workers=1 (or processes=1) </span>and then see if it goes beyond 30 connections to amqp.<u></u><u></u></p>

<p> <u></u><u></u></p>

<div style="border-right:none; border-bottom:none; border-left:none; border-top:1pt solid rgb(225,225,225); padding:3pt 0in 0in">

<p><b>From:</b> Ionut Biru <<a href="mailto:ionut@fleio.com" target="_blank">ionut@fleio.com</a>>

<br>

<b>Sent:</b> Monday, January 4, 2021 4:07 AM<br>

<b>To:</b> Erik Olof Gunnar Andersson <<a href="mailto:eandersson@blizzard.com" target="_blank">eandersson@blizzard.com</a>><br>

<b>Cc:</b> feilong <<a href="mailto:feilong@catalyst.net.nz" target="_blank">feilong@catalyst.net.nz</a>>; openstack-discuss <<a href="mailto:openstack-discuss@lists.openstack.org" target="_blank">openstack-discuss@lists.openstack.org</a>><br>

<b>Subject:</b> Re: [magnum][api] Error system library fopen too many open files with magnum-auto-healer<u></u><u></u></p>

</div>

<p> <u></u><u></u></p>

<div>

<p>Hi Erik,<u></u><u></u></p>

<div>

<p> <u></u><u></u></p>

</div>

<div>

<p>Here is lsof of one uwsgi api. <a href="https://urldefense.com/v3/__https:/paste.xinu.at/5YUWf/__;!!Ci6f514n9QsL8ck!wv_wzG-Ntk0gd3ReOupQl-iXIcWpPR3genCqeKNY5JCKZDWxQHSqqa-uxxgUFFhz0Q$" target="_blank">https://paste.xinu.at/5YUWf/</a><u></u><u></u></p>

</div>

<div>

<p> <u></u><u></u></p>

</div>

<div>

<p>I have kubernetes 12.0.1 installed in env.<u></u><u></u></p>

</div>

<div>

<p> <u></u><u></u></p>

</div>

</div>

<p> <u></u><u></u></p>

<div>

<div>

<p>On Sun, Jan 3, 2021 at 3:06 AM Erik Olof Gunnar Andersson <<a href="mailto:eandersson@blizzard.com" target="_blank">eandersson@blizzard.com</a>> wrote:<u></u><u></u></p>

</div>

<blockquote style="border-top:none; border-right:none; border-bottom:none; border-left:1pt solid rgb(204,204,204); padding:0in 0in 0in 6pt; margin:5pt 0in 5pt 4.8pt">

<div>

<div>

<p><span style="font-size:12pt; color:black">Maybe something similar to this?<br>

<a href="https://urldefense.com/v3/__https:/github.com/kubernetes-client/python/issues/1158__;!!Ci6f514n9QsL8ck!wv_wzG-Ntk0gd3ReOupQl-iXIcWpPR3genCqeKNY5JCKZDWxQHSqqa-uxxgAtzJkNg$" target="_blank">https://github.com/kubernetes-client/python/issues/1158</a><br>

<br>

What does lsof say?</span><u></u><u></u></p>

<p><span style="font-size:12pt; color:black"> </span><u></u><u></u></p>

</div>

</div>

</blockquote>

</div>

<div>

<div>

<p> <u></u><u></u></p>

</div>

</div>

</div>

</div>

</blockquote>

</div>

<p class="x_MsoNormal"><br clear="all">

<u></u><u></u></p>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<p class="x_MsoNormal">-- <u></u><u></u></p>

<div>

<div>

<p class="x_MsoNormal">Ionut Biru - <a href="https://urldefense.com/v3/__https:/fleio.com__;!!Ci6f514n9QsL8ck!w-sy8zu-TkPMcmlD3ZhyxEiBTRWikibrBZOfumXkqKodtdcI4FD236uNMmit-G0eng$" target="_blank">

https://fleio.com</a><u></u><u></u></p>

</div>

</div>

</blockquote>

</div>

</div>

</div>

</div>

</blockquote>

</div>

<p class="x_MsoNormal"><br clear="all">

<u></u><u></u></p>

<div>

<p class="x_MsoNormal"><u></u> <u></u></p>

</div>

<p class="x_MsoNormal">-- <u></u><u></u></p>

<div>

<div>

<p class="x_MsoNormal">Ionut Biru - <a href="https://urldefense.com/v3/__https:/fleio.com__;!!Ci6f514n9QsL8ck!zXau4TQ7lpYxxCmShvD-QtwfISyXyajq11TeBMle6hAdw3N9NdP7PuG5Ygp-5WUmyw$" target="_blank">

https://fleio.com</a><u></u><u></u></p>

</div>

</div>

</div>

</div>

</blockquote>

</div>

<br clear="all">

<div><br>

</div>

-- <br>

<div dir="ltr" class="x_gmail_signature">

<div dir="ltr">Ionut Biru - <a href="https://urldefense.com/v3/__https://fleio.com__;!!Ci6f514n9QsL8ck!3xiIzEOH2LobmnEu2CJo-_pe1pReHXcpL2yaazTbfH6tKSlHF2JOL3RwsRZoVksdyg$" target="_blank">

https://fleio.com</a><br>

</div>

</div>

</div>

</body>

</html>