<div dir="ltr">Hi Team,<div><br></div><div>It's me again and I've got some new tests results [3]. I'd got the following test environment:</div><div><ul><li>3 controllers </li><li>2 computes</li><li>1 node with horizon</li><li>60 items per page</li><li>60 instances launched with only 3 different images.</li></ul><div><br></div></div><div>As always, any feedback is welcome</div><div><br></div><div><br></div><div><span style="font-size:12.8px">[3] </span><a href="https://docs.google.com/spreadsheets/d/14zDpdkPUfGDR_ZycaGUoT64kHsGi1gL9JOha8n5PVeg/edit#gid=0" target="_blank" style="font-size:12.8px">https://docs.google.com/<wbr>spreadsheets/d/14zDpdkPUfGDR_<wbr>ZycaGUoT64kHsGi1gL9JOha8n5PVeg<wbr>/edit#gid=0</a></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Regards,<br>Ivan Kolodyazhny,<br><a href="http://blog.e0ne.info/" target="_blank">http://blog.e0ne.info/</a></div></div></div></div>
<br><div class="gmail_quote">On Wed, Dec 6, 2017 at 12:47 PM, Ivan Kolodyazhny <span dir="ltr"><<a href="mailto:e0ne@e0ne.info" target="_blank">e0ne@e0ne.info</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Team,<div><br></div><div>Last week we had a hot discussion about this topic at the meeting [6]. We still don't have an agreement how to go forward with it. As was requested, I did some perf testing with a current approach [3]. TBH, these tests results don't show real data but look realistic. I used the same VM with the same code (just checked out to the previous commit of horizon). To get better results, we need to re-test all but I don't have enough time now:(. I hope, these results are good enoudh and we can make our final decision on this topic.</div><div><br></div><div>[3] <a href="https://docs.google.com/spreadsheets/d/14zDpdkPUfGDR_ZycaGUoT64kHsGi1gL9JOha8n5PVeg/edit#gid=0" target="_blank">https://docs.google.com/<wbr>spreadsheets/d/14zDpdkPUfGDR_<wbr>ZycaGUoT64kHsGi1gL9JOha8n5PVeg<wbr>/edit#gid=0</a><br></div><div>[6] <a href="http://eavesdrop.openstack.org/meetings/horizon/2017/horizon.2017-11-29-20.00.log.html#l-12" target="_blank">http://eavesdrop.openstack.<wbr>org/meetings/horizon/2017/<wbr>horizon.2017-11-29-20.00.log.<wbr>html#l-12</a></div><div><br></div></div><div class="gmail_extra"><span class=""><br clear="all"><div><div class="m_-2049437292896301913gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Regards,<br>Ivan Kolodyazhny,<br><a href="http://blog.e0ne.info/" target="_blank">http://blog.e0ne.info/</a></div></div></div></div>
<br></span><div><div class="h5"><div class="gmail_quote">On Tue, Oct 31, 2017 at 11:06 PM, Ivan Kolodyazhny <span dir="ltr"><<a href="mailto:e0ne@e0ne.info" target="_blank">e0ne@e0ne.info</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Just forgot to mention one other option: we can use celery [6] too but I didn't do any performance testing with it. This solution will be more complex.<div><br></div><div>[6] <a href="http://www.celeryproject.org/" target="_blank">http://www.celeryproject.o<wbr>rg/</a></div></div><div class="gmail_extra"><span><br clear="all"><div><div class="m_-2049437292896301913m_-6694095614442034799gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Regards,<br>Ivan Kolodyazhny,<br><a href="http://blog.e0ne.info/" target="_blank">http://blog.e0ne.info/</a></div></div></div></div>
<br></span><div><div class="m_-2049437292896301913h5"><div class="gmail_quote">On Tue, Oct 31, 2017 at 7:15 PM, Ivan Kolodyazhny <span dir="ltr"><<a href="mailto:e0ne@e0ne.info" target="_blank">e0ne@e0ne.info</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hi team,</div><div><br></div><div>We all know that unfortunately Horizon's performance not good enough in some cases. That's why we try to fix it on both sides: client-side and server-side.</div><div><br></div><div>I would like to talk mostly about server-side now. On some views, we use 'futurist' library [1] to fetch resources from API's in parallel. I've filed a blueprint for this effort [2]. You can find some work in progress patches in the Gerrit. </div><div><br></div><div>For now, we use futurist.ThreadPoolExecutor in Horizon to fetch resources from APIs. It requires some specific Apache configuration changes to allow WSGI app to create threads. It means, our code execution depends on Apache mod_wsgi configuration. </div><div><br></div><div>To avoid this, we can use futurist.GreenThreadPoolExecut<wbr>or. It uses eventlet green threads which can be used to speed-up I/O operations like 'call external API'.</div><div><br></div><div>I did very simple performance testing [3] with proposed patch [4] for volumes views. My tests are not ideal but you can see how it's going with green thread. I propose to switch to the futurist.GreenThreadPoolExecut<wbr>or and add 'eventlet.monkey_patch()' call to the wsgi app for Horizon. It will speed up parallel API calls and make Horizon independent on Apache or other web server configuration.</div><div><br></div><div>I added this topic to the next weekly meeting agenda [5] so we can discuss it there too.</div><div><br></div><div><br></div><div>[1] <a href="https://github.com/openstack/futurist/" target="_blank">https://github.com/opensta<wbr>ck/futurist/</a><br></div><div>[2] <a href="https://blueprints.launchpad.net/horizon/+spec/fetch-resources-in-parallel" target="_blank">https://blueprints.launchp<wbr>ad.net/horizon/+spec/fetch-res<wbr>ources-in-parallel</a></div><div>[3] <a href="https://docs.google.com/spreadsheets/d/14zDpdkPUfGDR_ZycaGUoT64kHsGi1gL9JOha8n5PVeg/edit?usp=sharing" target="_blank">https://docs.google.com/spread<wbr>sheets/d/14zDpdkPUfGDR_ZycaGUo<wbr>T64kHsGi1gL9JOha8n5PVeg/edit?u<wbr>sp=sharing</a></div><div>[4] <a href="https://review.openstack.org/#/c/426493/" target="_blank">https://review.openstack.org/#<wbr>/c/426493/</a></div><div>[5] <a href="https://wiki.openstack.org/wiki/Meetings/Horizon#Agenda_for_Next_Meeting" target="_blank">https://wiki.openstack.org<wbr>/wiki/Meetings/Horizon#Agenda_<wbr>for_Next_Meeting</a><br><div><br clear="all"><div><div class="m_-2049437292896301913m_-6694095614442034799m_5868490510861670168gmail_signature"><div dir="ltr"><div>Regards,<br>Ivan Kolodyazhny,<br><a href="http://blog.e0ne.info/" target="_blank">http://blog.e0ne.info/</a></div></div></div></div>
</div></div></div>
</blockquote></div><br></div></div></div>
</blockquote></div><br></div></div></div>
</blockquote></div><br></div>