<div dir="ltr">Thank you Morgan for quick fixes proposed!</div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Apr 12, 2016 at 6:19 PM, Morgan Fainberg <span dir="ltr"><<a href="mailto:morgan.fainberg@gmail.com" target="_blank">morgan.fainberg@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Sorry Missed the copy/paste of links:<div><br></div><div><a href="https://bugs.launchpad.net/keystone/+bug/1567403" target="_blank">https://bugs.launchpad.net/keystone/+bug/1567403</a> [0]<br></div><div><a href="https://bugs.launchpad.net/keystone/+bug/1567413" target="_blank">https://bugs.launchpad.net/keystone/+bug/1567413</a> [1]<br></div><div><br></div><div>[0] <a href="https://review.openstack.org/#/q/I4857cfe1e62d54c3c89a0206ffc895c4cf681ce5,n,z" target="_blank">https://review.openstack.org/#/q/I4857cfe1e62d54c3c89a0206ffc895c4cf681ce5,n,z</a></div><div>[1] <a href="https://review.openstack.org/#/c/304688/" target="_blank">https://review.openstack.org/#/c/304688/</a></div><span class="HOEnZb"><font color="#888888"><div><br></div><div>--Morgan</div></font></span></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Apr 12, 2016 at 8:16 AM, Morgan Fainberg <span dir="ltr"><<a href="mailto:morgan.fainberg@gmail.com" target="_blank">morgan.fainberg@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Fixes have been proposed for both of these bugs.<div><br></div><div>Cheers,</div><div>--Morgan</div></div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Apr 12, 2016 at 12:38 AM, Dina Belova <span dir="ltr"><<a href="mailto:dbelova@mirantis.com" target="_blank">dbelova@mirantis.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Matt,<div><br></div><div>Thanks for sharing the information about your benchmark. Indeed we need to follow up on this topic (I'll attend the summit). Let's try to collect as much information as possible prior Austin to have more facts to operate. I'll try to figure out why local context cache did not work at least on my environment, and, due to the results, most probably it did not act as supposed during your benchmarking as well.</div><div><br></div><div>Cheers,</div><div>Dina</div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div>On Mon, Apr 11, 2016 at 10:57 PM, Matt Fischer <span dir="ltr"><<a href="mailto:matt@mattfischer.com" target="_blank">matt@mattfischer.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><div>On Mon, Apr 11, 2016 at 8:11 AM, Dina Belova <span dir="ltr"><<a href="mailto:dbelova@mirantis.com" target="_blank">dbelova@mirantis.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hey, openstackers!<div><br></div><div>Recently I was trying to profile Keystone (OpenStack Liberty vs Mitaka) using this <a href="https://review.openstack.org/#/q/topic:osprofiler-support-in-keystone+status:open" target="_blank">set of changes</a> (that's currently on review - some final steps are required there to finish the work) and OSprofiler. </div><div><br></div><div>Some preliminary results (all in one OpenStack node) can be found <a href="http://docs.openstack.org/developer/performance-docs/test_results/keystone/all-in-one/index.html" target="_blank">here</a> (raw OSprofiler reports are not yet merged to some place and can be found <a href="https://review.openstack.org/#/c/299514/" target="_blank">here</a>). The full <a href="http://docs.openstack.org/developer/performance-docs/test_plans/keystone/plan.html#keystone-performance" target="_blank">plan</a> of what's going to be tested  can be found in the docs as well. In short I wanted to take a look how does Keystone changed its DB/Cache usage from Liberty to Mitaka, keeping in mind that there were several changes introduced:</div><div><ul><li>federation support was added (and made DB scheme a bit more complex)<br></li><li>Keystone moved to oslo.cache usage<br></li><li>local context cache was introduced during Mitaka</li></ul></div><div>First of all - <b>good job on making Keystone less DB-extensive in case of cache turned on</b>! If Keystone caching is turned on, number of DB queries done to Keystone DB in Mitaka is averagely twice less than in Liberty, comparing the same requests and topologies. Thanks Keystone community to make it happen :)</div><div><br></div><div>Although, I faced <b>two strange issues</b> during my experiments, and I'm kindly asking you, folks, to help me here:</div><div><ul><li>I've created <a href="https://bugs.launchpad.net/keystone/+bug/1567403" target="_blank">#1567403</a> bug to share information - when I turned caching on, local context cache should cache identical per API requests function calls not to ping Memcache too often. Although I faced such calls, Keystone still used Memcache to gather this information. May someone take a look on this and help me figure out what am I observing? At the first sight local context cache should work ok, but for some reason I do not see it's being used.<br></li><li>One more filed bug - <a href="https://bugs.launchpad.net/keystone/+bug/1567413" target="_blank">#1567413</a> - is about a bit opposite situation :) When I turned cache off explicitly in the keystone.conf file, I still observed some of the values being fetched from Memcache... Your help is very appreciated!</li></ul><div>Thanks in advance and sorry for a long email :)</div></div><div><br></div><div>Cheers,</div><div>Dina</div></div>
<br></blockquote><div><br></div></div></div><div>Dina,</div><div><br></div><div>Thanks for starting this conversation. I had some weird perf results comparing L to an RC release of Mitaka, but I was holding them until someone else confirmed what I saw. I'm testing token creation and validation. >From what I saw, token validation slowed down in Mitaka. After doing my benchmark runs, the traffic to memcache was 8x in Mitaka from what it was in Liberty. That implies more caching but 8x is a lot and even memcache references are not free. </div><div><br></div><div>I know some of the Keystone folks are looking into this so it will be good to follow-up on it. Maybe we could talk about this at the summit?</div><div> </div></div><br></div></div>
<br></div></div>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><span><font color="#888888"><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr"><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)"><p style="font-size:small;margin:0px;font-family:Helvetica">Best regards,</p><p style="font-size:small;margin:0px;font-family:Helvetica">Dina Belova</p><p style="font-size:small;margin:0px;font-family:Helvetica">Software Engineer</p><p style="font-size:small;margin:0px;font-family:Helvetica">Mirantis Inc.</p></div></div></div>
</font></span></div>
<br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div>
</div></div></blockquote></div><br></div>
</div></div><br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><div style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)"><p style="font-size:small;margin:0px;font-family:Helvetica">Best regards,</p><p style="font-size:small;margin:0px;font-family:Helvetica">Dina Belova</p><p style="font-size:small;margin:0px;font-family:Helvetica">Software Engineer</p><p style="font-size:small;margin:0px;font-family:Helvetica">Mirantis Inc.</p></div></div></div>
</div>