<div dir="ltr">My production environment stays at about 18k non-expired tokens (expiration set to 24h) mostly from internal openstack stuff I assume and it hums along just fine. The 300k is a problem though.</div><div class="gmail_extra">
<br clear="all"><div><div dir="ltr">------------------<br>Aubrey Wells<br>Director | Network Services<br>VocalCloud<br>888.305.3850<br><a href="mailto:support@vocalcloud.com" target="_blank">support@vocalcloud.com</a><br>
<a href="http://www.vocalcloud.com" target="_blank">www.vocalcloud.com</a></div></div>
<br><br><div class="gmail_quote">On Mon, Aug 19, 2013 at 2:04 PM, Nick Maslov <span dir="ltr"><<a href="mailto:azpekt@gmail.com" target="_blank">azpekt@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi Aubreu,<br>
<br>
So, having this in a development environment with max ~2 concurrent users and 2 VM`s is an issue?<br>
<br>
keystone=# select count(*) from token;<br>
 count<br>
-------<br>
 17360<br>
(1 row)<br>
<br>
<br>
I`m having about 300k of rows in another environment as well.<br>
<br>
Thanks for info.<br>
<span class="HOEnZb"><font color="#888888">Nick<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
On 08/15, Aubrey Wells wrote:<br>
> We have the same thing and found that the keystone tokens table had<br>
> hundreds of thousands of expired tokens in it so the SELECT that gets done<br>
> during the auth phase of API operations was taking ages to return. Wrote a<br>
> script to clean up expired tokens and it hasn't recurred. A quick and dirty<br>
> version to clean it up by hand would be 'delete from token where expires <<br>
> NOW();' but you might want something a little safer in an automated script.<br>
><br>
> ------------------<br>
> Aubrey Wells<br>
> Director | Network Services<br>
> VocalCloud<br>
> <a href="tel:888.305.3850" value="+18883053850">888.305.3850</a><br>
> <a href="mailto:support@vocalcloud.com">support@vocalcloud.com</a><br>
> <a href="http://www.vocalcloud.com" target="_blank">www.vocalcloud.com</a><br>
><br>
><br>
> On Thu, Aug 15, 2013 at 10:45 AM, Jonathan Proulx <<a href="mailto:jon@jonproulx.com">jon@jonproulx.com</a>> wrote:<br>
><br>
> > Hi All,<br>
> ><br>
> > I have a single controller node 60 compute node cloud on Ubuntu 12.04 /<br>
> > cloud archive and after upgrade to grizzly  everything seem painfully slow.<br>
> ><br>
> > I've had 'nova list' take on the order of one minute to return (there's 65<br>
> > non-deleted instances and a total of just under 500k instances in the<br>
> > instances table but that was true before upgrade as well)<br>
> ><br>
> > The controller node is 4x busier with this tiny load of a single user and<br>
> > a few VMs as it has averaged in production with 1,500 VMs dozens of users<br>
> > and VMs starting every 6sec on average.<br>
> ><br>
> > This has me a little worried but the system is so over spec'ed that I<br>
> > can't see it as my current problem as the previous average was 5% CPU<br>
> > utilization so now I'm only at 20%.  All the databases fit comfortably in<br>
> > memory with plenty of room for caching so my disk I/0 is virtually nothing.<br>
> ><br>
> > Not quite sure where to start.  I'd like to blame conductor for<br>
> > serializing database access, but I really hope any service could handle at<br>
> > least one rack of servers before you needed to scale out...but besides the<br>
> > poor user experience of sluggish response I'm also getting timeouts if I<br>
> > try and start some number of 10's of servers, the usual work flow around<br>
> > here often involves 100's.<br>
> ><br>
> > Anyone had similar problems and/or have suggestions of where else to look<br>
> > for bottle necks.<br>
> ><br>
> > -Jon<br>
> ><br>
> > _______________________________________________<br>
> > OpenStack-operators mailing list<br>
> > <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
> > <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
> ><br>
> ><br>
<br>
> _______________________________________________<br>
> OpenStack-operators mailing list<br>
> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
<br>
</div></div></blockquote></div><br></div>