<div dir="ltr">Hi,<div>I just posted in our operations blog how CERN is dealing with quotas synchronization problem.</div><div><br></div><div><a href="http://openstack-in-production.blogspot.fr/2015/03/nova-quota-usage-synchronization.html">http://openstack-in-production.blogspot.fr/2015/03/nova-quota-usage-synchronization.html</a></div><div><br></div><div>Hope it helps,</div><div>cheers,</div><div>Belmiro</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Mar 21, 2015 at 12:55 AM, Sam Morrison <span dir="ltr"><<a href="mailto:sorrison@gmail.com" target="_blank">sorrison@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I’d need to go through the logs to see exactly the occurrence maybe 10 minutes was a bit much. We run the cron job every 10 mins.<br>
<br>
The cron job stopped a few weeks back and we had at least half a dozen projects with out of sync quotas within a few hours.<br>
<br>
Cheers,<br>
Sam<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
> On 21 Mar 2015, at 4:01 am, Mike Dorman <<a href="mailto:mdorman@godaddy.com">mdorman@godaddy.com</a>> wrote:<br>
><br>
> Hey Sam,<br>
><br>
> When you say it occurs every 10 minutes, what exactly do you mean?  The<br>
> quota refresh?  Or a quota getting out of sync?<br>
><br>
> I am surprised you have max_age set so low.  I would think that would<br>
> basically trigger a quota refresh on every single reservation for most<br>
> users, right?<br>
><br>
> Mike<br>
><br>
><br>
><br>
><br>
><br>
> On 3/20/15, 4:18 AM, "Sam Morrison" <<a href="mailto:sorrison@gmail.com">sorrison@gmail.com</a>> wrote:<br>
><br>
>> We’ve had the following for a year or so but doesn’t help much, we still<br>
>> see it occurring every 10 mins or so.<br>
>><br>
>> max_age = 10<br>
>> until_refresh = 5<br>
>> reservation_expire=600<br>
>><br>
>> We have a cron job that runs every 10 mins that figures out what projects<br>
>> are out of sync and corrects them.<br>
>> We’ve always been scared of setting these to zero but we probably should.<br>
>><br>
>> Sam<br>
>><br>
>><br>
>>> On 15 Mar 2015, at 2:53 pm, Mike Dorman <<a href="mailto:mdorman@godaddy.com">mdorman@godaddy.com</a>> wrote:<br>
>>><br>
>>> Yeah the default is just ‘0’ for both, which disables the refresh.<br>
>>><br>
>>><br>
>>><br>
>>> The one downside is that it may not be 100% transparent to the user.<br>
>>> If<br>
>>> the quota is already (incorrectly) too high, and exceeding the quota<br>
>>> limit, the reservation that triggers the refresh will still fail.  I.e.<br>
>>> the reservation is attempted based on the quota usage values _before_<br>
>>> the<br>
>>> refresh.  But then after that the quota should be fixed and it will<br>
>>> work<br>
>>> again on the next reservation.<br>
>>><br>
>>> But my thinking is that most quota issues happen slowly over time.  If<br>
>>> we<br>
>>> are correcting them often and automatically, they hopefully never get<br>
>>> to<br>
>>> the point where they’re bad enough to manifest reservation errors to<br>
>>> the<br>
>>> user.<br>
>>><br>
>>> I don’t have any information re: db load.  I assume it regenerates<br>
>>> based<br>
>>> on what’s in the instances or reservations table.  I imagine the load<br>
>>> for<br>
>>> doing a single refresh is probably comparable to doing a ‘nova list’.<br>
>>><br>
>>> Mike<br>
>>><br>
>>><br>
>>><br>
>>> On 3/14/15, 2:27 PM, "Tim Bell" <<a href="mailto:Tim.Bell@cern.ch">Tim.Bell@cern.ch</a>> wrote:<br>
>>><br>
>>>> Interesting... what are the defaults ?<br>
>>>><br>
>>>> Assuming no massive DB load, getting synced within a day would seem<br>
>>>> reasonable. Is the default no max age ?<br>
>>>><br>
>>>> Tim<br>
>>>><br>
>>>>> -----Original Message-----<br>
>>>>> From: Jesse Keating [mailto:<a href="mailto:jlk@bluebox.net">jlk@bluebox.net</a>]<br>
>>>>> Sent: 14 March 2015 16:59<br>
>>>>> To: <a href="mailto:openstack-operators@lists.openstack.org">openstack-operators@lists.openstack.org</a><br>
>>>>> Subject: Re: [Openstack-operators] max_age and until_refresh for<br>
>>>>> fixing<br>
>>>>> Nova<br>
>>>>> quotas<br>
>>>>><br>
>>>>> On 3/14/15 8:11 AM, Mike Dorman wrote:<br>
>>>>>> I did short write-up here <a href="http://t.co/Q5X1hTgJG1" target="_blank">http://t.co/Q5X1hTgJG1</a> if you are<br>
>>>>>> interested<br>
>>>>>> in the details.<br>
>>>>>><br>
>>>>><br>
>>>>> Thanks for sharing Matt! That's an excellent write up.<br>
>>>>><br>
>>>>> --<br>
>>>>> -jlk<br>
>>>>><br>
>>>>> _______________________________________________<br>
>>>>> OpenStack-operators mailing list<br>
>>>>> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
>>>>><br>
>>>>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
>>>><br>
>>>> _______________________________________________<br>
>>>> OpenStack-operators mailing list<br>
>>>> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
>>>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
>>> _______________________________________________<br>
>>> OpenStack-operators mailing list<br>
>>> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
>>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
>><br>
> _______________________________________________<br>
> OpenStack-operators mailing list<br>
> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
<br>
<br>
_______________________________________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
</div></div></blockquote></div><br></div>