<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Thu, Feb 4, 2016 at 2:44 AM, James E. Blair <span dir="ltr"><<a href="mailto:corvus@inaugust.com" target="_blank">corvus@inaugust.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">Joshua Hesketh <<a href="mailto:joshua.hesketh@gmail.com">joshua.hesketh@gmail.com</a>> writes:<br>
<br>
> Hey all,<br>
><br>
> So this took me a lot longer than I would have liked (the fact that I<br>
> pushed this up in the middle of a conference should be evidence), but I<br>
> believe I have managed to track this down:<br>
> <a href="https://review.openstack.org/#/c/275483/" rel="noreferrer" target="_blank">https://review.openstack.org/#/c/275483/</a><br>
><br>
> We also have only ever been clearing our internal cache when reloading. We<br>
> should perhaps look at doing that periodically but that is a different<br>
> issue to the newly introduced leak. Although I haven't checked, I suspect<br>
> our cache is a lot larger recently (looking at cacti and other metrics)<br>
> probably due to cross-repo-dependencies so there is more need to keep it<br>
> clear. This may have contributed to the recent larger memory use.<br>
<br>
</span>Ah, that explanation makes sense, thanks!<br>
<br>
On the subject of clearing the cache more often, I think we may not want<br>
to wipe out the cache more often than we do now -- in fact, I think we<br>
may want to look into ways to keep from doing even that, because<br>
whenever we reload now, Zuul slows down considerably as it has to query<br>
Gerrit again for all of the data previously in its cache.<br></blockquote><div><br></div><div><br>I can see a lot of 3rd parties or simpler CI's not needing to reload zuul very often so this cache would never get cleared. Perhaps cached objects should have an expiry time (of a day or so) and can be cleaned up periodically? Additionally if clearing the cache on a reload is causing pain maybe we should move the cache into the scheduler and keep it between reloads?<br><br></div><div>Cheers,<br></div><div>Josh<br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
But we certainly don't want multiple copies of the entire cache.  Thanks<br>
again!<br>
<br>
-Jim<br>
</blockquote></div><br></div></div>