<div dir="ltr">Hey all,<div><br></div><div>So this took me a lot longer than I would have liked (the fact that I pushed this up in the middle of a conference should be evidence), but I believe I have managed to track this down: <a href="https://review.openstack.org/#/c/275483/">https://review.openstack.org/#/c/275483/</a></div><div><br></div><div>We also have only ever been clearing our internal cache when reloading. We should perhaps look at doing that periodically but that is a different issue to the newly introduced leak. Although I haven't checked, I suspect our cache is a lot larger recently (looking at cacti and other metrics) probably due to cross-repo-dependencies so there is more need to keep it clear. This may have contributed to the recent larger memory use.</div><div><br></div><div>Cheers,<br>Josh</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Jan 9, 2016 at 7:20 AM, James E. Blair <span dir="ltr"><<a href="mailto:corvus@inaugust.com" target="_blank">corvus@inaugust.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
<br>
Some time before December 17th we merged a change to Zuul that causes a<br>
memory leak.  Prior to then, the amount of used memory on OpenStack's<br>
Zuul server consumed a very steady 5GB.  Now it continually increases.<br>
We can see the behavior start very clearly with our December 17 restart<br>
of Zuul.  But it had been running for quite some time (perhaps a month<br>
or more?) before then, so that is not much use in narrowing down the<br>
change, and several changes were merged in that time period that could<br>
have an effect.<br>
<br>
See this graph:<br>
<br>
  <a href="http://cacti.openstack.org/cacti/graph.php?action=zoom&local_graph_id=392&rra_id=4&view_type=&graph_start=1449499887&graph_end=1452197778&graph_height=120&graph_width=500&title_font_size=10" rel="noreferrer" target="_blank">http://cacti.openstack.org/cacti/graph.php?action=zoom&local_graph_id=392&rra_id=4&view_type=&graph_start=1449499887&graph_end=1452197778&graph_height=120&graph_width=500&title_font_size=10</a><br>
<br>
If anyone else running a Zuul from git master has observed increased<br>
memory usage, would you please let us know any dates where you restarted<br>
Zuul (with the latest commit) and either did or did not observe<br>
increased memory usage?  That may help us quickly narrow down what we<br>
need to look at.<br>
<br>
Thanks,<br>
<br>
Jim<br>
<br>
_______________________________________________<br>
OpenStack-Infra mailing list<br>
<a href="mailto:OpenStack-Infra@lists.openstack.org">OpenStack-Infra@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-infra" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-infra</a><br>
</blockquote></div><br></div>