<div dir="ltr"><div class="gmail_default" style="font-family:monospace,monospace">Hi,</div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 22, 2016 at 1:48 PM, James Slagle <span dir="ltr"><<a href="mailto:james.slagle@gmail.com" target="_blank">james.slagle@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Thu, Sep 22, 2016 at 10:36 AM, Gabriele Cerami <<a href="mailto:gcerami@redhat.com">gcerami@redhat.com</a>> wrote:<br>
> Hi,<br>
><br>
> As reported on this bug<br>
><br>
> <a href="https://bugs.launchpad.net/tripleo/+bug/1626483" rel="noreferrer" target="_blank">https://bugs.launchpad.net/<wbr>tripleo/+bug/1626483</a><br>
><br>
> HA gate and periodic jobs for master and sometimes newton started to<br>
> fail for errors related to memory shortage. Memory on undercloud<br>
> instance was increased to 8G less than a month ago, so the problem<br>
> needs a different approach to be solved.<br>
><br>
> We have some solutions in store. However, with the release date so<br>
> close, I don't think it's time for this kind of changes. So I thought<br>
> it could be a good compromise to temporarily increase the undercloud<br>
> instance memory to 12G, just for this week, unless there's a rapid way<br>
> to reduce memory footprint for heat-engine (usually the biggest memory<br>
> consumer on the undercloud instance)<br>
><br>
> Any other ideas ?<br>
<br>
</span>The OOM error in the bug is from overcloud-controller-0, not the<br>
undercloud. The overcloud nodes in OVB are still at 6GB. I think it<br>
would be reasonable to increase those to 8GB as well.<br>
<br>
I also noticed that there are 4 neutron-server processes despite<br>
having NeutronWorkers: 1 in<br>
<a href="https://github.com/openstack-infra/tripleo-ci/blob/master/test-environments/worker-config.yaml" rel="noreferrer" target="_blank">https://github.com/openstack-<wbr>infra/tripleo-ci/blob/master/<wbr>test-environments/worker-<wbr>config.yaml</a>.<br>
If we can get that down to 1, looks like that might save around 270MB.<br>
<br>
It also looks like there are 2 nova-api workers despite having<br>
NovaWorkers: 1. Is that normal? Getting rid of one of them would save<br>
around another 140MB.<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
-- James Slagle<br>
--</font></span></blockquote><div><br></div><div><div class="gmail_default" style="font-family:monospace,monospace;display:inline">​In the case of neutron and some of the other worker settings, we can try using 0 instead of 1. ​</div> <div class="gmail_default" style="font-family:monospace,monospace;display:inline">​This should prevent the spawning of a separate worker processes for anything that is going on. IIRC, neutron server itself spawns separate API and RPC workers. </div></div><div><div class="gmail_default" style="font-family:monospace,monospace;display:inline"><br></div></div><div><div class="gmail_default" style="font-family:monospace,monospace">​FWIW, I don't think '0' works for nova though. I think if you do that it leaves it unset and it will use the service default.​</div><div class="gmail_default" style="font-family:monospace,monospace"><br></div><div class="gmail_default" style="font-family:monospace,monospace">Cheers,</div><div class="gmail_default" style="font-family:monospace,monospace"><br></div><div class="gmail_default" style="font-family:monospace,monospace">Brent</div><br></div></div></div></div>