<div dir="ltr">Hi All,<div><br></div><div>We have recently started seeing assorted memory issues in the gate including the oom-killer [0] and libvirt throwing memory errors [1]. Luckily we run ps and dstat on every devstack run so we have some insight into why we are running out of memory. Based on the output from job taken at random [2][3] a typical run consists of:<div><br></div><div>* 68 openstack api processes alone</div><div>* the following services are running 8 processes (number of CPUs on test nodes)</div><div>  * nova-api (we actually run 24 of these, 8 compute, 8 EC2, 8 metadata)</div><div>  * nova-conductor</div><div>  * cinder-api</div><div>  * glance-api</div><div>  * trove-api</div><div>  * glance-registry</div><div>  * trove-conductor</div><div>* together nova-api, nova-conductor, cinder-api alone take over 45 %MEM (note: some of that is memory usage is counted multiple times as RSS includes shared libraries)</div><div>* based on dstat numbers, it looks like we don't use that much memory before tempest runs, and after tempest runs we use a lot of memory.</div><div><br></div><div>Based on this information I have two categories of questions:</div><div><br></div><div>1) Should we explicitly set the number of workers that services use in devstack? Why have so many workers in a small all-in-one environment? What is the right balance here?</div><div><br></div><div>2) Should we be worried that some OpenStack services such as nova-api, nova-conductor and cinder-api take up so much memory? Does there memory usage keep growing over time, does anyone have any numbers to answer this? Why do these processes take up so much memory?</div><div><br></div><div>best,</div><div>Joe</div><div><br></div><div><div><br></div><div>[0] <a href="http://logstash.openstack.org/#eyJzZWFyY2giOiJtZXNzYWdlOlwib29tLWtpbGxlclwiIiwiZmllbGRzIjpbXSwib2Zmc2V0IjowLCJ0aW1lZnJhbWUiOiIxNzI4MDAiLCJncmFwaG1vZGUiOiJjb3VudCIsInRpbWUiOnsidXNlcl9pbnRlcnZhbCI6MH0sInN0YW1wIjoxNDEwMjExMjA5NzY3fQ==" target="_blank">http://logstash.openstack.org/#eyJzZWFyY2giOiJtZXNzYWdlOlwib29tLWtpbGxlclwiIiwiZmllbGRzIjpbXSwib2Zmc2V0IjowLCJ0aW1lZnJhbWUiOiIxNzI4MDAiLCJncmFwaG1vZGUiOiJjb3VudCIsInRpbWUiOnsidXNlcl9pbnRlcnZhbCI6MH0sInN0YW1wIjoxNDEwMjExMjA5NzY3fQ==</a><br></div><div>[1] <a href="https://bugs.launchpad.net/nova/+bug/1366931" target="_blank">https://bugs.launchpad.net/nova/+bug/1366931</a></div><div>[2] <a href="http://paste.openstack.org/show/108458/" target="_blank">http://paste.openstack.org/show/108458/</a></div></div><div>[3] <a href="http://logs.openstack.org/83/119183/4/check/check-tempest-dsvm-full/ea576e7/logs/screen-dstat.txt.gz" target="_blank">http://logs.openstack.org/83/119183/4/check/check-tempest-dsvm-full/ea576e7/logs/screen-dstat.txt.gz</a></div></div></div>