<div dir="ltr"><div>Robert,</div><div>As you've deliberately picked on me I feel compelled to reply!<br></div><div><br></div><div>Jokes apart, I am going to retire that patch and push the new default in neutron. Regardless of considerations on real loads vs gate loads, I think it is correct to assume the default configuration should be one that will allow gate tests to pass. A sort of maximum common denominator, if you want.</div>
<div>I think however that the discussion on whether our gate tests are representative of real world deployment is outside the scope of this thread, even if very interesting.</div><div><br></div><div>On the specific matter of this patch we've been noticing the CPU on the gate tests with neutron easily reaching 100%; this is not because of (b). I can indeed replicate the same behaviour on any other VM, even with twice as much vCPUs. Never tried baremetal though.</div>
<div>However, because of the fact that 'just' the gate tests send the cpu on the single host to 100% should let us think that deployers might easily end up facing the same problem in real environment (your (a) point) regardless of how the components are split.<br>
</div><div><br></div><div>Thankfully, Armando found out a related issue with the DHCP agent which was causing it to use a lot of cpu as well as terribly stressing ovsdbserver, and fixed it. Since then we're seeing a lot less timeout errors on the gate.</div>
<div><br></div><div>Salvatore</div><div><br></div><div><br></div><div><div><br></div><div><br></div></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 12 December 2013 20:23, Robert Collins <span dir="ltr"><<a href="mailto:robertc@robertcollins.net" target="_blank">robertc@robertcollins.net</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">A few times now we've run into patches for devstack-gate / devstack<br>
that change default configuration to handle 'tempest load'.<br>
<br>
For instance - <a href="https://review.openstack.org/61137" target="_blank">https://review.openstack.org/61137</a> (Sorry Salvatore I'm<br>
not picking on you really!)<br>
<br>
So there appears to be a meme that the gate is particularly stressful<br>
- a bad environment - and that real world situations have less load.<br>
<br>
This could happen a few ways: (a) deployers might separate out<br>
components more; (b) they might have faster machines; (c) they might<br>
have less concurrent activity.<br>
<br>
(a) - unlikely! Deployers will cram stuff together as much as they can<br>
to save overheads. Big clouds will have components split out - yes,<br>
but they will also have correspondingly more load to drive that split<br>
out.<br>
<br>
(b) Perhaps, but not orders of magnitude faster, the clouds we run on<br>
are running on fairly recent hardware, and by using big instances we<br>
don't get crammed it with that many other tenants.<br>
<br>
(c) Almost certainly not. Tempest currently does a maximum of four<br>
concurrent requests. A small business cloud could easily have 5 or 6<br>
people making concurrent requests from time to time, and bigger but<br>
not huge clouds will certainly have that. Their /average/ rate of API<br>
requests may be much lower, but when they point service orchestration<br>
tools at it -- particularly tools that walk their dependencies in<br>
parallel - load is going to be much much higher than what we generate<br>
with Tempest.<br>
<br>
tl;dr : if we need to change a config file setting in devstack-gate or<br>
devstack *other than* setting up the specific scenario, think thrice -<br>
should it be a production default and set in the relevant projects<br>
default config setting.<br>
<br>
Cheers,<br>
Rob<br>
<span class="HOEnZb"><font color="#888888">--<br>
Robert Collins <<a href="mailto:rbtcollins@hp.com">rbtcollins@hp.com</a>><br>
Distinguished Technologist<br>
HP Converged Cloud<br>
<br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</font></span></blockquote></div><br></div>