<div dir="ltr">@Michael<div><br></div><div>Okay, focusing on 'thousands' now, I know 'millions' is not good metaphor here. I also know 'cells' functionality is nova's solution for large scale deployment. But it also makes sense to find and re-produce large scale problems in relatively small scale deployment.</div><div><br></div><div>@Sandy</div><div><br></div><div><span style="font-family:monospace">All-in-all, I think you'd be better off load testing each piece independently on a fixed hardware platform and faking out all the incoming/outgoing services....</span><br></div><div><span style="font-family:monospace"><br></span></div><div><font face="monospace">I understand and this is what I want to know. Is anyone doing the work like this? If yes, I would like to join :)</font></div><div><font face="monospace"><br></font></div><div><font face="monospace"><br></font></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Nov 28, 2014 at 8:36 AM, Sandy Walsh <span dir="ltr"><<a href="mailto:sandy.walsh@rackspace.com" target="_blank">sandy.walsh@rackspace.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">>From: Michael Still [<a href="mailto:mikal@stillhq.com">mikal@stillhq.com</a>] Thursday, November 27, 2014 6:57 PM<br>
>To: OpenStack Development Mailing List (not for usage questions)<br>
>Subject: Re: [openstack-dev] [nova] is there a way to simulate thousands or millions of compute nodes?<br>
<span class="">><br>
>I would say that supporting millions of compute nodes is not a current<br>
>priority for nova... We are actively working on improving support for<br>
>thousands of compute nodes, but that is via cells (so each nova deploy<br>
>except the top is still in the hundreds of nodes).<br>
<br>
</span><ramble on><br>
<br>
Agreed, it wouldn't make much sense to simulate this on a single machine.<br>
<br>
That said, if one *was* to simulate this, there are the well known bottlenecks:<br>
<br>
1. the API. How much can one node handle with given hardware specs? Which operations hit the DB the hardest?<br>
2. the Scheduler. There's your API bottleneck and big load on the DB for Create operations.<br>
3. the Conductor. Shouldn't be too bad, essentially just a proxy.<br>
4. child-to-global-cell updates. Assuming a two-cell deployment.<br>
5. the virt driver. YMMV.<br>
... and that's excluding networking, volumes, etc.<br>
<br>
The virt driver should be load tested independently. So FakeDriver would be fine (with some delays added for common operations as Gareth suggests). Something like Bees-with-MachineGuns could be used to get a baseline metric for the API. Then it comes down to DB performance in the scheduler and conductor (for a single cell). Finally, inter-cell loads. Who blows out the queue first?<br>
<br>
All-in-all, I think you'd be better off load testing each piece independently on a fixed hardware platform and faking out all the incoming/outgoing services. Test the API with fake everything. Test the Scheduler with fake API calls and fake compute nodes. Test the conductor with fake compute nodes (not FakeDriver). Test the compute node directly.<br>
<br>
Probably all going to come down to the DB and I think there is some good performance data around that already?<br>
<br>
But I'm just spit-ballin' ... and I agree, not something I could see the Nova team taking on in the near term ;)<br>
<span class="HOEnZb"><font color="#888888"><br>
-S<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
<br>
<br>
_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><font color="#444444">Gareth</font><div><font color="#444444"><br></font><div><i><font color="#444444">Cloud Computing, OpenStack, Distributed Storage, Fitness, Basketball</font></i></div><div><i><font color="#666666">OpenStack contributor, kun_huang@freenode</font></i></div><div><i><font color="#999999">My promise: if you find any spelling or grammar mistakes in my email from Mar 1 2013, notify me </font></i></div><div><i><font color="#999999">and I'll donate $1 or ￥1 to an open organization you specify.</font></i></div></div></div></div>
</div>