<div dir="ltr"><div><div>It's great that we discuss this in mail list, I filed a bp here <a href="https://blueprints.launchpad.net/magnum/+spec/two-level-auto-scaling">https://blueprints.launchpad.net/magnum/+spec/two-level-auto-scaling</a> and planning a spec for this. You can get some early ideas from what Ton pointed here: <a href="https://www.openstack.org/summit/tokyo-2015/videos/presentation/exploring-magnum-and-senlin-integration-for-autoscaling-containers" target="_blank">https://www.openstack.org/summit/tokyo-2015/videos/presentation/exploring-magnum-and-senlin-integration-for-autoscaling-containers</a><br><br></div><div><b>@Ton</b>, is it possible that we publish the slides to slideshare? ;-)<br></div><div><br></div>Our thinking was introduce an autoscaler service to Magnum just like what GCE is doing now, will have you updated when a spec is ready for review.<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Nov 18, 2015 at 1:22 PM, Egor Guz <span dir="ltr"><<a href="mailto:EGuz@walmartlabs.com" target="_blank">EGuz@walmartlabs.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Ryan<br>
<br>
I haven’t seen any proposals/implementations from Mesos/Swarm (but  I am not following Mesos and Swam community very close these days).<br>
But Kubernetes 1.1 has pod autoscaling (<a href="https://github.com/kubernetes/kubernetes/blob/master/docs/design/horizontal-pod-autoscaler.md" rel="noreferrer" target="_blank">https://github.com/kubernetes/kubernetes/blob/master/docs/design/horizontal-pod-autoscaler.md</a>),<br>
which should cover containers auto-scaling. Also there is PR for cluster auto-scaling (<a href="https://github.com/kubernetes/kubernetes/pull/15304" rel="noreferrer" target="_blank">https://github.com/kubernetes/kubernetes/pull/15304</a>), which<br>
has implementation for GCE, but OpenStack support can be added as well.<br>
<br>
—<br>
Egor<br>
<br>
From: Ton Ngo <<a href="mailto:ton@us.ibm.com">ton@us.ibm.com</a><mailto:<a href="mailto:ton@us.ibm.com">ton@us.ibm.com</a>>><br>
Reply-To: "OpenStack Development Mailing List (not for usage questions)" <<a href="mailto:openstack-dev@lists.openstack.org">openstack-dev@lists.openstack.org</a><mailto:<a href="mailto:openstack-dev@lists.openstack.org">openstack-dev@lists.openstack.org</a>>><br>
Date: Tuesday, November 17, 2015 at 16:58<br>
To: "OpenStack Development Mailing List (not for usage questions)" <<a href="mailto:openstack-dev@lists.openstack.org">openstack-dev@lists.openstack.org</a><mailto:<a href="mailto:openstack-dev@lists.openstack.org">openstack-dev@lists.openstack.org</a>>><br>
Subject: Re: [openstack-dev] [magnum] Autoscaling both clusters and containers<br>
<span class=""><br>
<br>
Hi Ryan,<br>
There was a talk in the last Summit on this topics to explore the options with Magnum, Senlin, Heat, Kubernetes:<br>
<a href="https://www.openstack.org/summit/tokyo-2015/videos/presentation/exploring-magnum-and-senlin-integration-for-autoscaling-containers" rel="noreferrer" target="_blank">https://www.openstack.org/summit/tokyo-2015/videos/presentation/exploring-magnum-and-senlin-integration-for-autoscaling-containers</a><br>
A demo was shown with Senlin interfacing to Magnum to autoscale.<br>
There was also a Magnum design session to discuss this same topics. The use cases are similar to what you describe. Because the subject is complex, there are many moving parts, and multiple teams/projects are involved, one outcome of the design session is that we will write a spec on autoscaling containers and cluster. A patch should be coming soon, so it would be great to have your input on the spec.<br>
Ton,<br>
<br>
</span>[Inactive hide details for Ryan Rossiter ---11/17/2015 02:05:48 PM---Hi all, I was having a discussion with a teammate with resp]Ryan Rossiter ---11/17/2015 02:05:48 PM---Hi all, I was having a discussion with a teammate with respect to container<br>
<br>
From: Ryan Rossiter <<a href="mailto:rlrossit@linux.vnet.ibm.com">rlrossit@linux.vnet.ibm.com</a><mailto:<a href="mailto:rlrossit@linux.vnet.ibm.com">rlrossit@linux.vnet.ibm.com</a>>><br>
To: <a href="mailto:openstack-dev@lists.openstack.org">openstack-dev@lists.openstack.org</a><mailto:<a href="mailto:openstack-dev@lists.openstack.org">openstack-dev@lists.openstack.org</a>><br>
<div><div class="h5">Date: 11/17/2015 02:05 PM<br>
Subject: [openstack-dev] [magnum] Autoscaling both clusters and containers<br>
<br>
________________________________<br>
<br>
<br>
<br>
Hi all,<br>
<br>
I was having a discussion with a teammate with respect to container<br>
scaling. He likes the aspect of nova-docker that allows you to scale<br>
(essentially) infinitely almost instantly, assuming you are using a<br>
large pool of compute hosts. In the case of Magnum, if I'm a container<br>
user, I don't want to be paying for a ton of vms that just sit idle, but<br>
I also want to have enough vms to handle my scale when I infrequently<br>
need it. But above all, when I need scale, I don't want to suddenly have<br>
to go boot vms and wait for them to start up when I really need it.<br>
<br>
I saw [1] which discusses container scaling, but I'm thinking we can<br>
take this one step further. If I don't want to pay for a lot of vms when<br>
I'm not using them, could I set up an autoscale policy that allows my<br>
cluster to expand when my container concentration gets too high on my<br>
existing cluster? It's kind of a case of nested autoscaling. The<br>
containers are scaled based on request demand, and the cluster vms are<br>
scaled based on container count.<br>
<br>
I'm unsure of the details of Senlin, but at least looking at Heat<br>
autoscaling [2], this would not be very hard to add to the Magnum<br>
templates, and we would forward those on through the bay API. (I figure<br>
we would do this through the bay, not baymodel, because I can see<br>
similar clusters that would want to be scaled differently).<br>
<br>
Let me know if I'm totally crazy or if this is a good idea (or if you<br>
guys have already talked about this before). I would be interested in<br>
your feedback.<br>
<br>
[1]<br>
<a href="http://lists.openstack.org/pipermail/openstack-dev/2015-November/078628.html" rel="noreferrer" target="_blank">http://lists.openstack.org/pipermail/openstack-dev/2015-November/078628.html</a><br>
[2] <a href="https://wiki.openstack.org/wiki/Heat/AutoScaling#AutoScaling_API" rel="noreferrer" target="_blank">https://wiki.openstack.org/wiki/Heat/AutoScaling#AutoScaling_API</a><br>
<br>
--<br>
Thanks,<br>
<br>
Ryan Rossiter (rlrossit)<br>
<br>
<br>
__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
</div></div>Unsubscribe: <a href="mailto:OpenStack-dev-request@lists.openstack.org">OpenStack-dev-request@lists.openstack.org</a><mailto:<a href="mailto:OpenStack-dev-request@lists.openstack.org">OpenStack-dev-request@lists.openstack.org</a>>?subject:unsubscribe<br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br>
<br>
<br>
<br>__________________________________________________________________________<br>
OpenStack Development Mailing List (not for usage questions)<br>
Unsubscribe: <a href="http://OpenStack-dev-request@lists.openstack.org?subject:unsubscribe" rel="noreferrer" target="_blank">OpenStack-dev-request@lists.openstack.org?subject:unsubscribe</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div>Thanks,<br><br></div>Jay Lau (Guangya Liu)<br></div></div></div></div>
</div>