<div dir="ltr"><div>I'm gonna forward this to my co-workers :) I've been kicking this idea around for some time now, and it hasn't caught traction. I think it could work for a modest overcommit, depending on the memory workload. We decided that it should be possible to do this sanely, but that it needed testing. I'm happy to help test this out. Sounds like the results could be part of a Tokyo talk :P<br><br></div>Warren<br></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature">Warren</div></div>
<br><div class="gmail_quote">On Mon, Jun 29, 2015 at 9:36 AM, Blair Bethwaite <span dir="ltr"><<a href="mailto:blair.bethwaite@gmail.com" target="_blank">blair.bethwaite@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all,<br>
<br>
Question up-front:<br>
<br>
Do the performance characteristics of modern PCIe attached SSDs<br>
invalidate/challenge the old "don't overcommit memory" with KVM wisdom<br>
(recently discussed on this list and at meetups and summits)? Has<br>
anyone out there tried & tested this?<br>
<br>
Long-form:<br>
<br>
I'm currently looking at possible options for increasing virtual<br>
capacity in a public/community KVM based cloud. We started very<br>
conservatively at a 1:1 cpu allocation ratio, so perhaps predictably<br>
we have boatloads of CPU headroom to work with. We also see maybe 50%<br>
memory actually in-use on a host that is, from Nova's perspective,<br>
more-or-less full.<br>
<br>
The most obvious thing to do here is increase available memory. There<br>
are at least three ways to achieve that:<br>
1/ physically add RAM<br>
2/ reduce RAM per vcore (i.e., introduce lower RAM flavors)<br>
3/ increase virtual memory capacity (i.e., add swap) and make<br>
ram_allocation_ratio > 1<br>
<br>
We're already doing a bit of #2, but at the end of the day, taking<br>
away flavors and trying to change user behaviour is actually harder<br>
than just upgrading hardware. #1 is ideal but I do wonder whether we'd<br>
be better to spend that same money on some PCIe SSD and use it for #3<br>
(at least for our 'standard' flavor classes), the advantage being that<br>
SSD is cheaper per GB (and it might also help alleviate IOPs<br>
starvation for local storage based hosts)...<br>
<br>
The question is whether the performance characteristics of modern PCIe<br>
attached SSDs invalidate the old "don't overcommit memory" with KVM<br>
wisdom (recently discussed on this list:<br>
<a href="http://www.gossamer-threads.com/lists/openstack/operators/46104" rel="noreferrer" target="_blank">http://www.gossamer-threads.com/lists/openstack/operators/46104</a> and<br>
also apparently at the Kilo mid-cycle:<br>
<a href="https://etherpad.openstack.org/p/PHL-ops-capacity-mgmt" rel="noreferrer" target="_blank">https://etherpad.openstack.org/p/PHL-ops-capacity-mgmt</a> where there was<br>
an action to update the default from 1.5 to 1.0, though that doesn't<br>
seem to have happened). Has anyone out there tried this?<br>
<br>
I'm also curious if anyone has any recent info re. the state of<br>
automated memory ballooning and/or memory hotplug? Ideally a RAM<br>
overcommitted host would try to inflate guest balloons before<br>
swapping.<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
Cheers,<br>
~Blairo<br>
<br>
_______________________________________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
</font></span></blockquote></div><br></div>