
<html><body><p>Thanks Clark and infra guys to work around that.<br>We would keep track that and see if such issue disappear.<br><br><br><br>Thanks<br><br>Best Wishes,<br>--------------------------------------------------------------------------------<br>Kai Qiang Wu (吴开强  Kennan）<br>IBM China System and Technology Lab, Beijing<br><br>E-mail: wkqwu@cn.ibm.com<br>Tel: 86-10-82451647<br>Address: Building 28(Ring Building), ZhongGuanCun Software Park,  <br>         No.8 Dong Bei Wang West Road, Haidian District Beijing P.R.China 100193<br>--------------------------------------------------------------------------------<br>Follow your heart. You are miracle! <br><br><img width="16" height="16" src="cid:1__=8FBBF58EDF97226D8f9e8a93df938690918c8FB@" border="0" alt="Inactive hide details for Clark Boylan ---16/12/2015 06:42:50 am---On Sun, Dec 13, 2015, at 10:51 AM, Clark Boylan wrote: > On "><font color="#424282">Clark Boylan ---16/12/2015 06:42:50 am---On Sun, Dec 13, 2015, at 10:51 AM, Clark Boylan wrote: > On Sat, Dec 12, 2015, at 02:16 PM, Hongbin</font><br><br><font size="2" color="#5F5F5F">From:        </font><font size="2">Clark Boylan <cboylan@sapwetik.org></font><br><font size="2" color="#5F5F5F">To:        </font><font size="2">openstack-dev@lists.openstack.org</font><br><font size="2" color="#5F5F5F">Date:        </font><font size="2">16/12/2015 06:42 am</font><br><font size="2" color="#5F5F5F">Subject:        </font><font size="2">Re: [openstack-dev] [Infra][nova][magnum] Jenkins failed quite often for "Cannot set up guest memory 'pc.ram': Cannot allocate memory"</font><br><hr width="100%" size="2" align="left" noshade style="color:#8091A5; "><br><br><br><tt>On Sun, Dec 13, 2015, at 10:51 AM, Clark Boylan wrote:<br>> On Sat, Dec 12, 2015, at 02:16 PM, Hongbin Lu wrote:<br>> > Hi,<br>> > <br>> > As Kai Qiang mentioned, magnum gate recently had a bunch of random<br>> > failures, which occurred on creating a nova instance with 2G of RAM.<br>> > According to the error message, it seems that the hypervisor tried to<br>> > allocate memory to the nova instance but couldn’t find enough free memory<br>> > in the host. However, by adding a few “nova hypervisor-show XX” before,<br>> > during, and right after the test, it showed that the host has 6G of free<br>> > RAM, which is far more than 2G. Here is a snapshot of the output [1]. You<br>> > can find the full log here [2].<br>> If you look at the dstat log<br>> </tt><tt><a href="http://logs.openstack.org/07/244907/5/check/gate-functional-dsvm-magnum-k8s/5305d7a/logs/screen-dstat.txt.gz">http://logs.openstack.org/07/244907/5/check/gate-functional-dsvm-magnum-k8s/5305d7a/logs/screen-dstat.txt.gz</a></tt><tt><br>> the host has nowhere near 6GB free memory and less than 2GB. I think you<br>> actually are just running out of memory.<br>> > <br>> > Another observation is that most of the failure happened on a node with<br>> > name “devstack-trusty-ovh-*” (You can verify it by entering a query [3]<br>> > at </tt><tt><a href="http://logstash.openstack.org/">http://logstash.openstack.org/</a></tt><tt> ). It seems that the jobs will be fine<br>> > if they are allocated to a node other than “ovh”.<br>> I have just done a quick spot check of the total memory on<br>> devstack-trusty hosts across HPCloud, Rackspace, and OVH using `free -m`<br>> and the results are 7480, 7732, and 6976 megabytes respectively. Despite<br>> using 8GB flavors in each case there is variation and OVH comes in on<br>> the low end for some reason. I am guessing that you fail here more often<br>> because the other hosts give you just enough extra memory to boot these<br>> VMs.<br>To follow up on this we seem to have tracked this down to how the linux<br>kernel restricts memory at boot when you don't have a contiguous chunk<br>of system memory. We have worked around this by increasing the memory<br>restriction to 9023M at boot which gets OVH inline with Rackspace and<br>slightly increases available memory on HPCloud (because it actually has<br>more of it).<br><br>You should see this fix in action after image builds complete tomorrow<br>(they start at 1400UTC ish).<br>> <br>> We will have to look into why OVH has less memory despite using flavors<br>> that should be roughly equivalent.<br>> > <br>> > Any hints to debug this issue further? Suggestions are greatly<br>> > appreciated.<br>> > <br>> > [1] </tt><tt><a href="http://paste.openstack.org/show/481746/">http://paste.openstack.org/show/481746/</a></tt><tt><br>> > [2]<br>> > </tt><tt><a href="http://logs.openstack.org/48/256748/1/check/gate-functional-dsvm-magnum-swarm/56d79c3/console.html">http://logs.openstack.org/48/256748/1/check/gate-functional-dsvm-magnum-swarm/56d79c3/console.html</a></tt><tt><br>> > [3] </tt><tt><a href="https://review.openstack.org/#/c/254370/2/queries/1521237.yaml">https://review.openstack.org/#/c/254370/2/queries/1521237.yaml</a></tt><tt><br><br><br>__________________________________________________________________________<br>OpenStack Development Mailing List (not for usage questions)<br>Unsubscribe: OpenStack-dev-request@lists.openstack.org?subject:unsubscribe<br></tt><tt><a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a></tt><tt><br></tt><br><br><BR>


</body></html>