Hi All,<br><br>I have a growing problem in which compute nodes are puzzlingly over reporting their resource utilization and thus appearing to be over utilized when they are in fact empty.  System is Ubuntu 12.04 using cloud archive Folsom (2012.2-0ubuntu5~cloud0) problem appeared on a single node after upgrade from Essex some months ago and has now grown to 5 nodes (the lowest numbered 5 nodes both by IP and lexically by name)<br>
<br>For example on the compute node "nova-1":<br><br>2013-01-07 10:39:43 INFO nova.compute.manager [-] Updating host status<br>2013-01-07 10:41:02 AUDIT nova.compute.resource_tracker [-] Free ram (MB): -397134<br>
2013-01-07 10:41:02 AUDIT nova.compute.resource_tracker [-] Free disk (GB): -3318<br>2013-01-07 10:41:02 AUDIT nova.compute.resource_tracker [-] Free VCPUS: -215<br>2013-01-07 10:41:02 INFO nova.compute.resource_tracker [-] Compute_service record updated for nova-1 <br>
<br>Oddly even though no instances are scheduled teh resource utilization does vary, for example in the last 5hours:<br><br>root@nova-1:~# grep 'Free VCPUS:' /var/log/nova/nova-compute.log|awk '{print $NF}'|sort -n |uniq -c<br>
    156 -218<br>      3 -216<br>      5 -215<br>      2 -214<br>      2 -212<br>      1 -211<br>      1 -210<br>      5 -209<br>      5 -208<br><br># but no instances are running<br>root@nova-1:~# virsh list<br> Id    Name                           State<br>
----------------------------------------------------<br><br>root@nova-1:~# <br><br># nor does OpenStack seem to *think* any instances are running or reserved by any projects<br># as seen by nova-manage service describe_resource nova-1<br>
<br>HOST                              PROJECT     cpu mem(mb)     hdd<br>nova-1          (total)                        24   48295     602<br>nova-1          (used_now)                    233  433141    3740<br>nova-1          (used_max)                      0       0       0<br>
# note lack of a list of tenants here<br><br>I can't replicate the issue intetionally but also can't clear appaerent resource utilization.  Tried direct manipulation of the database but that gets reset by computenode reports, tried rebooting the nodes.  I can always fall back to just reinstalling them, but since this is still a pre-production cluster I'd liek to understand what is happening.<br>
<br>Anyone have an insight into why nova.compute.resource_tracker is so confused or how I can force it to understand what resources are in use? Operationally it isn't painful to reinstall, but it does hurt a bit not knowing what's going on here.<br>
<br>Thanks,<br>-Jon<br>