<div dir="ltr"><div><div><div><div><div>Hi Michael,<br><br></div>Thanks for the offer.  I'd be happy to paste up some compute logs if you have a interest, but I got around the issue with:<br><br></div>virsh list --all <br>
<br></div>and then 'virsh undefine' for all deleted instances on each host.  I've used hypervisors directly and high level stuff like openstack (and others) but never spent much time at the libvirt layer so that was a bit of new info for me apparrently from the operators list not long after I sent my query here.<br>
<br></div>Thanks,<br></div>-Jon<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Wed, Aug 7, 2013 at 9:02 PM, Michael Still <span dir="ltr"><<a href="mailto:mikal@stillhq.com" target="_blank">mikal@stillhq.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Johnathan,<br>
<br>
this would be easier to debug with a nova-compute log. Are you willing<br>
to post one somewhere that people could take a look at?<br>
<br>
Thanks,<br>
Michael<br>
<div><div class="h5"><br>
On Thu, Aug 8, 2013 at 7:35 AM, Jonathan Proulx <<a href="mailto:jon@jonproulx.com">jon@jonproulx.com</a>> wrote:<br>
> Hi All,<br>
><br>
> Apologies to those who saw this on the operators list earlier, there is a<br>
> bit of new info here & having gotten no response there thought I'd take it<br>
> to a wider audience...<br>
><br>
><br>
> I'm almost through my grizzly upgrade.  I'd upgraded everything except<br>
> nova-compute before upgrading that (ubuntu 12.04 cloud archieve pkgs).<br>
><br>
> On most nodes the nova-compute service upgraded and restarted properly, but<br>
> on some it imediately exits with:<br>
><br>
> CRITICAL nova [-] 'instance_type_memory_mb'<br>
><br>
> It would seem like this is <a href="https://code.launchpad.net/bugs/1161022" target="_blank">https://code.launchpad.net/bugs/1161022</a> but the<br>
> fix for that was released in March and I've verified is in the packaged<br>
> version I'm using.<br>
><br>
> The referenced bug involves the DB migration only updating non-deleted<br>
> instances in the instance-system-metatata table and the patch skips the<br>
> lookups that are broken (and irrelevant) for deleted instances.<br>
><br>
> Tracing the DB calls from the host shows it is trying to do lookups for<br>
> instances that were deleted last October, which is a bit surprising as it's<br>
> run thousands of instances since & it's not looking those up.<br>
><br>
> It is note worthy that that is around the time I upgraded from Essex -><br>
> Folsom so it's possible their state  is weirder than most having run through<br>
> that update.<br>
><br>
> There were directories for the instances in question in<br>
> /var/lib/nova/instances, so I thought "Aha!" and moved them, but on restart<br>
> I still get the same failure and same DB query for the old instances. Where<br>
> is nova getting the idea it should look these up & how can I stop it?<br>
><br>
> I've go so far as to generate instance_type_<foo> entries in the<br>
> instance_system_metadata table  for all instances ever on my deployment<br>
> (about 500k) but I still only have the cryptic "CRITICAL nova [-]<br>
> 'instance_type_memory_mb'" error and a failure to start, so clearly I'm<br>
> casing the wrong problem some how.<br>
><br>
> Help?<br>
> -Jon<br>
><br>
</div></div>> _______________________________________________<br>
> Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
> Post to     : <a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a><br>
> Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
><br>
<span class="HOEnZb"><font color="#888888"><br>
<br>
<br>
--<br>
Rackspace Australia<br>
</font></span></blockquote></div><br></div>