<div dir="ltr">This seems to be a weird bug..<div><br></div><div>The root cause is that one of the compute nodes has a misconfigured ceph client secret. So what happened is that when a VM is scheduled to that node, it would error out because the secret uuid can't be found. Nova-scheduler then tries to reschedule the VM to another host, but apparently the volume was deleted before the second host can start the VM.</div>
<div><br></div><div>-Simon</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Sun, Dec 15, 2013 at 4:41 PM, John Griffith <span dir="ltr"><<a href="mailto:john.griffith@solidfire.com" target="_blank">john.griffith@solidfire.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5">On Sun, Dec 15, 2013 at 12:02 PM, Xu (Simon) Chen <<a href="mailto:xchenum@gmail.com">xchenum@gmail.com</a>> wrote:<br>

> It doesn't always happen, but only happens when I create a batch of 5 VMs or<br>
> more. A few of the VMs would fail to create and become ERROR state.<br>
><br>
> By digging into the logs, it seems that the VM failed because the volume<br>
> could not be attached, which was in turn due to the volume being deleted for<br>
> some reason.<br>
><br>
> I am running an HA setup, but even if I shut every component to a single<br>
> instance this would still happen. Any ideas?<br>
><br>
> -Simon<br>
><br>
><br>
</div></div>> _______________________________________________<br>
> Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
> Post to     : <a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a><br>
> Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
><br>
Any chance of some cinder-volume logs for this?  There should be<br>
something in there to indicate the delete etc.<br>
</blockquote></div><br></div>