<div dir="ltr">







<p class="">Thanks for your helping.</p>
<p class="">But in our system, the problem is that:</p>
<p class=""><br></p>
<p class="">If using the nova cli, this libvirt problem not occurred.</p>
<p class=""><br></p>
<p class="">But in deleting cluster of the sahara , this problem occurred.</p>
<p class="">That if our problem.</p>
<p class=""><br></p>
<p class="">Can it influence the step on deleting cluster in the process to destroy vm of libvirtd? </p>
<p class="">I am wondering about that.</p>
<p class=""><br></p>
<p class="">Thank you.</p></div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-05-22 20:54 GMT+09:00 SMIGIELSKI, Radoslaw (Radoslaw) <span dir="ltr"><<a href="mailto:radoslaw.smigielski@alcatel-lucent.com" target="_blank">radoslaw.smigielski@alcatel-lucent.com</a>></span>:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Looks like one or more of your VMs get stuck and libvirt having problems to stop it now:<br>
<div class=""><br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     if ret == -1: raise libvirtError ('virDomainDestroy() failed', dom=self)<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher libvirtError: Failed to terminate process 8756 with SIGKILL: Device or resource busy<br>
<br>
<br>
</div>I would recommend you to check what exactly is PID (8756) in the error? I assume is a qemu process and what's going on with this process?<br>
Does it have some issue with accessing storage or something else? You can also check the libvirtd logs, there should be something more.<br>
<br>
====================================================<br>
Radosław Śmigielski<br>
ALCATEL-LUCENT - Cloudband/Node Team<br>
Office: 238 646 13 or +353 (0)188 646 13<br>
Mobile: +353 86 820 74 23<br>
<br>
<br>
<br>
<br>
________________________________________<br>
From: cosmos cosmos [<a href="mailto:cosmos0703@gmail.com">cosmos0703@gmail.com</a>]<br>
Sent: 22 May 2014 12:30<br>
To: <a href="mailto:openstack-dev@lists.openstack.org">openstack-dev@lists.openstack.org</a><br>
Subject: [openstack-dev]  [sahara] Deleting cluster in sahara horizon, 500 Error occured in nova.<br>
<div><div class="h5"><br>
Hello My name is inhye park from samsung SDS.<br>
<br>
I am a developer about nova and sahara.<br>
<br>
Recently Our system updated to icehouse.<br>
<br>
After deleting cluster in sahara, VM occurred 500 error.<br>
<br>
But this problem not occur in nova cli command.<br>
<br>
Only in sahara this error occurred.<br>
<br>
This is error log.<br>
<br>
-----------------------------------------------------------------------------------------<br>
<br>
2014-05-22 20:06:42.631 25640 ERROR oslo.messaging.rpc.dispatcher [-] Exception during message handling: Failed to terminate process 8756 with SIGKILL: Device or resource busy<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher Traceback (most recent call last):<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo/messaging/rpc/dispatcher.py", line 133, in _dispatch_and_reply<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     incoming.message))<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo/messaging/rpc/dispatcher.py", line 176, in _dispatch<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     return self._do_dispatch(endpoint, method, ctxt, args)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo/messaging/rpc/dispatcher.py", line 122, in _do_dispatch<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     result = getattr(endpoint, method)(ctxt, **new_args)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/exception.py", line 88, in wrapped<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     payload)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/excutils.py", line 68, in __exit__<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     six.reraise(self.type_, self.value, self.tb)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/exception.py", line 71, in wrapped<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     return f(self, context, *args, **kw)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 333, in decorated_function<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     function(self, context, *args, **kwargs)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 309, in decorated_function<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     e, sys.exc_info())<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/excutils.py", line 68, in __exit__<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     six.reraise(self.type_, self.value, self.tb)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 296, in decorated_function<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     return function(self, context, *args, **kwargs)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 2262, in terminate_instance<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     do_terminate_instance(instance, bdms)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 249, in inner<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     return f(*args, **kwargs)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 2260, in do_terminate_instance<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     self._set_instance_error_state(context, instance['uuid'])<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/excutils.py", line 68, in __exit__<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     six.reraise(self.type_, self.value, self.tb)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 2250, in do_terminate_instance<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     reservations=reservations)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/hooks.py", line 103, in inner<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     rv = f(*args, **kwargs)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 2220, in _delete_instance<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     user_id=user_id)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/excutils.py", line 68, in __exit__<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     six.reraise(self.type_, self.value, self.tb)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 2190, in _delete_instance<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     self._shutdown_instance(context, db_inst, bdms)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 2125, in _shutdown_instance<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     requested_networks)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/excutils.py", line 68, in __exit__<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     six.reraise(self.type_, self.value, self.tb)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 2115, in _shutdown_instance<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     block_device_info)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 951, in destroy<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     self._destroy(instance)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 908, in _destroy<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     instance=instance)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/excutils.py", line 68, in __exit__<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     six.reraise(self.type_, self.value, self.tb)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 880, in _destroy<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     virt_dom.destroy()<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 179, in doit<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     result = proxy_call(self._autowrap, f, *args, **kwargs)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 139, in proxy_call<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     rv = execute(f,*args,**kwargs)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 77, in tworker<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     rv = meth(*args,**kwargs)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/libvirt.py", line 918, in destroy<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher     if ret == -1: raise libvirtError ('virDomainDestroy() failed', dom=self)<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher libvirtError: Failed to terminate process 8756 with SIGKILL: Device or resource busy<br>
<br>
2014-05-22 20:06:42.631 25640 TRACE oslo.messaging.rpc.dispatcher<br>
<br>
2014-05-22 20:06:42.633 25640 ERROR oslo.messaging._drivers.common [-] Returning exception Failed to terminate process 8756 with SIGKILL: Device or resource busy to caller<br>
<br>
<br>
Could you please help about this case?<br>
<br>
Thanks.<br>
<br>
<br>
<br>
</div></div>_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
</blockquote></div><br></div>