<div dir="ltr"><div>I have a controller node and the compute node.</div><div>The cinder service and cinder volume is running in controller.</div><div>Controller and compute nodes are in one vcenter server and there is another vcenter server which manages the instances.</div><div><br></div><div>I get the following error when i tried to attach the volume.</div><div><br></div><div>Details: {'obj': 'vm-107'}). to caller</div><div>2016-08-03 19:08:05.170 1019 ERROR oslo_messaging._drivers.common [req-95710170-bf28-4c53-894f-a28094c650d1 a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] ['Traceback (most recent call last):\n', '  File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 138, in _dispatch_and_reply\n    incoming.message))\n', '  File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 185, in _dispatch\n    return self._do_dispatch(endpoint, method, ctxt, args)\n', '  File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 127, in _do_dispatch\n    result = func(ctxt, **new_args)\n', '  File "/usr/lib/python2.7/dist-packages/cinder/volume/manager.py", line 1473, in initialize_connection\n    raise exception.VolumeBackendAPIException(data=err_msg)\n', "VolumeBackendAPIException: Bad or unexpected response from the storage volume backend API: Driver initialize connection failed (error: The object has already been deleted or has not been completely created\nCause: Server raised fault: 'The object has already been deleted or has not been completely created'\nFaults: [ManagedObjectNotFound]\nDetails: {'obj': 'vm-107'}).\n"]</div><div>2016-08-03 19:08:05.171 1019 DEBUG oslo_messaging._drivers.amqpdriver [req-95710170-bf28-4c53-894f-a28094c650d1 a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] sending reply msg_id: 7b20588a5b2d4a44a8de90c3208acc99 reply queue: reply_4fc7381f67744af4aa40876d65adae2d time elapsed: 0.135911167134s _send_reply /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:74</div><div>2016-08-03 19:08:05.267 1019 DEBUG oslo_messaging._drivers.amqpdriver [-] received message msg_id: 0e855fc9726c4f2692f6e4d148d077aa reply to reply_4fc7381f67744af4aa40876d65adae2d __call__ /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:201</div><div>2016-08-03 19:08:05.310 1019 INFO cinder.volume.manager [req-82ca077f-47d1-4004-bda6-84a86da77bfa a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] Terminate volume connection completed successfully.</div><div>2016-08-03 19:08:05.311 1019 DEBUG oslo_messaging._drivers.amqpdriver [req-82ca077f-47d1-4004-bda6-84a86da77bfa a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] sending reply msg_id: 0e855fc9726c4f2692f6e4d148d077aa reply queue: reply_4fc7381f67744af4aa40876d65adae2d time elapsed: 0.0429566651583s _send_reply /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:74</div><div>2016-08-03 19:08:08.533 1019 DEBUG oslo_service.periodic_task [req-b95791b7-495a-4eb7-8beb-64e12683c508 - - - - -] Running periodic task VolumeManager._publish_service_capabilities run_periodic_tasks /usr/local/lib/python2.7/dist-packages/oslo_service/periodic_task.py:215</div><div>2016-08-03 19:08:08.534 1019 DEBUG cinder.manager [req-b95791b7-495a-4eb7-8beb-64e12683c508 - - - - -] Notifying Schedulers of capabilities ... _publish_service_capabilities /usr/lib/python2.7/dist-packages/cinder/manager.py:168</div><div>2016-08-03 19:08:08.536 1019 DEBUG oslo_messaging._drivers.amqpdriver [req-b95791b7-495a-4eb7-8beb-64e12683c508 - - - - -] CAST unique_id: d63c362bdeb24ab6b8bf1c25ce0a147a FANOUT topic 'cinder-scheduler' _send /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:443</div><div>2016-08-03 19:08:08.540 1019 DEBUG oslo_service.periodic_task [req-b95791b7-495a-4eb7-8beb-64e12683c508 - - - - -] Running periodic task VolumeManager._report_driver_status run_periodic_tasks /usr/local/lib/python2.7/dist-packages/oslo_service/periodic_task.py:215</div><div>^L2016-08-03 19:08:34.671 1019 DEBUG oslo_messaging._drivers.amqpdriver [-] received message msg_id: 8ce1c2ceaf3d4f0396584155d9a919c2 reply to reply_4fc7381f67744af4aa40876d65adae2d __call__ /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:201</div><div>2016-08-03 19:08:34.751 1019 DEBUG oslo_vmware.api [req-9f9a5b30-f8c8-414b-8cf2-580286ee6dcb a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] Waiting for function oslo_vmware.api._invoke_api to return. func /usr/lib/python2.7/dist-packages/oslo_vmware/api.py:122</div><div>2016-08-03 19:08:34.869 1019 DEBUG oslo_vmware.api [req-9f9a5b30-f8c8-414b-8cf2-580286ee6dcb a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] Waiting for function oslo_vmware.api._invoke_api to return. func /usr/lib/python2.7/dist-packages/oslo_vmware/api.py:122</div><div>2016-08-03 19:08:34.870 1019 DEBUG cinder.volume.drivers.vmware.volumeops [req-9f9a5b30-f8c8-414b-8cf2-580286ee6dcb a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] Did not find any backing with name: volume-e59961aa-62a0-4576-b370-6e53febeb6e3 get_backing /usr/lib/python2.7/dist-packages/cinder/volume/drivers/vmware/volumeops.py:307</div><div>2016-08-03 19:08:34.871 1019 DEBUG cinder.volume.drivers.vmware.vmdk [req-9f9a5b30-f8c8-414b-8cf2-580286ee6dcb a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] The instance: (Property){</div><div>   value = "vm-107"</div><div>   _type = "VirtualMachine"</div><div> } for which initialize connection is called, exists. _initialize_connection /usr/lib/python2.7/dist-packages/cinder/volume/drivers/vmware/vmdk.py:515</div><div>2016-08-03 19:08:34.872 1019 DEBUG oslo_vmware.api [req-9f9a5b30-f8c8-414b-8cf2-580286ee6dcb a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] Waiting for function oslo_vmware.api._invoke_api to return. func /usr/lib/python2.7/dist-packages/oslo_vmware/api.py:122</div><div>2016-08-03 19:08:34.890 1019 WARNING suds.client [-] Web service reported a SOAP processing fault using an unexpected HTTP status code 200. Reporting as an internal server error.</div><div>2016-08-03 19:08:34.891 1019 DEBUG oslo_vmware.api [-] Fault list: [ManagedObjectNotFound] _invoke_api /usr/lib/python2.7/dist-packages/oslo_vmware/api.py:327</div><div>2016-08-03 19:08:34.892 1019 ERROR cinder.volume.manager [req-9f9a5b30-f8c8-414b-8cf2-580286ee6dcb a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] Driver initialize connection failed (error: The object has already been deleted or has not been completely created</div><div>Cause: Server raised fault: 'The object has already been deleted or has not been completely created'</div><div>Faults: [ManagedObjectNotFound]</div><div>Details: {'obj': 'vm-107'}).</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher [req-9f9a5b30-f8c8-414b-8cf2-580286ee6dcb a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] Exception during message handling: Bad or unexpected response from the storage volume backend API: Driver initialize connection failed (error: The object has already been deleted or has not been completely created</div><div>Cause: Server raised fault: 'The object has already been deleted or has not been completely created'</div><div>Faults: [ManagedObjectNotFound]</div><div>Details: {'obj': 'vm-107'}).</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher Traceback (most recent call last):</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 138, in _dispatch_and_reply</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher     incoming.message))</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 185, in _dispatch</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher     return self._do_dispatch(endpoint, method, ctxt, args)</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 127, in _do_dispatch</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher     result = func(ctxt, **new_args)</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/cinder/volume/manager.py", line 1473, in initialize_connection</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher     raise exception.VolumeBackendAPIException(data=err_msg)</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher VolumeBackendAPIException: Bad or unexpected response from the storage volume backend API: Driver initialize connection failed (error: The object has already been deleted or has not been completely created</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher Cause: Server raised fault: 'The object has already been deleted or has not been completely created'</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher Faults: [ManagedObjectNotFound]</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher Details: {'obj': 'vm-107'}).</div><div>2016-08-03 19:08:34.894 1019 ERROR oslo_messaging.rpc.dispatcher</div><div>2016-08-03 19:08:34.897 1019 ERROR oslo_messaging._drivers.common [req-9f9a5b30-f8c8-414b-8cf2-580286ee6dcb a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] Returning exception Bad or unexpected response from the storage volume backend API: Driver initialize connection failed (error: The object has already been deleted or has not been completely created</div><div>Cause: Server raised fault: 'The object has already been deleted or has not been completely created'</div><div>Faults: [ManagedObjectNotFound]</div><div>Details: {'obj': 'vm-107'}). to caller</div><div>2016-08-03 19:08:34.898 1019 ERROR oslo_messaging._drivers.common [req-9f9a5b30-f8c8-414b-8cf2-580286ee6dcb a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] ['Traceback (most recent call last):\n', '  File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 138, in _dispatch_and_reply\n    incoming.message))\n', '  File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 185, in _dispatch\n    return self._do_dispatch(endpoint, method, ctxt, args)\n', '  File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 127, in _do_dispatch\n    result = func(ctxt, **new_args)\n', '  File "/usr/lib/python2.7/dist-packages/cinder/volume/manager.py", line 1473, in initialize_connection\n    raise exception.VolumeBackendAPIException(data=err_msg)\n', "VolumeBackendAPIException: Bad or unexpected response from the storage volume backend API: Driver initialize connection failed (error: The object has already been deleted or has not been completely created\nCause: Server raised fault: 'The object has already been deleted or has not been completely created'\nFaults: [ManagedObjectNotFound]\nDetails: {'obj': 'vm-107'}).\n"]</div><div>2016-08-03 19:08:34.899 1019 DEBUG oslo_messaging._drivers.amqpdriver [req-9f9a5b30-f8c8-414b-8cf2-580286ee6dcb a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] sending reply msg_id: 8ce1c2ceaf3d4f0396584155d9a919c2 reply queue: reply_4fc7381f67744af4aa40876d65adae2d time elapsed: 0.22672307305s _send_reply /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:74</div><div>2016-08-03 19:08:34.994 1019 DEBUG oslo_messaging._drivers.amqpdriver [-] received message msg_id: b54536c700b74e6a87717cedd7380e5f reply to reply_4fc7381f67744af4aa40876d65adae2d __call__ /usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py:201</div><div>2016-08-03 19:08:35.066 1019 INFO cinder.volume.manager [req-54c57532-1a09-4208-95bf-d2d76a515ebd a7c5b2526f0546c890e8cbb4b90c58d7 ce581005def94bb1947eac9ac15f15ea - - -] Terminate volume connection completed successfully.</div><div><br></div><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature">Regards,<br><br>Vaidyanath<br><br></div>
</div>