<div dir="ltr"><div>Hi everyone,</div><div><br></div><div>(running Mitaka)</div><div><br></div><div>When doing block live-migration, if the image / backing file is not present at destination host, sometimes pre-live migration fails after 60 seconds as shown below. Retrying the migration to the same destination host succeeds.</div><div><br></div><div>It seems that an rpc_response_timeout of 60 seconds is not enough for this scenario, in which fetching the image involves 90 seconds. We don't like to increase rpc_response_timeout  to say, 120 seconds, only for this reason ('cause in other kind of errors we prefer to fail fast).</div><div><br></div><div>Given that migrations are usually long, shouldn't this operation be under the scope of a configurable timeout such as live_migration_progress_timeout or live_migration_completion_timeout which overrides the default rpc timeout?<br></div><div><br></div><div>Thanks!</div><div><br></div><div><br></div><div><br></div><div>SOURCE HOST</div><div><br></div><div>Nov 27 09:22:22 source check data is LibvirtLiveMigrateData(bdms=<?>,block_migration=True,disk_available_mb=400384,disk_over_commit=False,filename='tmpLBvgop',graphics_listen_addr_spice=<?>,graphics_listen_addr_vnc=<?>,image_type='default',instance_relative_path='a3dc8ffe-5fd1-475e-a016-3d14128aa84c',is_shared_block_storage=False,is_shared_instance_path=False,is_volume_backed=False,migration=<?>,serial_listen_addr=<?>,target_connect_addr=<?>)</div><div>Nov 27 09:23:22 [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] Pre live migration failed at r65-host18</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] Traceback (most recent call last):</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 5275, in _do_live_migration</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]     block_migration, disk, dest, migrate_data)</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]   File "/usr/lib/python2.7/dist-packages/nova/compute/rpcapi.py", line 692, in pre_live_migration</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]     disk=disk, migrate_data=migrate_data)</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]   File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/client.py", line 158, in call</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]     retry=self.retry)</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]   File "/usr/lib/python2.7/dist-packages/oslo_messaging/transport.py", line 90, in _send</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]     timeout=timeout, retry=retry)</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]   File "/usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py", line 470, in send</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]     retry=retry)</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]   File "/usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py", line 459, in _send</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]     result = self._waiter.wait(msg_id, timeout)</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]   File "/usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py", line 342, in wait</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]     message = self.waiters.get(msg_id, timeout=timeout)</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]   File "/usr/lib/python2.7/dist-packages/oslo_messaging/_drivers/amqpdriver.py", line 244, in get</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]     'to message ID %s' % msg_id)</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] MessagingTimeout: Timed out waiting for a reply to message ID 32be13b876094c47b293f89b8d445652</div><div>2017-11-27 09:23:22.854 9060 ERROR nova.compute.manager [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c]</div><div><br></div><div><br></div><div><br></div><div>DESTINATION HOST</div><div><br></div><div>Nov 27 09:22:23 [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] migrate_data in pre_live_migration: LibvirtLiveMigrateData(bdms=<?>,block_migration=True,disk_available_mb=400384,disk_over_commit=False,filename='tmpLBvgop',graphics_listen_...</div><div>Nov 27 09:22:23 [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] Creating instance directory: /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c</div><div>Nov 27 09:22:23 [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] Creating <a href="http://disk.info">disk.info</a> with the contents: {u'/var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk': u'qcow2'}</div><div>Nov 27 09:22:23 [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] Checking to make sure images and backing files are present before live migration.</div><div>Nov 27 09:22:23 Lock "bb045b7affecd2cd3976771e1809996277954a98" acquired by "nova.virt.libvirt.imagebackend.fetch_func_sync" :: waited 0.000s</div><div>Nov 27 09:23:23 Acquired semaphore "refresh_cache-a3dc8ffe-5fd1-475e-a016-3d14128aa84c"</div><div>Nov 27 09:23:23 [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] _get_instance_nw_info()</div><div>Nov 27 09:23:23 REQ: curl -g -i -X GET <a href="http://prod-controller-01:9696/v2.0/ports.json?tenant_id=840871e744c8406a908838a6abe42a32&device_id=a3dc8ffe-5fd1-475e-a016-3d14128aa84c">http://prod-controller-01:9696/v2.0/ports.json?tenant_id=840871e744c8406a908838a6abe42a32&device_id=a3dc8ffe-5fd1-475e-a016-3d14128aa84c</a> -H "User-Agent: python-neutronclient" -H "Accept: application/j...</div><div>Nov 27 09:23:23 RESP: [200] Date: Mon, 27 Nov 2017 14:23:23 GMT Connection: keep-alive Content-Type: application/json; charset=UTF-8 Content-Length: 878 X-Openstack-Request-Id: req-1b61ebb8-3aab-4f5f-9d9f-da4675dcaa96 #012RESP BODY: {"port...</div><div>...</div><div>...</div><div>Nov 27 09:23:23 Releasing semaphore "refresh_cache-a3dc8ffe-5fd1-475e-a016-3d14128aa84c"</div><div>Nov 27 09:23:23 [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] During wait destroy, instance disappeared.</div><div>...</div><div>...</div><div>Nov 27 09:23:23 mv /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c_del</div><div>Nov 27 09:23:24 CMD "mv /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c_del" returned: 0 in 0.037s</div><div>Nov 27 09:23:24 [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] Deleting instance files /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c_del</div><div>Nov 27 09:23:24 [instance: a3dc8ffe-5fd1-475e-a016-3d14128aa84c] Deletion of /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c_del complete</div><div>Nov 27 09:23:50 qemu-img info /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98.part</div><div>Nov 27 09:23:50 qemu-img info /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98.part" returned: 0 in 0.048s</div><div>Nov 27 09:23:50 4531211f-5252-403d-a90f-56ddcaa00928 was qcow2, converting to raw</div><div>Nov 27 09:23:50 qemu-img convert -O raw /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98.part /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98.converted -f qcow2</div><div>Nov 27 09:23:53 CMD "qemu-img convert -O raw /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98.part /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98.converted -f qcow2" returned: 0 in 3.400s</div><div>Nov 27 09:23:54 qemu-img info /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98.converted</div><div>Nov 27 09:23:54 qemu-img info /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98.converted" returned: 0 in 0.047s</div><div>Nov 27 09:23:54 Lock "bb045b7affecd2cd3976771e1809996277954a98" released by "nova.virt.libvirt.imagebackend.fetch_func_sync" :: held 90.662s</div><div>Nov 27 09:23:54 touch -c /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98</div><div>Nov 27 09:23:54 touch -c /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98" returned: 0 in 0.113s</div><div>Nov 27 09:23:54 qemu-img info /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98</div><div>Nov 27 09:23:54 qemu-img info /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98" returned: 0 in 0.048s</div><div>Nov 27 09:23:54 Lock "bb045b7affecd2cd3976771e1809996277954a98" acquired by "nova.virt.libvirt.imagebackend.copy_qcow2_image" :: waited 0.000s</div><div>Nov 27 09:23:54 qemu-img info /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98</div><div>Nov 27 09:23:54 qemu-img info /var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98" returned: 0 in 0.046s</div><div>Nov 27 09:23:54 qemu-img create -f qcow2 -o backing_file=/var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98 /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk</div><div>Nov 27 09:23:54 CMD "qemu-img create -f qcow2 -o backing_file=/var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98 /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk" returned: 1 in 0.042s</div><div>Nov 27 09:23:54 u'qemu-img create -f qcow2 -o backing_file=/var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98 /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk' failed. Not Retrying.</div><div>Nov 27 09:23:54 Lock "bb045b7affecd2cd3976771e1809996277954a98" released by "nova.virt.libvirt.imagebackend.copy_qcow2_image" :: held 0.092s</div><div>Nov 27 09:23:54 Exception during message handling: Unexpected error while running command. Command: qemu-img create -f qcow2 -o backing_file=/var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98 /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk Exit code: 1</div><div>Stdout: u"Formatting '/var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk', fmt=qcow2 size=7516192768 backing_file=/var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98 encryption=off cluster_size=65536 lazy_refcounts=off refcount_bits=16\n"</div><div>Stderr: u'qemu-img: /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk: Could not create file: No such file or directory\n'</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher Traceback (most recent call last):</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 138, in _dispatch_and_reply</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     incoming.message))</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 185, in _dispatch</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     return self._do_dispatch(endpoint, method, ctxt, args)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_messaging/rpc/dispatcher.py", line 127, in _do_dispatch</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     result = func(ctxt, **new_args)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/exception.py", line 110, in wrapped</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     payload)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_utils/excutils.py", line 220, in __exit__</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     self.force_reraise()</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_utils/excutils.py", line 196, in force_reraise</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     six.reraise(self.type_, self.value, self.tb)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/exception.py", line 89, in wrapped</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     return f(self, context, *args, **kw)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 409, in decorated_function</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     return function(self, context, *args, **kwargs)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 387, in decorated_function</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     kwargs['instance'], e, sys.exc_info())</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_utils/excutils.py", line 220, in __exit__</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     self.force_reraise()</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_utils/excutils.py", line 196, in force_reraise</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     six.reraise(self.type_, self.value, self.tb)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 375, in decorated_function</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     return function(self, context, *args, **kwargs)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 5221, in pre_live_migration</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     migrate_data)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 6695, in pre_live_migration</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     fallback_from_host=instance.host)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 6864, in _create_images_and_backing</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     fallback_from_host)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 6791, in _try_fetch_image_cache</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     size=size)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/imagebackend.py", line 251, in cache</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     *args, **kwargs)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/imagebackend.py", line 626, in create_image</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     copy_qcow2_image(base, self.path, size)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_concurrency/lockutils.py", line 274, in inner</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     return f(*args, **kwargs)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/imagebackend.py", line 584, in copy_qcow2_image</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     libvirt_utils.create_cow_image(base, target)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/utils.py", line 107, in create_cow_image</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     execute(*cmd)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/utils.py", line 56, in execute</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     return utils.execute(*args, **kwargs)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/nova/utils.py", line 389, in execute</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     return processutils.execute(*cmd, **kwargs)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher   File "/usr/lib/python2.7/dist-packages/oslo_concurrency/processutils.py", line 389, in execute</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher     cmd=sanitized_cmd)</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher ProcessExecutionError: Unexpected error while running command.</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher Command: qemu-img create -f qcow2 -o backing_file=/var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98 /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher Exit code: 1</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher Stdout: u"Formatting '/var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk', fmt=qcow2 size=7516192768 backing_file=/var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98 encryption=off cluster_size=65536 lazy_refcounts=off refcount_bits=16\n"</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher Stderr: u'qemu-img: /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk: Could not create file: No such file or directory\n'</div><div>2017-11-27 09:23:54.666 35650 ERROR oslo_messaging.rpc.dispatcher</div><div>Nov 27 09:23:54 Returning exception Unexpected error while running command.</div><div>Command: qemu-img create -f qcow2 -o backing_file=/var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98 /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk</div><div>Exit code: 1</div><div>Stdout: u"Formatting '/var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk', fmt=qcow2 size=7516192768 backing_file=/var/lib/nova/instances/_base/bb045b7affecd2cd3976771e1809996277954a98 encryption=off cluster_size=65536 lazy_refcounts=off refcount_bits=16\n"</div><div>Stderr: u'qemu-img: /var/lib/nova/instances/a3dc8ffe-5fd1-475e-a016-3d14128aa84c/disk: Could not create file: No such file or directory\n' to caller</div><div><br></div><div><br></div></div>