Hi all,
<div><br></div><div>I installed openstack (folsom release) on ubuntu 12.04 + XCP.</div><div>All services seem to be running.</div><div>However nova-network does not start dnsmasq -- and the interface xapi0 is missing.</div>
<div>I can not launch an instance , and I got the following logs on nova-compute.</div><div>Please try to help to fix this issue.</div><div>Thank you,</div><div>Afef</div><div>------</div><div><div>2012-12-10 16:51:14 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div>
<div>2012-12-10 16:51:15 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_unconfirmed_resizes from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>2012-12-10 16:51:37 ERROR nova.openstack.common.rpc.common [req-2c7c1df0-e6f7-4a13-83d6-c51e23d0fcbb admin admin] Timed out waiting for RPC response: timed out</div>
<div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common Traceback (most recent call last):</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 552, in ensure</div>
<div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common     return method(*args, **kwargs)</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 630, in _consume</div>
<div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common     return self.connection.drain_events(timeout=timeout)</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/connection.py", line 110, in drain_events</div>
<div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common     return self.transport.drain_events(self.connection, **kwargs)</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 200, in drain_events</div>
<div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common     return connection.drain_events(**kwargs)</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 50, in drain_events</div>
<div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common     return self.wait_multi(self.channels.values(), timeout=timeout)</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 56, in wait_multi</div>
<div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common     chanmap.keys(), allowed_methods, timeout=timeout)</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 104, in _wait_multiple</div>
<div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common     channel, method_sig, args, content = self.read_timeout(timeout)</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 86, in read_timeout</div>
<div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common     return self.method_reader.read_method()</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common   File "/usr/local/lib/python2.7/dist-packages/amqplib/client_0_8/method_framing.py", line 215, in read_method</div>
<div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common     raise m</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common timeout: timed out</div><div>2012-12-10 16:51:37 TRACE nova.openstack.common.rpc.common </div>
<div>2012-12-10 16:51:37 DEBUG nova.openstack.common.rpc.amqp [req-2c7c1df0-e6f7-4a13-83d6-c51e23d0fcbb admin admin] Making asynchronous call on conductor ... from (pid=28401) multicall /opt/stack/nova/nova/openstack/common/rpc/amqp.py:359</div>
<div>2012-12-10 16:51:37 DEBUG nova.openstack.common.rpc.amqp [req-2c7c1df0-e6f7-4a13-83d6-c51e23d0fcbb admin admin] MSG_ID is 806e29cdea2640b9a03a6990d793c57b from (pid=28401) multicall /opt/stack/nova/nova/openstack/common/rpc/amqp.py:362</div>
<div>2012-12-10 16:52:15 DEBUG nova.manager [-] Running periodic task ComputeManager.publish_service_capabilities from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>2012-12-10 16:52:15 DEBUG nova.manager [-] Notifying Schedulers of capabilities ... from (pid=28401) publish_service_capabilities /opt/stack/nova/nova/manager.py:257</div>
<div>2012-12-10 16:52:15 DEBUG nova.openstack.common.rpc.amqp [-] Making asynchronous fanout cast... from (pid=28401) fanout_cast /opt/stack/nova/nova/openstack/common/rpc/amqp.py:392</div><div>2012-12-10 16:52:15 DEBUG nova.manager [-] Running periodic task ComputeManager._heal_instance_info_cache from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>2012-12-10 16:52:15 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_rescued_instances from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>2012-12-10 16:52:15 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_volume_usage from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>2012-12-10 16:52:15 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_bandwidth_usage from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>2012-12-10 16:52:15 DEBUG nova.manager [-] Skipping ComputeManager._sync_power_states, 7 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div>
<div>2012-12-10 16:52:15 DEBUG nova.manager [-] Running periodic task ComputeManager._instance_usage_audit from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>2012-12-10 16:52:15 DEBUG nova.manager [-] Running periodic task ComputeManager.update_available_resource from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>2012-12-10 16:52:15 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div><div>2012-12-10 16:52:15 DEBUG nova.openstack.common.lockutils [-] Got semaphore "compute_resources" for method "update_available_resource"... from (pid=28401) inner /opt/stack/nova/nova/openstack/common/lockutils.py:185</div>
<div>2012-12-10 16:52:15 AUDIT nova.compute.resource_tracker [-] Auditing locally available compute resources</div><div>2012-12-10 16:52:15 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div>
<div>2012-12-10 16:52:16 DEBUG nova.compute.resource_tracker [-] Hypervisor: free ram (MB): 4938 from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:322</div><div>2012-12-10 16:52:16 DEBUG nova.compute.resource_tracker [-] Hypervisor: free disk (GB): 218 from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:323</div>
<div>2012-12-10 16:52:16 DEBUG nova.compute.resource_tracker [-] Hypervisor: VCPU information unavailable from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:330</div><div>2012-12-10 16:52:16 AUDIT nova.compute.resource_tracker [-] Free ram (MB): 7679</div>
<div>2012-12-10 16:52:16 AUDIT nova.compute.resource_tracker [-] Free disk (GB): 225</div><div>2012-12-10 16:52:16 AUDIT nova.compute.resource_tracker [-] Free VCPU information unavailable</div><div>2012-12-10 16:52:16 INFO nova.compute.resource_tracker [-] Compute_service record updated for openstackDomU </div>
<div>2012-12-10 16:52:16 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_rebooting_instances from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>2012-12-10 16:52:16 DEBUG nova.manager [-] Skipping ComputeManager._cleanup_running_deleted_instances, 27 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div>
<div>2012-12-10 16:52:16 DEBUG nova.manager [-] Running periodic task ComputeManager._check_instance_build_time from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>2012-12-10 16:52:16 DEBUG nova.manager [-] Skipping ComputeManager._run_image_cache_manager_pass, 37 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div>
<div>2012-12-10 16:52:16 DEBUG nova.manager [-] Running periodic task ComputeManager._reclaim_queued_deletes from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>2012-12-10 16:52:16 DEBUG nova.compute.manager [-] CONF.reclaim_instance_interval <= 0, skipping... from (pid=28401) _reclaim_queued_deletes /opt/stack/nova/nova/compute/manager.py:3215</div>
<div>2012-12-10 16:52:16 DEBUG nova.manager [-] Running periodic task ComputeManager._report_driver_status from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>2012-12-10 16:52:16 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_unconfirmed_resizes from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>2012-12-10 16:52:37 ERROR nova.openstack.common.rpc.common [req-2c7c1df0-e6f7-4a13-83d6-c51e23d0fcbb admin admin] Timed out waiting for RPC response: timed out</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common Traceback (most recent call last):</div>
<div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 552, in ensure</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common     return method(*args, **kwargs)</div>
<div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 630, in _consume</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common     return self.connection.drain_events(timeout=timeout)</div>
<div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/connection.py", line 110, in drain_events</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common     return self.transport.drain_events(self.connection, **kwargs)</div>
<div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 200, in drain_events</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common     return connection.drain_events(**kwargs)</div>
<div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 50, in drain_events</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common     return self.wait_multi(self.channels.values(), timeout=timeout)</div>
<div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 56, in wait_multi</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common     chanmap.keys(), allowed_methods, timeout=timeout)</div>
<div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 104, in _wait_multiple</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common     channel, method_sig, args, content = self.read_timeout(timeout)</div>
<div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 86, in read_timeout</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common     return self.method_reader.read_method()</div>
<div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common   File "/usr/local/lib/python2.7/dist-packages/amqplib/client_0_8/method_framing.py", line 215, in read_method</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common     raise m</div>
<div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common timeout: timed out</div><div>2012-12-10 16:52:37 TRACE nova.openstack.common.rpc.common </div><div>ERROR:root:Original exception being dropped: ['Traceback (most recent call last):\n', '  File "/opt/stack/nova/nova/compute/manager.py", line 605, in _run_instance\n    self._start_building(context, instance)\n', '  File "/opt/stack/nova/nova/compute/manager.py", line 835, in _start_building\n    None))\n', '  File "/opt/stack/nova/nova/compute/manager.py", line 349, in _instance_update\n    **kwargs)\n', '  File "/opt/stack/nova/nova/conductor/api.py", line 78, in instance_update\n    updates)\n', '  File "/opt/stack/nova/nova/conductor/rpcapi.py", line 48, in instance_update\n    updates=updates_p))\n', '  File "/opt/stack/nova/nova/openstack/common/rpc/proxy.py", line 80, in call\n    return rpc.call(context, self._get_topic(topic), msg, timeout)\n', '  File "/opt/stack/nova/nova/openstack/common/rpc/__init__.py", line 108, in call\n    return _get_impl().call(cfg.CONF, context, topic, msg, timeout)\n', '  File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 754, in call\n    rpc_amqp.get_connection_pool(conf, Connection))\n', '  File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 376, in call\n    rv = list(rv)\n', '  File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 337, in __iter__\n    self.done()\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 334, in __iter__\n    self._iterator.next()\n', '  File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 635, in iterconsume\n    yield self.ensure(_error_callback, _consume)\n', '  File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 555, in ensure\n    error_callback(e)\n', '  File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 616, in _error_callback\n    raise rpc_common.Timeout()\n', 'Timeout: Timeout while waiting on RPC response.\n']</div>
<div>2012-12-10 16:52:37 DEBUG nova.openstack.common.rpc.amqp [req-2c7c1df0-e6f7-4a13-83d6-c51e23d0fcbb admin admin] Making asynchronous call on conductor ... from (pid=28401) multicall /opt/stack/nova/nova/openstack/common/rpc/amqp.py:359</div>
<div>DEBUG:nova.openstack.common.rpc.amqp:Making asynchronous call on conductor ...</div><div>2012-12-10 16:52:37 DEBUG nova.openstack.common.rpc.amqp [req-2c7c1df0-e6f7-4a13-83d6-c51e23d0fcbb admin admin] MSG_ID is bca57b2f78434b58beac25467d23177c from (pid=28401) multicall /opt/stack/nova/nova/openstack/common/rpc/amqp.py:362</div>
<div>DEBUG:nova.openstack.common.rpc.amqp:MSG_ID is bca57b2f78434b58beac25467d23177c</div><div>2012-12-10 16:53:16 DEBUG nova.manager [-] Running periodic task ComputeManager.publish_service_capabilities from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>DEBUG:nova.manager:Running periodic task ComputeManager.publish_service_capabilities</div><div>2012-12-10 16:53:16 DEBUG nova.manager [-] Notifying Schedulers of capabilities ... from (pid=28401) publish_service_capabilities /opt/stack/nova/nova/manager.py:257</div>
<div>DEBUG:nova.manager:Notifying Schedulers of capabilities ...</div><div>2012-12-10 16:53:16 DEBUG nova.openstack.common.rpc.amqp [-] Making asynchronous fanout cast... from (pid=28401) fanout_cast /opt/stack/nova/nova/openstack/common/rpc/amqp.py:392</div>
<div>DEBUG:nova.openstack.common.rpc.amqp:Making asynchronous fanout cast...</div><div>2012-12-10 16:53:16 DEBUG nova.manager [-] Running periodic task ComputeManager._heal_instance_info_cache from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>DEBUG:nova.manager:Running periodic task ComputeManager._heal_instance_info_cache</div><div>2012-12-10 16:53:16 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_rescued_instances from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_rescued_instances</div><div>2012-12-10 16:53:16 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_volume_usage from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_volume_usage</div><div>2012-12-10 16:53:16 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_bandwidth_usage from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_bandwidth_usage</div><div>2012-12-10 16:53:16 DEBUG nova.manager [-] Skipping ComputeManager._sync_power_states, 6 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div>
<div>DEBUG:nova.manager:Skipping ComputeManager._sync_power_states, 6 ticks left until next run</div><div>2012-12-10 16:53:16 DEBUG nova.manager [-] Running periodic task ComputeManager._instance_usage_audit from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>DEBUG:nova.manager:Running periodic task ComputeManager._instance_usage_audit</div><div>2012-12-10 16:53:16 DEBUG nova.manager [-] Running periodic task ComputeManager.update_available_resource from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>DEBUG:nova.manager:Running periodic task ComputeManager.update_available_resource</div><div>2012-12-10 16:53:16 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div>
<div>DEBUG:nova.virt.xenapi.host:Updating host stats</div><div>2012-12-10 16:53:17 DEBUG nova.openstack.common.lockutils [-] Got semaphore "compute_resources" for method "update_available_resource"... from (pid=28401) inner /opt/stack/nova/nova/openstack/common/lockutils.py:185</div>
<div>DEBUG:nova.openstack.common.lockutils:Got semaphore "compute_resources" for method "update_available_resource"...</div><div>2012-12-10 16:53:17 AUDIT nova.compute.resource_tracker [-] Auditing locally available compute resources</div>
<div>AUDIT:nova.compute.resource_tracker:Auditing locally available compute resources</div><div>2012-12-10 16:53:17 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div>
<div>DEBUG:nova.virt.xenapi.host:Updating host stats</div><div>2012-12-10 16:53:17 DEBUG nova.compute.resource_tracker [-] Hypervisor: free ram (MB): 4938 from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:322</div>
<div>DEBUG:nova.compute.resource_tracker:Hypervisor: free ram (MB): 4938</div><div>2012-12-10 16:53:17 DEBUG nova.compute.resource_tracker [-] Hypervisor: free disk (GB): 218 from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:323</div>
<div>DEBUG:nova.compute.resource_tracker:Hypervisor: free disk (GB): 218</div><div>2012-12-10 16:53:17 DEBUG nova.compute.resource_tracker [-] Hypervisor: VCPU information unavailable from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:330</div>
<div>DEBUG:nova.compute.resource_tracker:Hypervisor: VCPU information unavailable</div><div>2012-12-10 16:53:17 AUDIT nova.compute.resource_tracker [-] Free ram (MB): 7679</div><div>AUDIT:nova.compute.resource_tracker:Free ram (MB): 7679</div>
<div>2012-12-10 16:53:17 AUDIT nova.compute.resource_tracker [-] Free disk (GB): 225</div><div>AUDIT:nova.compute.resource_tracker:Free disk (GB): 225</div><div>2012-12-10 16:53:17 AUDIT nova.compute.resource_tracker [-] Free VCPU information unavailable</div>
<div>AUDIT:nova.compute.resource_tracker:Free VCPU information unavailable</div><div>2012-12-10 16:53:18 INFO nova.compute.resource_tracker [-] Compute_service record updated for openstackDomU </div><div>INFO:nova.compute.resource_tracker:Compute_service record updated for openstackDomU </div>
<div>2012-12-10 16:53:18 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_rebooting_instances from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_rebooting_instances</div>
<div>2012-12-10 16:53:18 DEBUG nova.manager [-] Skipping ComputeManager._cleanup_running_deleted_instances, 26 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div><div>DEBUG:nova.manager:Skipping ComputeManager._cleanup_running_deleted_instances, 26 ticks left until next run</div>
<div>2012-12-10 16:53:18 DEBUG nova.manager [-] Running periodic task ComputeManager._check_instance_build_time from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._check_instance_build_time</div>
<div>2012-12-10 16:53:18 DEBUG nova.manager [-] Skipping ComputeManager._run_image_cache_manager_pass, 36 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div><div>DEBUG:nova.manager:Skipping ComputeManager._run_image_cache_manager_pass, 36 ticks left until next run</div>
<div>2012-12-10 16:53:18 DEBUG nova.manager [-] Running periodic task ComputeManager._reclaim_queued_deletes from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._reclaim_queued_deletes</div>
<div>2012-12-10 16:53:18 DEBUG nova.compute.manager [-] CONF.reclaim_instance_interval <= 0, skipping... from (pid=28401) _reclaim_queued_deletes /opt/stack/nova/nova/compute/manager.py:3215</div><div>DEBUG:nova.compute.manager:CONF.reclaim_instance_interval <= 0, skipping...</div>
<div>2012-12-10 16:53:18 DEBUG nova.manager [-] Running periodic task ComputeManager._report_driver_status from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._report_driver_status</div>
<div>2012-12-10 16:53:18 INFO nova.compute.manager [-] Updating host status</div><div>INFO:nova.compute.manager:Updating host status</div><div>2012-12-10 16:53:18 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div>
<div>DEBUG:nova.virt.xenapi.host:Updating host stats</div><div>2012-12-10 16:53:18 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_unconfirmed_resizes from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_unconfirmed_resizes</div><div>2012-12-10 16:53:37 ERROR nova.openstack.common.rpc.common [req-2c7c1df0-e6f7-4a13-83d6-c51e23d0fcbb admin admin] Timed out waiting for RPC response: timed out</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common Traceback (most recent call last):</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 552, in ensure</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return method(*args, **kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 630, in _consume</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return self.connection.drain_events(timeout=timeout)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/connection.py", line 110, in drain_events</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return self.transport.drain_events(self.connection, **kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 200, in drain_events</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return connection.drain_events(**kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 50, in drain_events</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return self.wait_multi(self.channels.values(), timeout=timeout)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 56, in wait_multi</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     chanmap.keys(), allowed_methods, timeout=timeout)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 104, in _wait_multiple</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     channel, method_sig, args, content = self.read_timeout(timeout)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 86, in read_timeout</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return self.method_reader.read_method()</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/local/lib/python2.7/dist-packages/amqplib/client_0_8/method_framing.py", line 215, in read_method</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     raise m</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common timeout: timed out</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common </div>
<div>ERROR:nova.openstack.common.rpc.common:Timed out waiting for RPC response: timed out</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common Traceback (most recent call last):</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 552, in ensure</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return method(*args, **kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 630, in _consume</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return self.connection.drain_events(timeout=timeout)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/connection.py", line 110, in drain_events</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return self.transport.drain_events(self.connection, **kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 200, in drain_events</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return connection.drain_events(**kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 50, in drain_events</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return self.wait_multi(self.channels.values(), timeout=timeout)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 56, in wait_multi</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     chanmap.keys(), allowed_methods, timeout=timeout)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 104, in _wait_multiple</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     channel, method_sig, args, content = self.read_timeout(timeout)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/lib/python2.7/dist-packages/kombu/transport/pyamqplib.py", line 86, in read_timeout</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     return self.method_reader.read_method()</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common   File "/usr/local/lib/python2.7/dist-packages/amqplib/client_0_8/method_framing.py", line 215, in read_method</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common     raise m</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common timeout: timed out</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.common </div>
<div>2012-12-10 16:53:37 ERROR nova.openstack.common.rpc.amqp [req-2c7c1df0-e6f7-4a13-83d6-c51e23d0fcbb admin admin] Exception during message handling</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp Traceback (most recent call last):</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 277, in _process_data</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     rval = self.proxy.dispatch(ctxt, version, method, **args)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/dispatcher.py", line 147, in dispatch</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return getattr(proxyobj, method)(ctxt, **kwargs)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/exception.py", line 115, in wrapped</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     temp_level, payload)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/exception.py", line 90, in wrapped</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return f(*args, **kw)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 212, in decorated_function</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     pass</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 198, in decorated_function</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return function(self, context, *args, **kwargs)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 239, in decorated_function</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     kwargs['instance']['uuid'], e, sys.exc_info())</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 227, in decorated_function</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return function(self, context, *args, **kwargs)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 976, in run_instance</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     do_run_instance()</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/lockutils.py", line 228, in inner</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     retval = f(*args, **kwargs)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 975, in do_run_instance</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     admin_password, is_first_time, node, instance)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 649, in _run_instance</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self._set_instance_error_state(context, instance['uuid'])</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 361, in _set_instance_error_state</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     vm_state=vm_states.ERROR)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 349, in _instance_update</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     **kwargs)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/conductor/api.py", line 78, in instance_update</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     updates)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/conductor/rpcapi.py", line 48, in instance_update</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     updates=updates_p))</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/proxy.py", line 80, in call</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return rpc.call(context, self._get_topic(topic), msg, timeout)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/__init__.py", line 108, in call</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return _get_impl().call(cfg.CONF, context, topic, msg, timeout)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 754, in call</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     rpc_amqp.get_connection_pool(conf, Connection))</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 376, in call</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     rv = list(rv)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 337, in __iter__</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self.done()</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 334, in __iter__</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self._iterator.next()</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 635, in iterconsume</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     yield self.ensure(_error_callback, _consume)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 555, in ensure</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     error_callback(e)</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 616, in _error_callback</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     raise rpc_common.Timeout()</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp Timeout: Timeout while waiting on RPC response.</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp </div><div>ERROR:nova.openstack.common.rpc.amqp:Exception during message handling</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp Traceback (most recent call last):</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 277, in _process_data</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     rval = self.proxy.dispatch(ctxt, version, method, **args)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/dispatcher.py", line 147, in dispatch</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return getattr(proxyobj, method)(ctxt, **kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/exception.py", line 115, in wrapped</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     temp_level, payload)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/exception.py", line 90, in wrapped</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return f(*args, **kw)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 212, in decorated_function</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     pass</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div><div>
2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 198, in decorated_function</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return function(self, context, *args, **kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 239, in decorated_function</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     kwargs['instance']['uuid'], e, sys.exc_info())</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 227, in decorated_function</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return function(self, context, *args, **kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 976, in run_instance</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     do_run_instance()</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/lockutils.py", line 228, in inner</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     retval = f(*args, **kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 975, in do_run_instance</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     admin_password, is_first_time, node, instance)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 649, in _run_instance</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self._set_instance_error_state(context, instance['uuid'])</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 361, in _set_instance_error_state</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     vm_state=vm_states.ERROR)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/compute/manager.py", line 349, in _instance_update</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     **kwargs)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/conductor/api.py", line 78, in instance_update</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     updates)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/conductor/rpcapi.py", line 48, in instance_update</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     updates=updates_p))</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/proxy.py", line 80, in call</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return rpc.call(context, self._get_topic(topic), msg, timeout)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/__init__.py", line 108, in call</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     return _get_impl().call(cfg.CONF, context, topic, msg, timeout)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 754, in call</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     rpc_amqp.get_connection_pool(conf, Connection))</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 376, in call</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     rv = list(rv)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 337, in __iter__</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self.done()</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/amqp.py", line 334, in __iter__</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     self._iterator.next()</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 635, in iterconsume</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     yield self.ensure(_error_callback, _consume)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 555, in ensure</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     error_callback(e)</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp   File "/opt/stack/nova/nova/openstack/common/rpc/impl_kombu.py", line 616, in _error_callback</div>
<div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp     raise rpc_common.Timeout()</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp Timeout: Timeout while waiting on RPC response.</div><div>2012-12-10 16:53:37 TRACE nova.openstack.common.rpc.amqp </div>
<div>2012-12-10 16:54:18 DEBUG nova.manager [-] Running periodic task ComputeManager.publish_service_capabilities from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager.publish_service_capabilities</div>
<div>2012-12-10 16:54:18 DEBUG nova.manager [-] Notifying Schedulers of capabilities ... from (pid=28401) publish_service_capabilities /opt/stack/nova/nova/manager.py:257</div><div>DEBUG:nova.manager:Notifying Schedulers of capabilities ...</div>
<div>2012-12-10 16:54:18 DEBUG nova.openstack.common.rpc.amqp [-] Making asynchronous fanout cast... from (pid=28401) fanout_cast /opt/stack/nova/nova/openstack/common/rpc/amqp.py:392</div><div>DEBUG:nova.openstack.common.rpc.amqp:Making asynchronous fanout cast...</div>
<div>2012-12-10 16:54:18 DEBUG nova.manager [-] Running periodic task ComputeManager._heal_instance_info_cache from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._heal_instance_info_cache</div>
<div>2012-12-10 16:54:18 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_rescued_instances from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_rescued_instances</div>
<div>2012-12-10 16:54:18 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_volume_usage from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_volume_usage</div>
<div>2012-12-10 16:54:18 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_bandwidth_usage from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_bandwidth_usage</div>
<div>2012-12-10 16:54:18 DEBUG nova.manager [-] Skipping ComputeManager._sync_power_states, 5 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div><div>DEBUG:nova.manager:Skipping ComputeManager._sync_power_states, 5 ticks left until next run</div>
<div>2012-12-10 16:54:18 DEBUG nova.manager [-] Running periodic task ComputeManager._instance_usage_audit from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._instance_usage_audit</div>
<div>2012-12-10 16:54:18 DEBUG nova.manager [-] Running periodic task ComputeManager.update_available_resource from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager.update_available_resource</div>
<div>2012-12-10 16:54:18 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div><div>DEBUG:nova.virt.xenapi.host:Updating host stats</div><div>
2012-12-10 16:54:19 DEBUG nova.openstack.common.lockutils [-] Got semaphore "compute_resources" for method "update_available_resource"... from (pid=28401) inner /opt/stack/nova/nova/openstack/common/lockutils.py:185</div>
<div>DEBUG:nova.openstack.common.lockutils:Got semaphore "compute_resources" for method "update_available_resource"...</div><div>2012-12-10 16:54:19 AUDIT nova.compute.resource_tracker [-] Auditing locally available compute resources</div>
<div>AUDIT:nova.compute.resource_tracker:Auditing locally available compute resources</div><div>2012-12-10 16:54:19 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div>
<div>DEBUG:nova.virt.xenapi.host:Updating host stats</div><div>2012-12-10 16:54:19 DEBUG nova.compute.resource_tracker [-] Hypervisor: free ram (MB): 4938 from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:322</div>
<div>DEBUG:nova.compute.resource_tracker:Hypervisor: free ram (MB): 4938</div><div>2012-12-10 16:54:19 DEBUG nova.compute.resource_tracker [-] Hypervisor: free disk (GB): 218 from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:323</div>
<div>DEBUG:nova.compute.resource_tracker:Hypervisor: free disk (GB): 218</div><div>2012-12-10 16:54:19 DEBUG nova.compute.resource_tracker [-] Hypervisor: VCPU information unavailable from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:330</div>
<div>DEBUG:nova.compute.resource_tracker:Hypervisor: VCPU information unavailable</div><div>2012-12-10 16:54:19 AUDIT nova.compute.resource_tracker [-] Free ram (MB): 7679</div><div>AUDIT:nova.compute.resource_tracker:Free ram (MB): 7679</div>
<div>2012-12-10 16:54:19 AUDIT nova.compute.resource_tracker [-] Free disk (GB): 225</div><div>AUDIT:nova.compute.resource_tracker:Free disk (GB): 225</div><div>2012-12-10 16:54:19 AUDIT nova.compute.resource_tracker [-] Free VCPU information unavailable</div>
<div>AUDIT:nova.compute.resource_tracker:Free VCPU information unavailable</div><div>2012-12-10 16:54:19 INFO nova.compute.resource_tracker [-] Compute_service record updated for openstackDomU </div><div>INFO:nova.compute.resource_tracker:Compute_service record updated for openstackDomU </div>
<div>2012-12-10 16:54:19 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_rebooting_instances from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_rebooting_instances</div>
<div>2012-12-10 16:54:19 DEBUG nova.manager [-] Skipping ComputeManager._cleanup_running_deleted_instances, 25 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div><div>DEBUG:nova.manager:Skipping ComputeManager._cleanup_running_deleted_instances, 25 ticks left until next run</div>
<div>2012-12-10 16:54:19 DEBUG nova.manager [-] Running periodic task ComputeManager._check_instance_build_time from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._check_instance_build_time</div>
<div>2012-12-10 16:54:19 DEBUG nova.manager [-] Skipping ComputeManager._run_image_cache_manager_pass, 35 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div><div>DEBUG:nova.manager:Skipping ComputeManager._run_image_cache_manager_pass, 35 ticks left until next run</div>
<div>2012-12-10 16:54:19 DEBUG nova.manager [-] Running periodic task ComputeManager._reclaim_queued_deletes from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._reclaim_queued_deletes</div>
<div>2012-12-10 16:54:19 DEBUG nova.compute.manager [-] CONF.reclaim_instance_interval <= 0, skipping... from (pid=28401) _reclaim_queued_deletes /opt/stack/nova/nova/compute/manager.py:3215</div><div>DEBUG:nova.compute.manager:CONF.reclaim_instance_interval <= 0, skipping...</div>
<div>2012-12-10 16:54:19 DEBUG nova.manager [-] Running periodic task ComputeManager._report_driver_status from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._report_driver_status</div>
<div>2012-12-10 16:54:19 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_unconfirmed_resizes from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_unconfirmed_resizes</div>
<div>2012-12-10 16:55:19 DEBUG nova.manager [-] Running periodic task ComputeManager.publish_service_capabilities from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager.publish_service_capabilities</div>
<div>2012-12-10 16:55:19 DEBUG nova.manager [-] Notifying Schedulers of capabilities ... from (pid=28401) publish_service_capabilities /opt/stack/nova/nova/manager.py:257</div><div>DEBUG:nova.manager:Notifying Schedulers of capabilities ...</div>
<div>2012-12-10 16:55:19 DEBUG nova.openstack.common.rpc.amqp [-] Making asynchronous fanout cast... from (pid=28401) fanout_cast /opt/stack/nova/nova/openstack/common/rpc/amqp.py:392</div><div>DEBUG:nova.openstack.common.rpc.amqp:Making asynchronous fanout cast...</div>
<div>2012-12-10 16:55:19 DEBUG nova.manager [-] Running periodic task ComputeManager._heal_instance_info_cache from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._heal_instance_info_cache</div>
<div>2012-12-10 16:55:19 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_rescued_instances from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_rescued_instances</div>
<div>2012-12-10 16:55:19 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_volume_usage from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_volume_usage</div>
<div>2012-12-10 16:55:19 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_bandwidth_usage from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_bandwidth_usage</div>
<div>2012-12-10 16:55:19 DEBUG nova.manager [-] Skipping ComputeManager._sync_power_states, 4 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div><div>DEBUG:nova.manager:Skipping ComputeManager._sync_power_states, 4 ticks left until next run</div>
<div>2012-12-10 16:55:19 DEBUG nova.manager [-] Running periodic task ComputeManager._instance_usage_audit from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._instance_usage_audit</div>
<div>2012-12-10 16:55:19 DEBUG nova.manager [-] Running periodic task ComputeManager.update_available_resource from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager.update_available_resource</div>
<div>2012-12-10 16:55:19 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div><div>DEBUG:nova.virt.xenapi.host:Updating host stats</div><div>
2012-12-10 16:55:20 DEBUG nova.openstack.common.lockutils [-] Got semaphore "compute_resources" for method "update_available_resource"... from (pid=28401) inner /opt/stack/nova/nova/openstack/common/lockutils.py:185</div>
<div>DEBUG:nova.openstack.common.lockutils:Got semaphore "compute_resources" for method "update_available_resource"...</div><div>2012-12-10 16:55:20 AUDIT nova.compute.resource_tracker [-] Auditing locally available compute resources</div>
<div>AUDIT:nova.compute.resource_tracker:Auditing locally available compute resources</div><div>2012-12-10 16:55:20 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div>
<div>DEBUG:nova.virt.xenapi.host:Updating host stats</div><div>2012-12-10 16:55:20 DEBUG nova.compute.resource_tracker [-] Hypervisor: free ram (MB): 4938 from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:322</div>
<div>DEBUG:nova.compute.resource_tracker:Hypervisor: free ram (MB): 4938</div><div>2012-12-10 16:55:20 DEBUG nova.compute.resource_tracker [-] Hypervisor: free disk (GB): 218 from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:323</div>
<div>DEBUG:nova.compute.resource_tracker:Hypervisor: free disk (GB): 218</div><div>2012-12-10 16:55:20 DEBUG nova.compute.resource_tracker [-] Hypervisor: VCPU information unavailable from (pid=28401) _report_hypervisor_resource_view /opt/stack/nova/nova/compute/resource_tracker.py:330</div>
<div>DEBUG:nova.compute.resource_tracker:Hypervisor: VCPU information unavailable</div><div>2012-12-10 16:55:21 AUDIT nova.compute.resource_tracker [-] Free ram (MB): 7679</div><div>AUDIT:nova.compute.resource_tracker:Free ram (MB): 7679</div>
<div>2012-12-10 16:55:21 AUDIT nova.compute.resource_tracker [-] Free disk (GB): 225</div><div>AUDIT:nova.compute.resource_tracker:Free disk (GB): 225</div><div>2012-12-10 16:55:21 AUDIT nova.compute.resource_tracker [-] Free VCPU information unavailable</div>
<div>AUDIT:nova.compute.resource_tracker:Free VCPU information unavailable</div><div>2012-12-10 16:55:21 INFO nova.compute.resource_tracker [-] Compute_service record updated for openstackDomU </div><div>INFO:nova.compute.resource_tracker:Compute_service record updated for openstackDomU </div>
<div>2012-12-10 16:55:21 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_rebooting_instances from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_rebooting_instances</div>
<div>2012-12-10 16:55:21 DEBUG nova.manager [-] Skipping ComputeManager._cleanup_running_deleted_instances, 24 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div><div>DEBUG:nova.manager:Skipping ComputeManager._cleanup_running_deleted_instances, 24 ticks left until next run</div>
<div>2012-12-10 16:55:21 DEBUG nova.manager [-] Running periodic task ComputeManager._check_instance_build_time from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._check_instance_build_time</div>
<div>2012-12-10 16:55:21 DEBUG nova.manager [-] Skipping ComputeManager._run_image_cache_manager_pass, 34 ticks left until next run from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:167</div><div>DEBUG:nova.manager:Skipping ComputeManager._run_image_cache_manager_pass, 34 ticks left until next run</div>
<div>2012-12-10 16:55:21 DEBUG nova.manager [-] Running periodic task ComputeManager._reclaim_queued_deletes from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._reclaim_queued_deletes</div>
<div>2012-12-10 16:55:21 DEBUG nova.compute.manager [-] CONF.reclaim_instance_interval <= 0, skipping... from (pid=28401) _reclaim_queued_deletes /opt/stack/nova/nova/compute/manager.py:3215</div><div>DEBUG:nova.compute.manager:CONF.reclaim_instance_interval <= 0, skipping...</div>
<div>2012-12-10 16:55:21 DEBUG nova.manager [-] Running periodic task ComputeManager._report_driver_status from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div><div>DEBUG:nova.manager:Running periodic task ComputeManager._report_driver_status</div>
<div>2012-12-10 16:55:21 INFO nova.compute.manager [-] Updating host status</div><div>INFO:nova.compute.manager:Updating host status</div><div>2012-12-10 16:55:21 DEBUG nova.virt.xenapi.host [-] Updating host stats from (pid=28401) update_status /opt/stack/nova/nova/virt/xenapi/host.py:150</div>
<div>DEBUG:nova.virt.xenapi.host:Updating host stats</div><div>2012-12-10 16:55:21 DEBUG nova.manager [-] Running periodic task ComputeManager._poll_unconfirmed_resizes from (pid=28401) periodic_tasks /opt/stack/nova/nova/manager.py:172</div>
<div>DEBUG:nova.manager:Running periodic task ComputeManager._poll_unconfirmed_resizes</div><div><br></div></div>