<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

</head>

<body>

<span style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:11pt; color:black">Did you put the new public key on the source host, or destination host authorized_keys? It should be on the destination host.

<br>

<br>

:)=<br>

<br>

<span style="color:black">-----Original Message----- <br>

<b>From:</b> Guilherme Russi [luisguilherme.cr@gmail.com]<br>

<b>Received:</b> Tuesday, 30 Jul 2013, 15:35<br>

<b>To:</b> 한승진 [yongiman@gmail.com]; openstack [openstack@lists.openstack.org]<br>

<b>CC:</b> {openstack@lists.launchpad.net} [openstack@lists.launchpad.net]<br>

<b>Subject:</b> Re: [Openstack] Configuring Live Migration<br>

<br>

</span></span>

<div>

<div dir="ltr">

<div>I created the new key, but still getting error: here are the logs:</div>

<div><br>

</div>

<div>cat /var/log/nova/nova-compute.log | grep -E ERROR</div>

<div>2013-07-30 11:37:51.097 ERROR nova.compute.manager [req-c3441bfc-dcd7-4625-b701-716f152a4bfe c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: bed3c3be-31d6-42c3-9a7f-e40ef9c1c764] Unexpected error while running command.</div>

<div>Stderr: 'Host key verification failed.\r\n'. Setting instance vm_state to ERROR</div>

<div>2013-07-30 11:37:52.463 ERROR nova.openstack.common.rpc.amqp [req-c3441bfc-dcd7-4625-b701-716f152a4bfe c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] Exception during message handling</div>

<div><br>

</div>

<div><br>

</div>

<div>

<div>cat /var/log/nova/nova-compute.log | grep -E TRACE</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp Traceback (most recent call last):</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/rpc/amqp.py", line 430, in _process_data</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     rval = self.proxy.dispatch(ctxt, version, method, **args)</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/rpc/dispatcher.py", line 133, in dispatch</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     return getattr(proxyobj, method)(ctxt, **kwargs)</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/exception.py", line 117, in wrapped</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     temp_level, payload)</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/exception.py", line 94, in wrapped</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     return f(self, context, *args, **kw)</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 209, in decorated_function</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     pass</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 195, in decorated_function</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     return function(self, context, *args, **kwargs)</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 260, in decorated_function</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     function(self, context, *args, **kwargs)</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 237, in decorated_function</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     e, sys.exc_info())</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 224, in decorated_function</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     return function(self, context, *args, **kwargs)</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 2354, in resize_instance</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     block_device_info)</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 3467, in migrate_disk_and_power_off</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     inst_base_resize)</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 3444, in migrate_disk_and_power_off</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     utils.execute('ssh', dest, 'mkdir', '-p', inst_base)</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/utils.py", line 239, in execute</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp     cmd=' '.join(cmd))</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp ProcessExecutionError: Unexpected error while running command.</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp Command: ssh 10.3.77.48 mkdir -p /var/lib/nova/instances/bed3c3be-31d6-42c3-9a7f-e40ef9c1c764</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp Exit code: 255</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp Stdout: ''</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp Stderr: 'Host key verification failed.\r\n'</div>

<div>2013-07-30 11:37:52.463 6254 TRACE nova.openstack.common.rpc.amqp </div>

</div>

<div><br>

</div>

<div>I've been trying to migrate directly with virsh, but I got this error and the solutions through the web don't help.</div>

<div><br>

</div>

<div>

<div>virsh migrate --live instance-00000063 qemu+ssh://<a href="http://192.168.3.3/system">192.168.3.3/system</a></div>

<div><a href="mailto:root@192.168.3.3">root@192.168.3.3</a>'s password: </div>

<div>erro: internal error cannot load AppArmor profile 'libvirt-bed3c3be-31d6-42c3-9a7f-e40ef9c1c764'</div>

</div>

<div><br>

</div>

<div><br>

</div>

<div>Thank you all.</div>

<div><br>

</div>

<div><br>

</div>

</div>

<div class="gmail_extra"><br>

<br>

<div class="gmail_quote">2013/7/29 <span dir="ltr"><<a href="mailto:yongiman@gmail.com" target="_blank">yongiman@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">

<div dir="auto">

<div>Hi Guilherme,</div>

<div><br>

</div>

<div>I suugest making new ssh key and put the public key in the host</div>

<div><br>

</div>

<div># ssh-keygen (you will find id_rsa.pub in your .ssh directory)</div>

<div><br>

</div>

<div>Copy the contents of this file and paste at the last line of authorized_keys in the host.</div>

<div><br>

</div>

<div><br>

</div>

<div><br>

On 2013. 7. 29., at 오후 10:40, Guilherme Russi <<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>> wrote:<br>

<br>

</div>

<blockquote type="cite">

<div>

<div dir="ltr">Hello Filipe, I created the /var/lib/nova/.ssh/authorized_keys and its content is the keys from the know_hosts, is it right? I'm still getting the same error when I try to migrate a VM.

<div><br>

</div>

<div>Thank you.</div>

</div>

<div class="gmail_extra"><br>

<br>

<div class="gmail_quote">2013/7/26 Filipe Manco <span dir="ltr"><<a href="mailto:filipe.manco@gmail.com" target="_blank">filipe.manco@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">

<div dir="ltr">About the keys it's up to you. You can use the same or create a new one. Using the same is easier.

<div><br>

</div>

<div>But the nova user public key should go into /var/lib/nova/.ssh/authorized_keys not into the know_hosts file. The easier way (as you only have two compute nodes) to add the keys to the know_hosts is to manually ssh and accept the key.</div>

</div>

<div class="gmail_extra"><br clear="all">

<div>

<div dir="ltr">Filipe Manco<br>

<div><a href="http://about.me/fmanco" target="_blank">http://about.me/fmanco</a></div>

</div>

</div>

<br>

<br>

<div class="gmail_quote">2013/7/26 Guilherme Russi <span dir="ltr"><<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">

<div dir="ltr">Ok, Must I create another ssh key to communicate both compute nodes or the current key can work? I've put the plublic key from both compute node in the know_hosts. Which permission should I apply? 644?

<div><br>

</div>

<div>Thank you.</div>

</div>

<div class="gmail_extra"><br>

<br>

<div class="gmail_quote">2013/7/26 Filipe Manco <span dir="ltr"><<a href="mailto:filipe.manco@gmail.com" target="_blank">filipe.manco@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">

<div dir="ltr">First you need to check why this "<span style="font-family:arial,sans-serif; font-size:13px">Failed to add the host to the list of known hosts (/var/lib/nova/.ssh/known_</span><span style="font-family:arial,sans-serif; font-size:13px">hosts)."

 happens. It maybe file permissions or so. Then you need to generate an ssh key for the user nova and add it to the other compute nodes on the authorized_keys file (the password is not really necessary as soon as you have the keys in place).</span></div>

<div class="gmail_extra"><br clear="all">

<div>

<div dir="ltr">Filipe Manco<br>

<div><a href="http://about.me/fmanco" target="_blank">http://about.me/fmanco</a></div>

</div>

</div>

<br>

<br>

<div class="gmail_quote">2013/7/26 Guilherme Russi <span dir="ltr"><<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">

<div dir="ltr">

<div>sudo -u nova ssh 192.168.3.3</div>

<div>The authenticity of host '192.168.3.3 (192.168.3.3)' can't be established.</div>

<div>ECDSA key fingerprint is e3:ca:f7:dd:1e:1f:e3:e3:17:f8:52:09:a4:41:e1:40.</div>

<div>Are you sure you want to continue connecting (yes/no)? yes</div>

<div>Failed to add the host to the list of known hosts (/var/lib/nova/.ssh/known_hosts).</div>

<div><a href="mailto:nova@192.168.3.3" target="_blank">nova@192.168.3.3</a>'s password: </div>

<div><br>

</div>

<div>But I don't know the user nova's password.</div>

</div>

<div class="gmail_extra"><br>

<br>

<div class="gmail_quote">2013/7/26 Filipe Manco <span dir="ltr"><<a href="mailto:filipe.manco@gmail.com" target="_blank">filipe.manco@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">

<div dir="ltr">Can you try <font face="courier new, monospace"><b>sudo -u nova ssh <remote-compute-node></b></font> form the compute node currently running the VM and check if it works?</div>

<div class="gmail_extra"><br clear="all">

<div>

<div dir="ltr">Filipe Manco<br>

<div><a href="http://about.me/fmanco" target="_blank">http://about.me/fmanco</a></div>

</div>

</div>

<br>

<br>

<div class="gmail_quote">2013/7/26 Guilherme Russi <span dir="ltr"><<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">

<div dir="ltr">Hello Filipe,

<div><br>

</div>

<div> I made the copy from my .ssh/know_hosts to places you told me, but I'm still getting the same error. Any other ideas?</div>

<div><br>

</div>

<div>Thank you.</div>

</div>

<div class="gmail_extra"><br>

<br>

<div class="gmail_quote">2013/7/26 Filipe Manco <span dir="ltr"><<a href="mailto:filipe.manco@gmail.com" target="_blank">filipe.manco@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">

<div dir="ltr">Hi

<div><br>

This error means that you cannot ssh into the new compute node because it's public key cannot be verified. Add the public keys of the compute nodes to /etc/ssh/know_hosts file (or the nova one, usually under /var/lib/nova/.ssh/) and the problem should be gone.</div>

<div><br>

</div>

<div>Regards</div>

</div>

<div class="gmail_extra"><br clear="all">

<div>

<div dir="ltr">Filipe Manco<br>

<div><a href="http://about.me/fmanco" target="_blank">http://about.me/fmanco</a></div>

</div>

</div>

<br>

<br>

<div class="gmail_quote">2013/7/26 Guilherme Russi <span dir="ltr"><<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">

<div dir="ltr">Ok, I'll look more carefully the log and it's cool this command from libvirt, I didn't know it, I'll try it and return to you.

<div><br>

</div>

<div>Thank you again.</div>

</div>

<div class="gmail_extra"><br>

<br>

<div class="gmail_quote">2013/7/25 Wangpan <span dir="ltr"><<a href="mailto:hzwangpan@corp.netease.com" target="_blank">hzwangpan@corp.netease.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">

<u></u>

<div marginheight="0" marginwidth="0" style="border-left-width:0px; border-right-width:0px; border-bottom-width:0px; margin:12px; line-height:1.3; border-top-width:0px">

<div><font color="#000000" size="3" face="宋体">That's confused me, "Unexpected error while running command" will give us what command is running when this error occured, you may check the log more carefully.</font></div>

<div>and you also can migrate the VM directly by libvirt command line like below:</div>

<div><font color="#000000" size="3" face="宋体">virsh  migrate --live --persistent --undefinesource --verbose --domain ${instance-uuid} --desturi qemu+tcp://${the-dest-host-ip}/system</font></div>

<div>then see the output result.</div>

<div> </div>

<div align="left"><font color="#c0c0c0" face="Verdana">2013-07-26</font></div>

<div align="left"><font face="Verdana">

<hr align="left" size="2" style="min-height:2px; width:122px">

</font></div>

<div align="left"><font color="#c0c0c0" face="Verdana"><span>Wangpan</span></font></div>

<div><font face="Verdana">

<hr>

</font></div>

<div><font face="Verdana"><strong>发件人：</strong>Guilherme Russi <<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>></font></div>

<div><font face="Verdana"><strong>发送时间：</strong>2013-07-26 09:30</font></div>

<div><font face="Verdana"><strong>主题：</strong>Re: Re: Re: Re: Re: [Openstack] Configuring Live Migration</font></div>

<div><font face="Verdana"><strong>收件人：</strong>"Wangpan"<<a href="mailto:hzwangpan@corp.netease.com" target="_blank">hzwangpan@corp.netease.com</a>></font></div>

<div><font face="Verdana"><strong>抄送：</strong>"<a href="mailto:openstack@lists.launchpad.net" target="_blank">openstack@lists.launchpad.net</a>"<<a href="mailto:openstack@lists.launchpad.net" target="_blank">openstack@lists.launchpad.net</a>></font></div>

<div><font face="Verdana"></font> </div>

<div><font face="Verdana">

<div dir="ltr">When I enter the action to migrate, the only two errors showen at this period are these two.</div>

<div class="gmail_extra"><br>

<br>

<div class="gmail_quote">2013/7/25 Wangpan <span dir="ltr"><<a href="mailto:hzwangpan@corp.netease.com" target="_blank">hzwangpan@corp.netease.com</a>></span><br>

<blockquote class="gmail_quote" style="padding-left:1ex; margin:0px 0px 0px 0.8ex; border-left:#ccc 1px solid">

<u></u>

<div marginheight="0" marginwidth="0" style="border-left-width:0px; border-right-width:0px; border-bottom-width:0px; margin:12px; line-height:1.3; border-top-width:0px">

<div><font color="#000000" size="3" face="宋体">There may have more error logs at this minute 2013-07-25 17:28,</font></div>

<div>you can get the backtrace near the error log you post.</div>

<div> </div>

<div align="left"><font color="#c0c0c0" face="Verdana">2013-07-26</font></div>

<div align="left"><font face="Verdana">

<hr align="left" size="2" style="min-height:2px; width:122px">

</font></div>

<div align="left"><font color="#c0c0c0" face="Verdana"><span>Wangpan</span></font></div>

<div><font face="Verdana">

<hr>

</font></div>

<div><font face="Verdana"><strong>发件人：</strong>Guilherme Russi <<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>></font></div>

<div><font face="Verdana"><strong>发送时间：</strong>2013-07-26 04:48</font></div>

<div><font face="Verdana"><strong>主题：</strong>Re: Re: Re: Re: [Openstack] Configuring Live Migration</font></div>

<div><font face="Verdana"><strong>收件人：</strong>"Wangpan"<<a href="mailto:hzwangpan@corp.netease.com" target="_blank">hzwangpan@corp.netease.com</a>>,"<a href="mailto:openstack@lists.launchpad.net" target="_blank">openstack@lists.launchpad.net</a>"<<a href="mailto:openstack@lists.launchpad.net" target="_blank">openstack@lists.launchpad.net</a>></font></div>

<div><font face="Verdana"><strong>抄送：</strong></font></div>

<div><font face="Verdana"></font> </div>

<div><font face="Verdana">

<div dir="ltr">Hello guys, I'm getting problems when trying to migrate a VM.

<div><br>

</div>

<div>I'm getting this error on my log:</div>

<div><br>

</div>

<div>

<div>2013-07-25 17:28:31.582 ERROR nova.compute.manager [req-07d2c8b0-80c3-4ae8-8faf-226a099500e4 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 919f13d2-8116-4714-b2ec-d2e0f3d3c910] Unexpected error while running command.</div>

<div>Stderr: 'Host key verification failed.\r\n'. Setting instance vm_state to ERROR</div>

<div>2013-07-25 17:28:32.212 ERROR nova.openstack.common.rpc.amqp [req-07d2c8b0-80c3-4ae8-8faf-226a099500e4 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] Exception during message handling</div>

</div>

<div><br>

</div>

<div><br>

</div>

<div>The user Wangpan was helping me, but I guess his hour is different from mine, can anybody five me an idea?</div>

<div><br>

</div>

<div>Thank you.</div>

<div><br>

</div>

<div>Guilherme.</div>

</div>

<div class="gmail_extra"><br>

<br>

<div class="gmail_quote">2013/7/25 Guilherme Russi <span dir="ltr"><<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="padding-left:1ex; margin:0px 0px 0px 0.8ex; border-left:#ccc 1px solid">

<div dir="ltr">Hello Wangpan, I've looking at the logs and I saw one error with my ssh port, and then I fixed the port, but now I'm getting this error: 

<div><br>

</div>

<div>

<div>

<div>2013-07-25 14:09:50.388 ERROR nova.compute.manager [req-6930a2e2-60e7-421f-a560-26a626ecebcb c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: d268d24b-96fc-4450-88d4-19ba83cd8892] Unexpected error while running command.</div>

<div>Stderr: 'Host key verification failed.\r\n'. Setting instance vm_state to ERROR</div>

<div>2013-07-25 14:09:51.005 ERROR nova.openstack.common.rpc.amqp [req-6930a2e2-60e7-421f-a560-26a626ecebcb c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] Exception during message handling</div>

</div>

</div>

<div><br>

</div>

<div>What "host key verification"? Where should I put this key?</div>

<div><br>

</div>

<div>Thank you.</div>

<div><br>

</div>

<div>Guilherme.</div>

</div>

<div class="gmail_extra"><br>

<br>

<div class="gmail_quote">2013/7/25 Guilherme Russi <span dir="ltr"><<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="padding-left:1ex; margin:0px 0px 0px 0.8ex; border-left:#ccc 1px solid">

<p dir="ltr">Typed wrong here </p>

<div class="gmail_quote">Em 25/07/2013 00:42, "Wangpan" <<a href="mailto:hzwangpan@corp.netease.com" target="_blank">hzwangpan@corp.netease.com</a>> escreveu:<br type="attribution">

<blockquote class="gmail_quote" style="padding-left:1ex; margin:0px 0px 0px 0.8ex; border-left:#ccc 1px solid">

<u></u>

<div marginheight="0" marginwidth="0" style="border-left-width:0px; border-right-width:0px; border-bottom-width:0px; margin:12px; line-height:1.3; border-top-width:0px">

chmod 777 -R /var/<font color="#ff0000">lib</font>/nova/instances

<div><font size="3" face="宋体">not the /var/<font style="background-color:#ffcc00">log</font>/nova/instances</font></div>

<div> </div>

<div align="left"><font color="#c0c0c0" face="Verdana">2013-07-25</font></div>

<div align="left"><font face="Verdana">

<hr align="left" size="2" style="min-height:2px; width:122px">

</font></div>

<div align="left"><font color="#c0c0c0" face="Verdana"><span>Wangpan</span></font></div>

<div><font face="Verdana">

<hr>

</font></div>

<div><font face="Verdana"><strong>发件人：</strong>Guilherme Russi <<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>></font></div>

<div><font face="Verdana"><strong>发送时间：</strong>2013-07-25 10:39</font></div>

<div><font face="Verdana"><strong>主题：</strong>Re: Re: Re: [Openstack] Configuring Live Migration</font></div>

<div><font face="Verdana"><strong>收件人：</strong>"Wangpan"<<a href="mailto:hzwangpan@corp.netease.com" target="_blank">hzwangpan@corp.netease.com</a>></font></div>

<div><font face="Verdana"><strong>抄送：</strong></font></div>

<div><font face="Verdana"></font> </div>

<div><font face="Verdana">

<div dir="ltr">I've done chmod 777 -R /var/log/nova/instances

<div><br>

</div>

<div>Does it work?</div>

</div>

<div class="gmail_extra"><br>

<br>

<div class="gmail_quote">2013/7/24 Wangpan <span dir="ltr"><<a href="mailto:hzwangpan@corp.netease.com" target="_blank">hzwangpan@corp.netease.com</a>></span><br>

<blockquote class="gmail_quote" style="padding-left:1ex; margin:0px 0px 0px 0.8ex; border-left:#ccc 1px solid">

<u></u>

<div marginheight="0" marginwidth="0" style="border-left-width:0px; border-right-width:0px; border-bottom-width:0px; margin:12px; line-height:1.3; border-top-width:0px">

<div><font color="#000000" size="3" face="宋体">I saw this error "Permission denied: '/var/lib/nova/instances/'" in your logs.</font></div>

<div>you may need to chown the instances path  '/var/lib/nova/instances/'</div>

<div> </div>

<div align="left"><font color="#c0c0c0" face="Verdana">2013-07-25</font></div>

<div align="left"><font face="Verdana">

<hr align="left" size="2" style="min-height:2px; width:122px">

</font></div>

<div align="left"><font color="#c0c0c0" face="Verdana"><span>Wangpan</span></font></div>

<div><font face="Verdana">

<hr>

</font></div>

<div><font face="Verdana"><strong>发件人：</strong>Guilherme Russi <<a href="mailto:luisguilherme.cr@gmail.com" target="_blank">luisguilherme.cr@gmail.com</a>></font></div>

<div><font face="Verdana"><strong>发送时间：</strong>2013-07-25 10:08</font></div>

<div><font face="Verdana"><strong>主题：</strong>Re: Re: [Openstack] Configuring Live Migration</font></div>

<div><font face="Verdana"><strong>收件人：</strong>"Wangpan"<<a href="mailto:hzwangpan@corp.netease.com" target="_blank">hzwangpan@corp.netease.com</a>></font></div>

<div><font face="Verdana"><strong>抄送：</strong></font></div>

<div><font face="Verdana"></font> </div>

<div><font face="Verdana">

<div dir="ltr">Compute Node 01:

<div><br>

</div>

<div>

<div>cat /var/log/nova/nova-*.log | grep -E ERROR</div>

<div>2013-07-24 08:03:57.262 1820 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 08:43:57.655 1820 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 09:23:57.816 1820 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 10:03:57.993 1820 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 10:20:21.767 ERROR nova.compute.manager [req-c4b2d1db-676c-4398-a5b8-582a76ec6c35 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc] Instance failed to spawn</div>

<div>2013-07-24 10:20:29.326 1820 ERROR nova.virt.libvirt.driver [-] [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc] During wait destroy, instance disappeared.</div>

<div>2013-07-24 10:20:29.511 ERROR nova.compute.manager [req-c4b2d1db-676c-4398-a5b8-582a76ec6c35 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1517, in spawn\n    admin_pass=admin_password)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image\n    fileutils.ensure_tree(basepath(suffix=\'\'))\n', '  File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py",

 line 29, in ensure_tree\n    os.makedirs(path)\n', '  File "/usr/lib/python2.7/os.py", line 157, in makedirs\n    mkdir(name, mode)\n', "OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/55215431-0a42-4fc8-a642-c08d3cc5e2bc/'\n"]</div>

<div>2013-07-24 10:33:17.279 ERROR nova.compute.manager [req-f10c5f14-b3ad-4c13-b20f-c53f57379163 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd] Instance failed to spawn</div>

<div>2013-07-24 10:33:36.673 1820 ERROR nova.virt.libvirt.driver [-] [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd] During wait destroy, instance disappeared.</div>

<div>2013-07-24 10:33:36.837 ERROR nova.compute.manager [req-f10c5f14-b3ad-4c13-b20f-c53f57379163 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1517, in spawn\n    admin_pass=admin_password)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image\n    fileutils.ensure_tree(basepath(suffix=\'\'))\n', '  File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py",

 line 29, in ensure_tree\n    os.makedirs(path)\n', '  File "/usr/lib/python2.7/os.py", line 157, in makedirs\n    mkdir(name, mode)\n', "OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/ca733a02-766e-46e1-9a15-bd2a12b10ebd/'\n"]</div>

<div>2013-07-24 10:40:26.722 ERROR nova.compute.manager [req-5d0289b3-36d7-4046-996c-a1decb922066 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73] Instance failed to spawn</div>

<div>2013-07-24 10:40:39.402 1820 ERROR nova.virt.libvirt.driver [-] [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73] During wait destroy, instance disappeared.</div>

<div>2013-07-24 10:40:39.530 ERROR nova.compute.manager [req-5d0289b3-36d7-4046-996c-a1decb922066 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1517, in spawn\n    admin_pass=admin_password)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image\n    fileutils.ensure_tree(basepath(suffix=\'\'))\n', '  File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py",

 line 29, in ensure_tree\n    os.makedirs(path)\n', '  File "/usr/lib/python2.7/os.py", line 157, in makedirs\n    mkdir(name, mode)\n', "OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/3b15a4e9-fb2c-452a-8045-16d1f58ebf73/'\n"]</div>

<div>2013-07-24 10:43:58.194 1820 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 11:03:19.657 ERROR nova.virt.libvirt.driver [req-5441aa83-cc8a-4d25-a17e-9e4f63448451 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] Error on '/var/lib/nova/instances' while checking direct I/O: '[Errno 13] Permission denied:

 '/var/lib/nova/instances/.directio.test''</div>

<div>2013-07-24 11:03:19.658 ERROR nova.compute.manager [req-5441aa83-cc8a-4d25-a17e-9e4f63448451 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d] Instance failed to spawn</div>

<div>2013-07-24 11:03:32.036 1685 ERROR nova.virt.libvirt.driver [-] [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d] During wait destroy, instance disappeared.</div>

<div>2013-07-24 11:03:32.170 ERROR nova.compute.manager [req-5441aa83-cc8a-4d25-a17e-9e4f63448451 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1510, in spawn\n    block_device_info=block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2326, in to_xml\n    disk_info, rescue, block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 2244, in get_guest_config\n    inst_type):\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2051, in get_guest_storage_config\n    inst_type)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line

 2013, in get_guest_disk_config\n    self.disk_cachemode,\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 355, in disk_cachemode\n    if not self._supports_direct_io(CONF.instances_path):\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1676, in _supports_direct_io\n    {\'path\': dirpath, \'ex\': str(e)})\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1663, in

 _supports_direct_io\n    f = os.open(testfile, os.O_CREAT | os.O_WRONLY | os.O_DIRECT)\n', "OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/.directio.test'\n"]</div>

<div>2013-07-24 11:22:38.103 ERROR nova.compute.manager [req-26522972-c8be-4be5-83d1-f45412718d94 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3] Instance failed to spawn</div>

<div>2013-07-24 11:22:50.791 1685 ERROR nova.virt.libvirt.driver [-] [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3] During wait destroy, instance disappeared.</div>

<div>2013-07-24 11:22:50.925 ERROR nova.compute.manager [req-26522972-c8be-4be5-83d1-f45412718d94 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1517, in spawn\n    admin_pass=admin_password)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image\n    fileutils.ensure_tree(basepath(suffix=\'\'))\n', '  File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py",

 line 29, in ensure_tree\n    os.makedirs(path)\n', '  File "/usr/lib/python2.7/os.py", line 157, in makedirs\n    mkdir(name, mode)\n', "OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3/'\n"]</div>

<div>2013-07-24 11:26:00.874 ERROR nova.compute.manager [req-43b99187-3d4b-4f42-8ee5-eab58a448d05 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b] Instance failed to spawn</div>

<div>2013-07-24 11:27:07.567 ERROR nova.compute.manager [req-43b99187-3d4b-4f42-8ee5-eab58a448d05 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1517, in spawn\n    admin_pass=admin_password)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image\n    fileutils.ensure_tree(basepath(suffix=\'\'))\n', '  File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py",

 line 29, in ensure_tree\n    os.makedirs(path)\n', '  File "/usr/lib/python2.7/os.py", line 157, in makedirs\n    mkdir(name, mode)\n', "OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/b60db5a8-92ea-4a81-bd53-d73dc2019b0b/'\n"]</div>

<div>2013-07-24 11:27:08.045 ERROR nova.openstack.common.rpc.amqp [req-43b99187-3d4b-4f42-8ee5-eab58a448d05 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] Exception during message handling</div>

<div>2013-07-24 11:34:02.320 1685 ERROR nova.virt.libvirt.driver [-] [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b] During wait destroy, instance disappeared.</div>

<div>2013-07-24 11:38:23.618 ERROR nova.compute.manager [req-d9052cd7-12d2-4df6-94c2-4ed3891e6bbb c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 69a2c512-bea1-46de-91be-c33a07799981] Instance failed to spawn</div>

<div>2013-07-24 11:38:49.087 1685 ERROR nova.virt.libvirt.driver [-] [instance: 69a2c512-bea1-46de-91be-c33a07799981] During wait destroy, instance disappeared.</div>

<div>2013-07-24 11:38:49.220 ERROR nova.compute.manager [req-d9052cd7-12d2-4df6-94c2-4ed3891e6bbb c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 69a2c512-bea1-46de-91be-c33a07799981] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1517, in spawn\n    admin_pass=admin_password)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image\n    fileutils.ensure_tree(basepath(suffix=\'\'))\n', '  File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py",

 line 29, in ensure_tree\n    os.makedirs(path)\n', '  File "/usr/lib/python2.7/os.py", line 157, in makedirs\n    mkdir(name, mode)\n', "OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/69a2c512-bea1-46de-91be-c33a07799981/'\n"]</div>

<div>2013-07-24 11:41:15.017 1685 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 12:45:36.353 1694 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 13:13:09.224 ERROR nova.virt.libvirt.driver [req-4d081c1f-ad11-4b89-904d-700291b47894 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] Error on '/var/lib/nova/instances' while checking direct I/O: '[Errno 13] Permission denied:

 '/var/lib/nova/instances/.directio.test''</div>

<div>2013-07-24 13:13:09.225 ERROR nova.compute.manager [req-4d081c1f-ad11-4b89-904d-700291b47894 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb] Instance failed to spawn</div>

<div>2013-07-24 13:13:21.636 1694 ERROR nova.virt.libvirt.driver [-] [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb] During wait destroy, instance disappeared.</div>

<div>2013-07-24 13:13:21.729 ERROR nova.compute.manager [req-4d081c1f-ad11-4b89-904d-700291b47894 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1510, in spawn\n    block_device_info=block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2326, in to_xml\n    disk_info, rescue, block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 2244, in get_guest_config\n    inst_type):\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2051, in get_guest_storage_config\n    inst_type)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line

 2013, in get_guest_disk_config\n    self.disk_cachemode,\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 355, in disk_cachemode\n    if not self._supports_direct_io(CONF.instances_path):\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1676, in _supports_direct_io\n    {\'path\': dirpath, \'ex\': str(e)})\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1663, in

 _supports_direct_io\n    f = os.open(testfile, os.O_CREAT | os.O_WRONLY | os.O_DIRECT)\n', "OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/.directio.test'\n"]</div>

<div>2013-07-24 13:25:36.702 1694 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 14:05:37.095 1694 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 14:45:37.319 1694 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 14:47:05.364 ERROR nova.compute.manager [req-4b74d886-c5cc-4e28-ac42-824ba815f7ac c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601] Instance failed to spawn</div>

<div>2013-07-24 14:47:26.986 ERROR nova.compute.manager [req-4b74d886-c5cc-4e28-ac42-824ba815f7ac c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1520, in spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2435, in _create_domain_and_network\n    domain = self._create_domain(xml, instance=instance)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 2396, in _create_domain\n    domain.createWithFlags(launch_flags)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 187, in doit\n    result = proxy_call(self._autowrap, f, *args, **kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py",

 line 147, in proxy_call\n    rv = execute(f,*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 76, in tworker\n    rv = meth(*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/libvirt.py", line 711, in createWithFlags\n

    if ret == -1: raise libvirtError (\'virDomainCreateWithFlags() failed\', dom=self)\n', "libvirtError: internal error cannot load AppArmor profile 'libvirt-748277e2-e3b5-4385-9c0e-c8e0ddefa601'\n"]</div>

<div>2013-07-24 15:25:37.532 1694 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 16:05:37.847 1694 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 16:14:39.249 ERROR nova.compute.manager [req-e0716278-f864-4f70-962a-bf74559fc4c9 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 23cf38cc-797e-40f2-a995-6e181493c913] Instance failed to spawn</div>

<div>2013-07-24 16:14:54.459 ERROR nova.compute.manager [req-e0716278-f864-4f70-962a-bf74559fc4c9 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 23cf38cc-797e-40f2-a995-6e181493c913] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1520, in spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2435, in _create_domain_and_network\n    domain = self._create_domain(xml, instance=instance)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 2396, in _create_domain\n    domain.createWithFlags(launch_flags)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 187, in doit\n    result = proxy_call(self._autowrap, f, *args, **kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py",

 line 147, in proxy_call\n    rv = execute(f,*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 76, in tworker\n    rv = meth(*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/libvirt.py", line 711, in createWithFlags\n

    if ret == -1: raise libvirtError (\'virDomainCreateWithFlags() failed\', dom=self)\n', "libvirtError: internal error cannot load AppArmor profile 'libvirt-23cf38cc-797e-40f2-a995-6e181493c913'\n"]</div>

<div>2013-07-24 16:43:47.486 ERROR nova.compute.manager [req-5d9b9575-a6eb-4324-b975-78dba69c24ef c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 00497f97-a0fe-4a51-b7f6-6901d0d34791] Instance failed to spawn</div>

<div>2013-07-24 16:43:58.434 ERROR nova.compute.manager [req-5d9b9575-a6eb-4324-b975-78dba69c24ef c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 00497f97-a0fe-4a51-b7f6-6901d0d34791] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1520, in spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2435, in _create_domain_and_network\n    domain = self._create_domain(xml, instance=instance)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 2396, in _create_domain\n    domain.createWithFlags(launch_flags)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 187, in doit\n    result = proxy_call(self._autowrap, f, *args, **kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py",

 line 147, in proxy_call\n    rv = execute(f,*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 76, in tworker\n    rv = meth(*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/libvirt.py", line 711, in createWithFlags\n

    if ret == -1: raise libvirtError (\'virDomainCreateWithFlags() failed\', dom=self)\n', "libvirtError: internal error cannot load AppArmor profile 'libvirt-00497f97-a0fe-4a51-b7f6-6901d0d34791'\n"]</div>

<div>2013-07-24 16:46:43.408 1694 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 17:26:43.627 1694 ERROR nova.manager [-] Error during ComputeManager._run_image_cache_manager_pass: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 17:47:46.003 ERROR nova.compute.manager [req-370ac716-203d-43aa-a146-709297c715b3 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 8a4e0c84-07ec-40ab-9585-5433dff92b64] Instance failed to spawn</div>

<div>2013-07-24 17:47:55.194 ERROR nova.compute.manager [req-370ac716-203d-43aa-a146-709297c715b3 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 8a4e0c84-07ec-40ab-9585-5433dff92b64] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1520, in spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2435, in _create_domain_and_network\n    domain = self._create_domain(xml, instance=instance)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 2396, in _create_domain\n    domain.createWithFlags(launch_flags)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 187, in doit\n    result = proxy_call(self._autowrap, f, *args, **kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py",

 line 147, in proxy_call\n    rv = execute(f,*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 76, in tworker\n    rv = meth(*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/libvirt.py", line 711, in createWithFlags\n

    if ret == -1: raise libvirtError (\'virDomainCreateWithFlags() failed\', dom=self)\n', "libvirtError: internal error cannot load AppArmor profile 'libvirt-8a4e0c84-07ec-40ab-9585-5433dff92b64'\n"]</div>

<div>2013-07-24 17:53:42.789 ERROR nova.compute.manager [req-153949aa-d5a7-473f-b79b-38616ae77441 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: d3bfc215-7e24-40d2-b6f9-a1542a2b9d05] Instance failed to spawn</div>

<div>2013-07-24 17:54:05.061 ERROR nova.compute.manager [req-153949aa-d5a7-473f-b79b-38616ae77441 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: d3bfc215-7e24-40d2-b6f9-a1542a2b9d05] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1520, in spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2435, in _create_domain_and_network\n    domain = self._create_domain(xml, instance=instance)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 2396, in _create_domain\n    domain.createWithFlags(launch_flags)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 187, in doit\n    result = proxy_call(self._autowrap, f, *args, **kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py",

 line 147, in proxy_call\n    rv = execute(f,*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 76, in tworker\n    rv = meth(*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/libvirt.py", line 711, in createWithFlags\n

    if ret == -1: raise libvirtError (\'virDomainCreateWithFlags() failed\', dom=self)\n', "libvirtError: internal error cannot load AppArmor profile 'libvirt-d3bfc215-7e24-40d2-b6f9-a1542a2b9d05'\n"]</div>

<div>2013-07-24 18:05:44.677 ERROR nova.compute.manager [req-60486a96-54a1-4472-846b-b57209c68921 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 005f7640-a8ce-429a-ba91-85e7db1d86ac] Instance failed to spawn</div>

<div>2013-07-24 18:06:14.408 ERROR nova.compute.manager [req-60486a96-54a1-4472-846b-b57209c68921 c402785616534f2096b34ce132b7d3f2 d532a4fc2e9e4b5f83b6dec7085237e5] [instance: 005f7640-a8ce-429a-ba91-85e7db1d86ac] Error: ['Traceback (most recent call last):\n',

 '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 834, in _run_instance\n    set_access_ip=set_access_ip)\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1093, in _spawn\n    LOG.exception(_(\'Instance failed

 to spawn\'), instance=instance)\n', '  File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__\n    self.gen.next()\n', '  File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 1520, in spawn\n    block_device_info)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2435, in _create_domain_and_network\n    domain = self._create_domain(xml, instance=instance)\n', '  File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py",

 line 2396, in _create_domain\n    domain.createWithFlags(launch_flags)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 187, in doit\n    result = proxy_call(self._autowrap, f, *args, **kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py",

 line 147, in proxy_call\n    rv = execute(f,*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 76, in tworker\n    rv = meth(*args,**kwargs)\n', '  File "/usr/lib/python2.7/dist-packages/libvirt.py", line 711, in createWithFlags\n

    if ret == -1: raise libvirtError (\'virDomainCreateWithFlags() failed\', dom=self)\n', "libvirtError: internal error cannot load AppArmor profile 'libvirt-005f7640-a8ce-429a-ba91-85e7db1d86ac'\n"]</div>

</div>

<div><br>

</div>

<div><br>

</div>

<div>

<div>cat /var/log/nova/nova-*.log | grep -E TRACE</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 228, in inner</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager     retval = f(*args, **kwargs)</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/virt/storage_users.py", line 44, in register_storage_use</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager     with open(id_path, 'w') as f:</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager IOError: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 08:03:57.262 1820 TRACE nova.manager </div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 228, in inner</div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager     retval = f(*args, **kwargs)</div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/virt/storage_users.py", line 44, in register_storage_use</div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager     with open(id_path, 'w') as f:</div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager IOError: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 08:43:57.655 1820 TRACE nova.manager </div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 228, in inner</div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager     retval = f(*args, **kwargs)</div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/virt/storage_users.py", line 44, in register_storage_use</div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager     with open(id_path, 'w') as f:</div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager IOError: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 09:23:57.816 1820 TRACE nova.manager </div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 228, in inner</div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager     retval = f(*args, **kwargs)</div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/virt/storage_users.py", line 44, in register_storage_use</div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager     with open(id_path, 'w') as f:</div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager IOError: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 10:03:57.993 1820 TRACE nova.manager </div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc] Traceback (most recent call last):</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc]     block_device_info)</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1517, in spawn</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc]     admin_pass=admin_password)</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc]     fileutils.ensure_tree(basepath(suffix=''))</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc]   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc]     os.makedirs(path)</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc]   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc]     mkdir(name, mode)</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc] OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/55215431-0a42-4fc8-a642-c08d3cc5e2bc/'</div>

<div>2013-07-24 10:20:21.767 1820 TRACE nova.compute.manager [instance: 55215431-0a42-4fc8-a642-c08d3cc5e2bc] </div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd] Traceback (most recent call last):</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd]     block_device_info)</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1517, in spawn</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd]     admin_pass=admin_password)</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd]     fileutils.ensure_tree(basepath(suffix=''))</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd]   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd]     os.makedirs(path)</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd]   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd]     mkdir(name, mode)</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd] OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/ca733a02-766e-46e1-9a15-bd2a12b10ebd/'</div>

<div>2013-07-24 10:33:17.279 1820 TRACE nova.compute.manager [instance: ca733a02-766e-46e1-9a15-bd2a12b10ebd] </div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73] Traceback (most recent call last):</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73]     block_device_info)</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1517, in spawn</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73]     admin_pass=admin_password)</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73]     fileutils.ensure_tree(basepath(suffix=''))</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73]   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73]     os.makedirs(path)</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73]   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73]     mkdir(name, mode)</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73] OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/3b15a4e9-fb2c-452a-8045-16d1f58ebf73/'</div>

<div>2013-07-24 10:40:26.722 1820 TRACE nova.compute.manager [instance: 3b15a4e9-fb2c-452a-8045-16d1f58ebf73] </div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 228, in inner</div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager     retval = f(*args, **kwargs)</div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/virt/storage_users.py", line 44, in register_storage_use</div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager     with open(id_path, 'w') as f:</div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager IOError: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 10:43:58.194 1820 TRACE nova.manager </div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d] Traceback (most recent call last):</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]     block_device_info)</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1510, in spawn</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]     block_device_info=block_device_info)</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2326, in to_xml</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]     disk_info, rescue, block_device_info)</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2244, in get_guest_config</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]     inst_type):</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2051, in get_guest_storage_config</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]     inst_type)</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2013, in get_guest_disk_config</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]     self.disk_cachemode,</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 355, in disk_cachemode</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]     if not self._supports_direct_io(CONF.instances_path):</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1676, in _supports_direct_io</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]     {'path': dirpath, 'ex': str(e)})</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]     self.gen.next()</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1663, in _supports_direct_io</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d]     f = os.open(testfile, os.O_CREAT | os.O_WRONLY | os.O_DIRECT)</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d] OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/.directio.test'</div>

<div>2013-07-24 11:03:19.658 1685 TRACE nova.compute.manager [instance: 40c3fb5c-61d9-491a-9bfa-cac824a2887d] </div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3] Traceback (most recent call last):</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3]     block_device_info)</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1517, in spawn</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3]     admin_pass=admin_password)</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3]     fileutils.ensure_tree(basepath(suffix=''))</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3]   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3]     os.makedirs(path)</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3]   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3]     mkdir(name, mode)</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3] OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3/'</div>

<div>2013-07-24 11:22:38.103 1685 TRACE nova.compute.manager [instance: fd3ab09d-fc9f-4ee9-b5f5-72540893ecd3] </div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b] Traceback (most recent call last):</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b]     block_device_info)</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1517, in spawn</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b]     admin_pass=admin_password)</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b]     fileutils.ensure_tree(basepath(suffix=''))</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b]   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b]     os.makedirs(path)</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b]   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b]     mkdir(name, mode)</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b] OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/b60db5a8-92ea-4a81-bd53-d73dc2019b0b/'</div>

<div>2013-07-24 11:26:00.874 1685 TRACE nova.compute.manager [instance: b60db5a8-92ea-4a81-bd53-d73dc2019b0b] </div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp Traceback (most recent call last):</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/rpc/amqp.py", line 430, in _process_data</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     rval = self.proxy.dispatch(ctxt, version, method, **args)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/rpc/dispatcher.py", line 133, in dispatch</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     return getattr(proxyobj, method)(ctxt, **kwargs)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/exception.py", line 117, in wrapped</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     temp_level, payload)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/exception.py", line 94, in wrapped</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     return f(self, context, *args, **kw)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 209, in decorated_function</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     pass</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 195, in decorated_function</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     return function(self, context, *args, **kwargs)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 260, in decorated_function</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     function(self, context, *args, **kwargs)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 237, in decorated_function</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     e, sys.exc_info())</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 224, in decorated_function</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     return function(self, context, *args, **kwargs)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1210, in run_instance</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     do_run_instance()</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 242, in inner</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     retval = f(*args, **kwargs)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1209, in do_run_instance</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     admin_password, is_first_time, node, instance)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 865, in _run_instance</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     self._set_instance_error_state(context, instance['uuid'])</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 857, in _run_instance</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     filter_properties, bdms)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 897, in _reschedule_or_reraise</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     self._log_original_error(exc_info, instance_uuid)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     self.gen.next()</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 892, in _reschedule_or_reraise</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     self._shutdown_instance(context, instance, bdms)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1222, in _shutdown_instance</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     network_info = self._get_instance_nw_info(context, instance)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 667, in _get_instance_nw_info</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     instance, conductor_api=self.conductor_api)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/network/quantumv2/api.py", line 359, in get_instance_nw_info</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     result = self._get_instance_nw_info(context, instance, networks)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/network/quantumv2/api.py", line 367, in _get_instance_nw_info</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     nw_info = self._build_network_info_model(context, instance, networks)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/nova/network/quantumv2/api.py", line 778, in _build_network_info_model</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     data = client.list_ports(**search_opts)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/quantumclient/v2_0/client.py", line 107, in with_params</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     ret = self.function(instance, *args, **kwargs)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/quantumclient/v2_0/client.py", line 255, in list_ports</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     **_params)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/quantumclient/v2_0/client.py", line 996, in list</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     for r in self._pagination(collection, path, **params):</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/quantumclient/v2_0/client.py", line 1009, in _pagination</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     res = self.get(path, params=params)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/quantumclient/v2_0/client.py", line 982, in get</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     headers=headers, params=params)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/quantumclient/v2_0/client.py", line 967, in retry_request</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     headers=headers, params=params)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/quantumclient/v2_0/client.py", line 912, in do_request</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     self._handle_fault_response(status_code, replybody)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/quantumclient/v2_0/client.py", line 893, in _handle_fault_response</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     exception_handler_v20(status_code, des_error_body)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp   File "/usr/lib/python2.7/dist-packages/quantumclient/v2_0/client.py", line 87, in exception_handler_v20</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp     message=message)</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp QuantumClientException: Request Timeout</div>

<div>2013-07-24 11:27:08.045 1685 TRACE nova.openstack.common.rpc.amqp </div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981] Traceback (most recent call last):</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981]     block_device_info)</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1517, in spawn</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981]     admin_pass=admin_password)</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1748, in _create_image</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981]     fileutils.ensure_tree(basepath(suffix=''))</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981]   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981]     os.makedirs(path)</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981]   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981]     mkdir(name, mode)</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981] OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/69a2c512-bea1-46de-91be-c33a07799981/'</div>

<div>2013-07-24 11:38:23.618 1685 TRACE nova.compute.manager [instance: 69a2c512-bea1-46de-91be-c33a07799981] </div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 228, in inner</div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager     retval = f(*args, **kwargs)</div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/virt/storage_users.py", line 44, in register_storage_use</div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager     with open(id_path, 'w') as f:</div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager IOError: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 11:41:15.017 1685 TRACE nova.manager </div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 228, in inner</div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager     retval = f(*args, **kwargs)</div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/virt/storage_users.py", line 44, in register_storage_use</div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager     with open(id_path, 'w') as f:</div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager IOError: [Errno 13] Permission denied: '/var/lib/nova/instances/compute_nodes'</div>

<div>2013-07-24 12:45:36.353 1694 TRACE nova.manager </div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb] Traceback (most recent call last):</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]     block_device_info)</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1510, in spawn</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]     block_device_info=block_device_info)</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2326, in to_xml</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]     disk_info, rescue, block_device_info)</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2244, in get_guest_config</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]     inst_type):</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2051, in get_guest_storage_config</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]     inst_type)</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2013, in get_guest_disk_config</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]     self.disk_cachemode,</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 355, in disk_cachemode</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]     if not self._supports_direct_io(CONF.instances_path):</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1676, in _supports_direct_io</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]     {'path': dirpath, 'ex': str(e)})</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]   File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]     self.gen.next()</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1663, in _supports_direct_io</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb]     f = os.open(testfile, os.O_CREAT | os.O_WRONLY | os.O_DIRECT)</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb] OSError: [Errno 13] Permission denied: '/var/lib/nova/instances/.directio.test'</div>

<div>2013-07-24 13:13:09.225 1694 TRACE nova.compute.manager [instance: f105be37-d5d9-4234-ba4e-3897d60e97bb] </div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 210, in inner</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager     fileutils.ensure_tree(local_lock_path)</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager     os.makedirs(path)</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager     mkdir(name, mode)</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager OSError: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 13:25:36.702 1694 TRACE nova.manager </div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 210, in inner</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager     fileutils.ensure_tree(local_lock_path)</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager     os.makedirs(path)</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager     mkdir(name, mode)</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager OSError: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 14:05:37.095 1694 TRACE nova.manager </div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 210, in inner</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager     fileutils.ensure_tree(local_lock_path)</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager     os.makedirs(path)</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager     mkdir(name, mode)</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager OSError: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 14:45:37.319 1694 TRACE nova.manager </div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601] Traceback (most recent call last):</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]     block_device_info)</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1520, in spawn</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]     block_device_info)</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2435, in _create_domain_and_network</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]     domain = self._create_domain(xml, instance=instance)</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2396, in _create_domain</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]     domain.createWithFlags(launch_flags)</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]   File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 187, in doit</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]     result = proxy_call(self._autowrap, f, *args, **kwargs)</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]   File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 147, in proxy_call</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]     rv = execute(f,*args,**kwargs)</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]   File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 76, in tworker</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]     rv = meth(*args,**kwargs)</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]   File "/usr/lib/python2.7/dist-packages/libvirt.py", line 711, in createWithFlags</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601]     if ret == -1: raise libvirtError ('virDomainCreateWithFlags() failed', dom=self)</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601] libvirtError: internal error cannot load AppArmor profile 'libvirt-748277e2-e3b5-4385-9c0e-c8e0ddefa601'</div>

<div>2013-07-24 14:47:05.364 1694 TRACE nova.compute.manager [instance: 748277e2-e3b5-4385-9c0e-c8e0ddefa601] </div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 210, in inner</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager     fileutils.ensure_tree(local_lock_path)</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager     os.makedirs(path)</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager     mkdir(name, mode)</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager OSError: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 15:25:37.532 1694 TRACE nova.manager </div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager Traceback (most recent call last):</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/manager.py", line 241, in periodic_tasks</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager     task(self, context)</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 4007, in _run_image_cache_manager_pass</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager     storage_users.register_storage_use(CONF.instances_path, CONF.host)</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/lockutils.py", line 210, in inner</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager     fileutils.ensure_tree(local_lock_path)</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager   File "/usr/lib/python2.7/dist-packages/nova/openstack/common/fileutils.py", line 29, in ensure_tree</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager     os.makedirs(path)</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager   File "/usr/lib/python2.7/os.py", line 157, in makedirs</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager     mkdir(name, mode)</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager OSError: [Errno 13] Permission denied: '/var/lock/nova'</div>

<div>2013-07-24 16:05:37.847 1694 TRACE nova.manager </div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913] Traceback (most recent call last):</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]     block_device_info)</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1520, in spawn</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]     block_device_info)</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2435, in _create_domain_and_network</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]     domain = self._create_domain(xml, instance=instance)</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 2396, in _create_domain</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]     domain.createWithFlags(launch_flags)</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]   File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 187, in doit</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]     result = proxy_call(self._autowrap, f, *args, **kwargs)</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]   File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 147, in proxy_call</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]     rv = execute(f,*args,**kwargs)</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]   File "/usr/lib/python2.7/dist-packages/eventlet/tpool.py", line 76, in tworker</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]     rv = meth(*args,**kwargs)</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]   File "/usr/lib/python2.7/dist-packages/libvirt.py", line 711, in createWithFlags</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913]     if ret == -1: raise libvirtError ('virDomainCreateWithFlags() failed', dom=self)</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913] libvirtError: internal error cannot load AppArmor profile 'libvirt-23cf38cc-797e-40f2-a995-6e181493c913'</div>

<div>2013-07-24 16:14:39.249 1694 TRACE nova.compute.manager [instance: 23cf38cc-797e-40f2-a995-6e181493c913] </div>

<div>2013-07-24 16:43:47.486 1694 TRACE nova.compute.manager [instance: 00497f97-a0fe-4a51-b7f6-6901d0d34791] Traceback (most recent call last):</div>

<div>2013-07-24 16:43:47.486 1694 TRACE nova.compute.manager [instance: 00497f97-a0fe-4a51-b7f6-6901d0d34791]   File "/usr/lib/python2.7/dist-packages/nova/compute/manager.py", line 1089, in _spawn</div>

<div>2013-07-24 16:43:47.486 1694 TRACE nova.compute.manager [instance: 00497f97-a0fe-4a51-b7f6-6901d0d34791]     block_device_info)</div>

<div>2013-07-24 16:43:47.486 1694 TRACE nova.compute.manager [instance: 00497f97-a0fe-4a51-b7f6-6901d0d34791]   File "/usr/lib/python2.7/dist-packages/nova/virt/libvirt/driver.py", line 1520, in spawn</div>

<div>2013-07-24 16:43:47.486 1694 TRACE nova.compute.manager [instance: 00497f97-a0fe-4a51-b7f6-6901d0d34791]  

</div>

</div>

</div>

</font></div>

</div>

</blockquote>

</div>

</div>

</font></div>

</div>

...</blockquote>

</div>

</blockquote>

</div>

<br>

</div>

</blockquote>

</div>

<br>

</div>

</font></div>

</div>

</blockquote>

</div>

<br>

</div>

</font></div>

</div>

</blockquote>

</div>

<br>

</div>

<br>

_______________________________________________<br>

Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>

Post to     : <a href="mailto:openstack@lists.launchpad.net" target="_blank">openstack@lists.launchpad.net</a><br>

Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a><br>

More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">https://help.launchpad.net/ListHelp</a><br>

<br>

</blockquote>

</div>

<br>

</div>

</blockquote>

</div>

<br>

</div>

</blockquote>

</div>

<br>

</div>

</blockquote>

</div>

<br>

</div>

</blockquote>

</div>

<br>

</div>

</blockquote>

</div>

<br>

</div>

</blockquote>

</div>

<br>

</div>

</blockquote>

</div>

<br>

</div>

</div>

</blockquote>

<blockquote type="cite">

<div><span>_______________________________________________</span><br>

<span>Mailing list: <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a></span><br>

<span>Post to     : <a href="mailto:openstack@lists.launchpad.net" target="_blank">

openstack@lists.launchpad.net</a></span><br>

<span>Unsubscribe : <a href="https://launchpad.net/~openstack" target="_blank">https://launchpad.net/~openstack</a></span><br>

<span>More help   : <a href="https://help.launchpad.net/ListHelp" target="_blank">

https://help.launchpad.net/ListHelp</a></span><br>

</div>

</blockquote>

</div>

</blockquote>

</div>

<br>

</div>

</div>

</body>

</html>