<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<style>
<!--
@font-face
        {font-family:"Cambria Math"}
@font-face
        {font-family:Calibri}
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif"}
a:link, span.MsoHyperlink
        {color:#0563C1;
        text-decoration:underline}
a:visited, span.MsoHyperlinkFollowed
        {color:#954F72;
        text-decoration:underline}
span.EmailStyle17
        {font-family:"Calibri","sans-serif";
        color:windowtext}
.MsoChpDefault
        {font-family:"Calibri","sans-serif"}
@page WordSection1
        {margin:1.0in 1.0in 1.0in 1.0in}
div.WordSection1
        {}
-->
</style>
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">Hello,</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">I’m having trouble getting a bootable cinder volume to work in Havana using Ceph. I managed to get glance working correctly. I got cinder volume to work, but once I try to create bootable cinder volume to an image it errors out.
</p>
<p class="MsoNormal">My cinder.conf reflect exactly what the ceph docs tell one to do to get it working.  I was able to get this to work in grizzly using the  CEPH_ARGS="--id volumes" statement on the volume service, but the docs and as a thread in the mailing
 list who got his to work didn’t use the CEPH_ARGS="--id volumes" anymore  for Havana.   Judging from the logs I have  permission issue on the rbd image. I made sure my keyrings have the proper ownership  and gave full permissions to everyone to them.
</p>
<p class="MsoNormal">My logs on cinder/volume shows the following:</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">2013-12-09 12:29:12.377 8468 ERROR cinder.volume.drivers.rbd [req-75308325-0b69-41f9-8099-1c9d64c025b6 ce3265c65e304ad3b018a9fba063df88 0c3cbff39d97448d8cff1816793aea94] error opening rbd image 9e967bd7-ed6c-41bc-932d-1157bd72b778</p>
<p class="MsoNormal">2013-12-09 12:29:12.377 8468 TRACE cinder.volume.drivers.rbd Traceback (most recent call last):</p>
<p class="MsoNormal">2013-12-09 12:29:12.377 8468 TRACE cinder.volume.drivers.rbd   File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/rbd.py", line 209, in __init__</p>
<p class="MsoNormal">2013-12-09 12:29:12.377 8468 TRACE cinder.volume.drivers.rbd     read_only=read_only)</p>
<p class="MsoNormal">2013-12-09 12:29:12.377 8468 TRACE cinder.volume.drivers.rbd   File "/usr/lib/python2.7/site-packages/rbd.py", line 351, in __init__</p>
<p class="MsoNormal">2013-12-09 12:29:12.377 8468 TRACE cinder.volume.drivers.rbd     raise make_ex(ret, 'error opening image %s at snapshot %s' % (name, snapshot))</p>
<p class="MsoNormal">2013-12-09 12:29:12.377 8468 TRACE cinder.volume.drivers.rbd PermissionError: error opening image 9e967bd7-ed6c-41bc-932d-1157bd72b778 at snapshot snap</p>
<p class="MsoNormal">2013-12-09 12:29:12.377 8468 TRACE cinder.volume.drivers.rbd</p>
<p class="MsoNormal">2013-12-09 12:29:12.380 8468 WARNING cinder.taskflow.utils [-] Activating 5 rollbacks due to <cinder.taskflow.utils.FlowFailure object at 0x328c690>.</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 ERROR cinder.volume.flows.create_volume [req-75308325-0b69-41f9-8099-1c9d64c025b6 ce3265c65e304ad3b018a9fba063df88 0c3cbff39d97448d8cff1816793aea94] Unexpected build error:</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume Traceback (most recent call last):</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume   File "/usr/lib/python2.7/site-packages/cinder/taskflow/patterns/linear_flow.py", line 172, in run_it</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume     result = runner(context, *args, **kwargs)</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume   File "/usr/lib/python2.7/site-packages/cinder/taskflow/utils.py", line 260, in __call__</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume     self.result = self.task(*args, **kwargs)</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume   File "/usr/lib/python2.7/site-packages/cinder/volume/flows/create_volume/__init__.py", line 1499, in __call__</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume     **volume_spec)</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume   File "/usr/lib/python2.7/site-packages/cinder/volume/flows/create_volume/__init__.py", line 1441, in _create_from_image</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume     volume_ref, image_location, image_id)</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume   File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/rbd.py", line 729, in clone_image</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume     if image_location is None or not self._is_cloneable(image_location):</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume   File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/rbd.py", line 720, in _is_cloneable</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume     read_only=True):</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume   File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/rbd.py", line 213, in __init__</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume     raise</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume TypeError: exceptions must be old-style classes or derived from BaseException, not NoneType</p>
<p class="MsoNormal">2013-12-09 12:29:12.485 8468 TRACE cinder.volume.flows.create_volume</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 ERROR cinder.openstack.common.rpc.amqp [req-75308325-0b69-41f9-8099-1c9d64c025b6 ce3265c65e304ad3b018a9fba063df88 0c3cbff39d97448d8cff1816793aea94] Exception during message handling</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp Traceback (most recent call last):</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/openstack/common/rpc/amqp.py", line 441, in _process_data</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     **args)</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/openstack/common/rpc/dispatcher.py", line 148, in dispatch</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     return getattr(proxyobj, method)(ctxt, **kwargs)</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/utils.py", line 808, in wrapper</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     return func(self, *args, **kwargs)</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/volume/manager.py", line 257, in create_volume</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     flow.run(context.elevated())</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/taskflow/decorators.py", line 105, in wrapper</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     return f(self, *args, **kwargs)</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/taskflow/patterns/linear_flow.py", line 232, in run</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     run_it(r)</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/taskflow/patterns/linear_flow.py", line 212, in run_it</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     self.rollback(context, cause)</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib64/python2.7/contextlib.py", line 24, in __exit__</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     self.gen.next()</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/taskflow/patterns/linear_flow.py", line 172, in run_it</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     result = runner(context, *args, **kwargs)</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/taskflow/utils.py", line 260, in __call__</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     self.result = self.task(*args, **kwargs)</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/volume/flows/create_volume/__init__.py", line 1499, in __call__</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     **volume_spec)</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/volume/flows/create_volume/__init__.py", line 1441, in _create_from_image</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     volume_ref, image_location, image_id)</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/rbd.py", line 729, in clone_image</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     if image_location is None or not self._is_cloneable(image_location):</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/rbd.py", line 720, in _is_cloneable</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     read_only=True):</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp   File "/usr/lib/python2.7/site-packages/cinder/volume/drivers/rbd.py", line 213, in __init__</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp     raise</p>
<p class="MsoNormal">2013-12-09 12:29:12.486 8468 TRACE cinder.openstack.common.rpc.amqp TypeError: exceptions must be old-style classes or derived from BaseException, not NoneType<span style="font-size:10.0pt; font-family:"Arial","sans-serif"; color:#0082BA"></span></p>
<p class="MsoNormal"> </p>
</div>
<br>
<hr>
<font face="Arial" color="Gray" size="1"><br>
The information in this e-mail is intended only for the person or entity to which it is addressed.<br>
<br>
It may contain confidential and /or privileged material. If someone other than the intended recipient should receive this e-mail, he / she shall not be entitled to read, disseminate, disclose or duplicate it.<br>
<br>
If you receive this e-mail unintentionally, please inform us immediately by "reply" and then delete it from your system. Although this information has been compiled with great care, neither IMC Financial Markets & Asset Management nor any of its related entities
 shall accept any responsibility for any errors, omissions or other inaccuracies in this information or for the consequences thereof, nor shall it be bound in any way by the contents of this e-mail or its attachments. In the event of incomplete or incorrect
 transmission, please return the e-mail to the sender and permanently delete this message and any attachments.<br>
<br>
Messages and attachments are scanned for all known viruses. Always scan attachments before opening them.<br>
</font>
</body>
</html>