<div dir="ltr">On 2 October 2013 09:09, Robert van Leeuwen <span dir="ltr"><<a href="mailto:Robert.vanLeeuwen@spilgames.com" target="_blank">Robert.vanLeeuwen@spilgames.com</a>></span> wrote:<br><div class="gmail_extra">
<div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">Hi,<br>
<br>
We would like to run 2 separate Ceph clusters for our cloud. (Due to HA and performance reasons)<br>
It is possible to set this up?<br>
I'm trying in our dev environment (currently just one ceph cluster but with 2 volumes)<br>
<br>
With just one backend it works fine but with 2 backends I get the following error:<br>
ERROR [cinder.scheduler.filters.capacity_filter] Free capacity not set: volume node info collection broken<br>
ERROR [cinder.scheduler.manager] Failed to schedule_create_volume: No valid host was found.<br>
<br>
<br>
Cinder config:<br>
enabled_backends=ceph1,ceph2<br>
[ceph1]<br>
volume_driver=cinder.volume.drivers.rbd.RBDDriver<br>
rbd_pool=volumes<br>
rbd_user=volumes<br>
rbd_secret_uuid=xxxxxxxxxxxxxxxx<br>
<br>
[ceph2]<br>
volume_driver=cinder.volume.drivers.rbd.RBDDriver<br>
rbd_pool=volumes2<br>
rbd_user=volumes2<br>
rbd_secret_uuid=yyyyyyyyyyyyyyyy<br>
<br>
<br>
Running it all on SL6.4.<br>
Openstack Grizzly (RDO)<br>
Ceph Dumpling (ceph repo)<br>
<br>
Thx,<br>
Robert van Leeuwen<br></blockquote><div><br></div><div>Hi Robert,</div><div><br></div><div>I believe there are 2 separate questions here:</div><div><br></div><div>1 - is it possible to use multiple *different* RBD back ends (ie different RBD pools/users) within the same cinder-volume instance?</div>
<div><br></div><div>This capability was broken in Grizzly, but fixed in Havana I believe (<a href="https://review.openstack.org/#/c/28208/">https://review.openstack.org/#/c/28208/</a>).  There was some discussion, I seem to recall, around possibly getting around the broken-ness by running multiple cinder-volumes each with a different config, but I don't know if this would work properly with scheduling.  Maybe someone has tried/done this?</div>
<div><br></div><div>2. Is it possible to use 2 entirely different ceph clusters?</div><div>I think again, by default no since you specify the ceph config file in the cinder.conf (or let it use the default of /etc/ceph/ceph.conf).  If you're able to get multple cinder-volumes going, each with a separate config file, and get around the scheduling issues, then I suppose possibly.</div>
</div><br></div><div class="gmail_extra">Thanks</div><div class="gmail_extra">Darren</div></div>