<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;">Hi there,</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;">There is no need to run cinder-volume on every compute nodes, unless they are the only servers that can get access to your ceph cluster.</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;">Traditionally, we put cinder-volume on the cloud controllers.</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;">I’ve through a similar issue while running an lvm+iscsi backend, the only solution was to play with AZ and to change the scheduler.</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;">Try to change your cinder.conf with:</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;"><span style="font-family: helvetica; ">scheduler_driver=cinder.scheduler.filter_scheduler.FilterScheduler</span></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;"><span style="font-family: helvetica; ">capacity_weight_multiplier=1.0</span><br style="font-family: helvetica; "><span style="font-family: helvetica; ">scheduler_default_weighers=CapacityWeigher</span></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; margin: 0px; line-height: auto;"><span style="font-family: helvetica; "><br></span></div><div id="bloop_customfont" style="font-size: 13px; margin: 0px; ">Let me know if it works as expected.</div><div id="bloop_customfont" style="font-size: 13px; margin: 0px; "><br></div><div id="bloop_customfont" style="margin: 0px; ">Cheers.</div><div id="bloop_customfont" style="margin: 0px; "><br></div> <div class="" id="bloop_sign_1379592884098874112"><span style="font-family:helvetica,arial;font-size:13px"></span><div style="font-family: Helvetica; font-size: medium; line-height: normal; "><div class="" style="font-size: 12px; font-family: Arial; margin: 0px; color: rgb(86, 100, 115); "><div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: medium; "><div class="" style="font-size: 12px; font-family: Arial; margin: 0px; color: rgb(86, 100, 115); "><div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: medium; "><div class="" style="font-size: 12px; font-family: Arial; margin: 0px; color: rgb(86, 100, 115); "><div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: medium; "><div class="" style="font-size: 12px; font-family: Arial; margin: 0px; color: rgb(86, 100, 115); ">––––</div><div class="" style="font-family: Arial; font-size: 15px; margin: 0px; color: rgb(47, 89, 147); "><b class="">Sébastien Han</b></div><div class="" style="font-family: Arial; font-size: 11px; margin: 0px; color: rgb(86, 100, 115); ">Cloud Engineer</div><div class="" style="font-family: Arial; font-size: 11px; margin: 0px; color: rgb(86, 100, 115); "><br></div><div class="" style="font-family: Arial; font-size: 11px; margin: 0px; color: rgb(86, 100, 115); "><i style="color: rgb(47, 89, 147); font-size: 12px; text-align: right; ">"Always give 100%. Unless you're giving blood."</i></div></div></div></div></div></div></div></div><span class="Apple-string-attachment" style="font-family: Helvetica; font-size: medium; line-height: normal; "><div class="" style="font-size: 12px; font-family: Arial; margin: 0px; min-height: 14px; "><div class="" style="margin: 0px; color: rgb(86, 100, 115); "><span class="Apple-style-span" style="font-size: medium; color: rgb(0, 0, 0); border-collapse: separate; border-spacing: 0px; "><div style="font-family: Helvetica; "><br></div><div style="font-family: Helvetica; "><img src="cid:C23B7310-F6DF-493D-9AC3-BCD0B675C617"></div><div style="font-family: Helvetica; "><br></div><div style="font-family: Helvetica; "><div class="" style="font-family: Arial; font-size: 11px; margin: 0px; color: rgb(47, 89, 147); display: inline !important; "><b>Phone: </b><a href="http://www.enovance.com/en">+33 (0)1 49 70 99 72</a> - </div><b style="font-family: Arial; color: rgb(47, 89, 147); font-size: 11px; ">Mobile: </b><a href="http://www.enovance.com/en" style="font-family: Arial; font-size: 11px; ">+33 (0)6 52 84 44 70</a></div></span></div><div class="" style="font-size: 11px; margin: 0px; color: rgb(47, 89, 147); "><b>Mail:</b><a href="http://www.enovance.com/en" style="font-size: medium; font-family: Helvetica; "> </a><a href="mailto:sebastien.han@enovance.com"><span class="" style="color: rgb(52, 0, 238); ">sebastien.han@enovance.com</span></a> -<span class="" style="color: rgb(84, 99, 114); "> </span><b class="">Skype : </b>han.sbastien</div><div class="" style="font-size: 11px; margin: 0px; color: rgb(47, 91, 148); "><span class="" style="color: rgb(47, 89, 147); "><b class="">Address :</b> </span>10, rue de la Victoire - 75009 Paris</div><div class="" style="font-size: 11px; margin: 0px; color: rgb(47, 89, 147); "><span class="" style="color: rgb(47, 91, 148); "><b class="">Web : </b><a href="http://www.enovance.com/" class=""><span class="" style="color: rgb(52, 0, 238); ">www.enovance.com</span></a></span> -<span class="" style="color: rgb(84, 99, 114); "> </span><b class="">Twitter : </b>@enovance</div></div></span></div> <br><p style="color:#A0A0A8;">On September 19, 2013 at 12:04:22 PM, Gavin (netmatters@gmail.com) wrote:</p> <blockquote type="cite" style="border-left-style:solid;border-width:1px;margin-left:0px;padding-left:10px;"><span><div>Hi there,

<br>

<br>I'm hoping that someone can possibly shed some light on an issue that

<br>we are experiencing

with the way that Cinder is scheduling Ceph volumes in our environment.

<br>

<br>We are running cinder-volume on each of our compute nodes, and they

are all configured to make use of our Ceph cluster.

<br>

<br>As far as we can tell the Ceph cluster is working as it should,

<br>however the problem we are having is that each and every Ceph volume

gets attached to only one of the Compute nodes.

<br>

This is not ideal as it will create a bottle-neck on the one host.

<br>

<br>From what I have read, the default Cinder scheduler should pick the

<br>cinder-volume node with the most available space, but since all

<br>compute nodes should report the same, as per the space available in

the Ceph volume pool, how is this meant to work then ?

<br>

<br>We have also tried to implement the Cinder chance scheduler in the

<br>hope that Cinder will randomly pick another storage node, but this did

not make any difference.

<br>

Has anyone else experienced the same issue or similar ?

<br>

Is there perhaps a way that we can round-robin the volume attachments ?

<br>

Openstack version: Grizzly using Ubuntu LTS and Cloud PPA.

<br>

Ceph version: Cuttlefish from Ceph PPA.

<br>

<br>Apologies for the cross-post, if you get this twice as this email was

first sent to the Ceph Users mailing list.

<br>

<br>Thanks in advance,

<br>Gavin

<br>

<br>_______________________________________________

<br>OpenStack-operators mailing list

<br>OpenStack-operators@lists.openstack.org

<br>http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators

<br></div></span></blockquote></body></html>