
<div dir="ltr">Hi Shyam,<div><br></div><div>If I am reading your ring output correctly, it looks like only the devices in node .202 have a weight set, and thus why all of your objects are going to that one node. Â You can update the weight of the other devices, and rebalance, and things should get distributed correctly.</div>


<div><br></div><div>--</div><div>Chuck</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, May 1, 2014 at 5:28 AM, Shyam Prasad N <span dir="ltr"><<a href="mailto:nspmangalore@gmail.com" target="_blank">nspmangalore@gmail.com</a>></span> wrote:<br>


<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Hi,<br><br></div>I created a swift cluster and configured the rings like this...<br><br>swift-ring-builder object.builder create 10 3 1<br>


<br>ubuntu-202:/etc/swift$ swift-ring-builder object.builder <br>


object.builder, build version 12<br>1024 partitions, 3.000000 replicas, 1 regions, 4 zones, 12 devices, 300.00 balance<br>The minimum number of hours before a partition can be reassigned is 1<br>Devices:Â Â Â  idÂ  regionÂ  zoneÂ Â Â Â Â  ip addressÂ  portÂ  replication ipÂ  replication portÂ Â Â Â Â  name weight partitions balance meta<br>


Â Â Â Â Â Â Â Â Â Â Â Â  0Â Â Â Â Â Â  1Â Â Â Â  1Â Â Â Â Â  10.3.0.202Â  6010Â Â Â Â Â  10.3.0.202Â Â Â Â Â Â Â Â Â Â Â Â Â  6010Â Â Â Â Â  xvdbÂ Â  1.00Â Â Â Â Â Â  1024Â  300.00 <br>Â Â Â Â Â Â Â Â Â Â Â Â  1Â Â Â Â Â Â  1Â Â Â Â  1Â Â Â Â Â  10.3.0.202Â  6020Â Â Â Â Â  10.3.0.202Â Â Â Â Â Â Â Â Â Â Â Â Â  6020Â Â Â Â Â  xvdcÂ Â  1.00Â Â Â Â Â Â  1024Â  300.00 <br>


Â Â Â Â Â Â Â Â Â Â Â Â  2Â Â Â Â Â Â  1Â Â Â Â  1Â Â Â Â Â  10.3.0.202Â  6030Â Â Â Â Â  10.3.0.202Â Â Â Â Â Â Â Â Â Â Â Â Â  6030Â Â Â Â Â  xvdeÂ Â  1.00Â Â Â Â Â Â  1024Â  300.00 <br>Â Â Â Â Â Â Â Â Â Â Â Â  3Â Â Â Â Â Â  1Â Â Â Â  2Â Â Â Â Â  10.3.0.212Â  6010Â Â Â Â Â  10.3.0.212Â Â Â Â Â Â Â Â Â Â Â Â Â  6010Â Â Â Â Â  xvdbÂ Â  1.00Â Â Â Â Â Â Â Â Â  0 -100.00 <br>


Â Â Â Â Â Â Â Â Â Â Â Â  4Â Â Â Â Â Â  1Â Â Â Â  2Â Â Â Â Â  10.3.0.212Â  6020Â Â Â Â Â  10.3.0.212Â Â Â Â Â Â Â Â Â Â Â Â Â  6020Â Â Â Â Â  xvdcÂ Â  1.00Â Â Â Â Â Â Â Â Â  0 -100.00 <br>Â Â Â Â Â Â Â Â Â Â Â Â  5Â Â Â Â Â Â  1Â Â Â Â  2Â Â Â Â Â  10.3.0.212Â  6030Â Â Â Â Â  10.3.0.212Â Â Â Â Â Â Â Â Â Â Â Â Â  6030Â Â Â Â Â  xvdeÂ Â  1.00Â Â Â Â Â Â Â Â Â  0 -100.00 <br>


Â Â Â Â Â Â Â Â Â Â Â Â  6Â Â Â Â Â Â  1Â Â Â Â  3Â Â Â Â Â  10.3.0.222Â  6010Â Â Â Â Â  10.3.0.222Â Â Â Â Â Â Â Â Â Â Â Â Â  6010Â Â Â Â Â  xvdbÂ Â  1.00Â Â Â Â Â Â Â Â Â  0 -100.00 <br>Â Â Â Â Â Â Â Â Â Â Â Â  7Â Â Â Â Â Â  1Â Â Â Â  3Â Â Â Â Â  10.3.0.222Â  6020Â Â Â Â Â  10.3.0.222Â Â Â Â Â Â Â Â Â Â Â Â Â  6020Â Â Â Â Â  xvdcÂ Â  1.00Â Â Â Â Â Â Â Â Â  0 -100.00 <br>


Â Â Â Â Â Â Â Â Â Â Â Â  8Â Â Â Â Â Â  1Â Â Â Â  3Â Â Â Â Â  10.3.0.222Â  6030Â Â Â Â Â  10.3.0.222Â Â Â Â Â Â Â Â Â Â Â Â Â  6030Â Â Â Â Â  xvdeÂ Â  1.00Â Â Â Â Â Â Â Â Â  0 -100.00 <br>Â Â Â Â Â Â Â Â Â Â Â Â  9Â Â Â Â Â Â  1Â Â Â Â  4Â Â Â Â Â  10.3.0.232Â  6010Â Â Â Â Â  10.3.0.232Â Â Â Â Â Â Â Â Â Â Â Â Â  6010Â Â Â Â Â  xvdbÂ Â  1.00Â Â Â Â Â Â Â Â Â  0 -100.00 <br>


Â Â Â Â Â Â Â Â Â Â Â  10Â Â Â Â Â Â  1Â Â Â Â  4Â Â Â Â Â  10.3.0.232Â  6020Â Â Â Â Â  10.3.0.232Â Â Â Â Â Â Â Â Â Â Â Â Â  6020Â Â Â Â Â  xvdcÂ Â  1.00Â Â Â Â Â Â Â Â Â  0 -100.00 <br>Â Â Â Â Â Â Â Â Â Â Â  11Â Â Â Â Â Â  1Â Â Â Â  4Â Â Â Â Â  10.3.0.232Â  6030Â Â Â Â Â  10.3.0.232Â Â Â Â Â Â Â Â Â Â Â Â Â  6030Â Â Â Â Â  xvdeÂ Â  1.00Â Â Â Â Â Â Â Â Â  0 -100.00 <br>


<br clear="all"><div><div>Container and account rings have a similar configuration.<br></div><div>Once the rings were created and all the disks were added to the rings like above, I ran rebalance on each ring. (I ran rebalance after adding each of the node above.)<br>


</div><div>Then I immediately scp the rings to all other nodes in the cluster.<br><br></div><div>I now observe that the objects are all going to 10.3.0.202. I don't see the objects being replicated to the other nodes. So much so that 202 is approaching 100% disk usage, while other nodes are almost completely empty.<br>


</div><div>What am I doing wrong? Am I not supposed to run rebalance operation after addition of each disk/node?<br><br></div><div>Thanks in advance for the help.<span class="HOEnZb"><font color="#888888"><br></font></span></div>


<span class="HOEnZb"><font color="#888888"><div><br></div><div>-- <br>-Shyam


</div></font></span></div></div>


<br>_______________________________________________<br>


OpenStack-dev mailing list<br>


<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>


<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>


<br></blockquote></div><br></div>