<div dir="ltr">Taking a "snapshot" of swift seems counterintuitive to me.  It seems like there would be a number of gaps -  no locking to allow for a consistent image, PUT overwrites are immediate, no index of deltas between snapshots.  Maybe I misunderstand your goal.<div>
<br></div><div>I don't believe container sync shouldn't send multiple PUT requests with the whole object.  Each container keeps an index of the last row synced and co-ordinate's with the other replicas using a modulo schema.  Eventually there's a tail sweep to make sure everything is caught up, but I thought it did a HEAD or a if-not-match check.  I may be mistaken.  It's been awhile since I've looked at that code closely - maybe I'll have an opportunity to do that soon.  If you are getting a bunch of un-needed transfer across the wire it may be a bug. Perhaps you could provide a simple detailed scenario that will reproduce the undesirable behavior.</div>
<div><br></div><div>-Clay</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Aug 6, 2013 at 5:41 AM,  <span dir="ltr"><<a href="mailto:kajinamit@nttdata.co.jp" target="_blank">kajinamit@nttdata.co.jp</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="JA" link="blue" vlink="purple"><div><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">Hi,<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">I’m interested in container-sync to take a snapshot of swift.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">I want to sync data between two swift clusters distributed in multiple locations.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">It is assumed that there are two swift clusters located in two places,<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">and the container-sync syncs data from one cluster to the other cluster through WAN.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">I tried container-sync with Folsom in this case, and faced one problem with this scenario.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">Container-sync always sends multiple PUT request with whole object transfer,<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">which puts pressure on network bandwidth between swift clusters.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">I checked Grizzly and latest 1.9.0, but I cannot find any progress with the issues.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">Does anyone experiences similar issues or tackled to improve performance?<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">IMHO, it may be fixed with a little changes to the container-sync.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">If it can be, I'd like to try it. :-)<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">Does anybody have any idea or suggestions?<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">Thanks in advance.<u></u><u></u></span></p><p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt">Takashi Kajinami</span><span lang="EN-US"><u></u><u></u></span></p>
</div></div><br>_______________________________________________<br>
OpenStack-dev mailing list<br>
<a href="mailto:OpenStack-dev@lists.openstack.org">OpenStack-dev@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-dev</a><br>
<br></blockquote></div><br></div>