<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Wed, Feb 3, 2016 at 2:37 PM, Duncan Thomas <span dir="ltr"><<a href="mailto:duncan.thomas@gmail.com" target="_blank">duncan.thomas@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On 3 February 2016 at 16:32, Sam Yaple <span dir="ltr"><<a href="mailto:samuel@yaple.net" target="_blank">samuel@yaple.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><br><div class="gmail_quote"><span></span>Looking into it, however, shows Cinder has no mechanism to delete backups in the middle of a chain since you use dependent backups (please correct me if I am wrong here). This means after a number of incremental backups you _must_ take another full to ensure the chain doesn't get to long. That is a problem Ekko is purposing to solve as well. Full backups are costly in terms of IO, storage, bandwidth and time. A full backup being required in a backup plan is a big problem for backups when we talk about volumes that are terabytes large.</div></div></div></blockquote><div><br></div></span><div>You're right that this is an issue currently. Cinder actually has enough info in theory to be able to trivially squash backups to be able to break the chain, it's only a bit of metadata ref counting and juggling, however nobody has yet written the code.<br></div><span class=""><div> </div></span></div></div></div></blockquote><div>And here we get to the meat of the matter. Squashing backups is awful in object storage. It requires you to pull both backups, merge them, then reupload. This also has the downside of casting doubt on a backup since you are now modifying data after it has been backed up (though that doubt is lessened with proper checksuming/hashing which cinder does it looks like). This is the issue Ekko can solve (and has solved over the past 2 years). Ekko can do this "squashing" in a non-traditional way, without ever modifying content or merging anything. With deletions only. This means we do not have to pull two backups, merge, and reupload to delete a backup from the chain.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class=""><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div></div><div>Luckily, digging into it it appears cinder already has all the infrastructure in place to handle what we had talked about in a separate email thread Duncan. It is very possible Ekko can leverage the existing features to do it's backup with no change from Cinder. This isn't the initial priority for Ekko though, but it is good information to have. Thank you for your comments!</div></div></div></div>
</blockquote></span></div><br><br></div><div class="gmail_extra">Always interested in better ways to solve backup.</div></div></blockquote><div><br></div><div>Thats the plan! </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span class="HOEnZb"><font color="#888888"><div class="gmail_extra"><br><div><div dir="ltr"><div>-- <br>Duncan Thomas</div></div></div>
</div></font></span></div>
</blockquote></div><br></div></div>