<div dir="ltr"><div><div><div><div>Hi Blair,<br></div>if you need just a command line tool to backup files to Swift or ssh or local, use just the freezer-agent in <a href="https://github.com/openstack/freezer" rel="noreferrer" target="_blank">https://github.com/openstack/<wbr>freezer</a><br><br></div>It provides the feature you requested but it does not support S3.<br><br>If anyone wants to contribute and add S3 as back end storage, that'd be fantastic.<br><br></div>Thanks,<br></div>Fausto<br><div><div><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 29, 2017 at 12:31 PM, Mathieu, Pierre-Arthur <span dir="ltr"><<a href="mailto:pierre-arthur.mathieu@hpe.com" target="_blank">pierre-arthur.mathieu@hpe.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello,<br>
<br>
Freezer seems like a perfect fit for your need.<br>
<br>
It's an official OpenStack project that provides backup/restore capabilities for Filesystem, Volumes, VMs and Applications.<br>
It supports storing the backups in Object Storage (Swift, Ceph, ...), to an ssh server or localy (mounted NFS, GlusterFS, ...).<br>
<br>
Here is our Wiki: <a href="https://wiki.openstack.org/wiki/Freezer" rel="noreferrer" target="_blank">https://wiki.openstack.org/<wbr>wiki/Freezer</a><br>
The project's code:<br>
  - <a href="https://github.com/openstack/freezer" rel="noreferrer" target="_blank">https://github.com/openstack/<wbr>freezer</a><br>
  - <a href="https://github.com/openstack/freezer-api" rel="noreferrer" target="_blank">https://github.com/openstack/<wbr>freezer-api</a><br>
  - <a href="https://github.com/openstack/freezer-web-ui" rel="noreferrer" target="_blank">https://github.com/openstack/<wbr>freezer-web-ui</a><br>
  - <a href="https://github.com/openstack/python-freezerclient" rel="noreferrer" target="_blank">https://github.com/openstack/<wbr>python-freezerclient</a><br>
<br>
If you have any question, feel free to join our IRC room: #openstack-freezer<br>
<br>
Kind Regards,<br>
Pierre<br>
______________________________<wbr>__________<br>
From: Blair Bethwaite <<a href="mailto:blair.bethwaite@gmail.com">blair.bethwaite@gmail.com</a>><br>
Sent: Wednesday, March 29, 2017 8:47:31 AM<br>
To: Saverio Proto<br>
Cc: openstack-oper.<br>
<span class="">Subject: Re: [Openstack-operators] backup to object store - tool        recommendations<br>
<br>
</span><span class="">Hi Saverio. Looks like we will have that issue within a week or two once we finally upgrade our rgw (lagging behind the rest of our cluster). I will try logging​ this as a priority with Red Hat support.<br>
<br>
</span><span class="">On 29 Mar. 2017 18:39, "Saverio Proto" <<a href="mailto:zioproto@gmail.com">zioproto@gmail.com</a><mailto:<a href="mailto:zioproto@gmail.com">zio<wbr>proto@gmail.com</a>>> wrote:<br>
Hello all,<br>
<br>
we use rclone a lot, and we are happy with it.<br>
<br>
the real problem I would say is that a lot of these tools use the<br>
latest AWS4 signature.<br>
<br>
AFAIK the radosgw with Ceph Jewel and Openstack keystone integration<br>
supports only AWS2 signature because of this bug:<br>
<a href="http://tracker.ceph.com/issues/19056" rel="noreferrer" target="_blank">http://tracker.ceph.com/<wbr>issues/19056</a><br>
<br>
is anyone else hitting this ?<br>
<br>
Saverio<br>
<br>
</span>2017-03-27 22:11 GMT+02:00 John Dickinson <<a href="mailto:me@not.mn">me@not.mn</a><mailto:<a href="mailto:me@not.mn">me@not.mn</a>>>:<br>
<div><div class="h5">><br>
><br>
> On 27 Mar 2017, at 4:39, Blair Bethwaite wrote:<br>
><br>
>> Hi all,<br>
>><br>
>> Does anyone have any recommendations for good tools to perform<br>
>> file-system/tree backups and restores to/from a (Ceph RGW-based)<br>
>> object store (Swift or S3 APIs)? Happy to hear about both FOSS and<br>
>> commercial options please.<br>
>><br>
>> I'm interested in:<br>
>> 1) tools known to work or not work at all for a basic file-based data backup<br>
><br>
> There's a bunch of backup tools that will work with the Swift API and/or the S3 API.<br>
><br>
> Veritas, Commvault, Trilio, and CloudBerry all work. There's other companies too that can back specific stuff up to Swift (e.g. Percona with MySQL).<br>
><br>
> (The above list taken from <a href="https://www.swiftstack.com/solutions/backup" rel="noreferrer" target="_blank">https://www.swiftstack.com/<wbr>solutions/backup</a> [my employer] because it's the first linkable place I knew of to answer your question.)<br>
><br>
><br>
> --John<br>
><br>
><br>
><br>
><br>
>><br>
>> Plus these extras:<br>
>> 2) preserves/restores correct file metadata (e.g. owner, group, acls etc)<br>
>> 3) preserves/restores xattrs<br>
>> 4) backs up empty directories and files<br>
>> 5) supports some sort of snapshot/versioning/<wbr>differential<br>
>> functionality, i.e., will keep a copy or diff or last N versions of a<br>
>> file or whole backup set, e.g., so that one can restore yesterday's<br>
>> file/s or last week's but not have to keep two full copies to achieve<br>
>> it<br>
>> 6) is readily able to restore individual files<br>
>> 7) can encrypt/decrypt client side<br>
>> 8) anything else I should be considering?<br>
>><br>
>> --<br>
>> Cheers,<br>
>> ~Blairo<br>
>><br>
>> ______________________________<wbr>_________________<br>
>> OpenStack-operators mailing list<br>
</div></div>>> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.<wbr>openstack.org</a><mailto:<a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack<wbr>-operators@lists.openstack.org</a><wbr>><br>
<span class="">>> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-operators</a><br>
><br>
> ______________________________<wbr>_________________<br>
> OpenStack-operators mailing list<br>
</span>> <a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.<wbr>openstack.org</a><mailto:<a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack<wbr>-operators@lists.openstack.org</a><wbr>><br>
<div class="HOEnZb"><div class="h5">> <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-operators</a><br>
><br>
______________________________<wbr>_________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.<wbr>openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/<wbr>cgi-bin/mailman/listinfo/<wbr>openstack-operators</a><br>
</div></div></blockquote></div><br></div>