<div>Yes, 1%% is smth we're fighting for years, as this setting changes on the swift side from time to time, and I really lost account which one is valid at the moment.</div><div> </div><div>Here's related SWIFT bug:<pre style="box-sizing:inherit;color:rgba( 0 , 0 , 0 , 0.87 );font:400 12px 'sfmono-regular' , 'menlo' , 'monaco' , 'consolas' , 'liberation mono' , 'courier new' , monospace , monospace;text-decoration-style:initial;text-indent:0px;text-transform:none;white-space:pre-wrap;word-spacing:0px"><a href="https://bugs.launchpad.net/swift/+bug/1844368" rel="noopener noreferrer" style="background-color:transparent;box-sizing:inherit;color:rgb( 65 , 131 , 196 );text-decoration:none">https://bugs.launchpad.net/swift/+bug/1844368</a></pre></div><div> </div><div>I've just pushed <a href="https://review.opendev.org/c/openstack/openstack-ansible-os_swift/+/782117" rel="noopener noreferrer" target="_blank">https://review.opendev.org/c/openstack/openstack-ansible-os_swift/+/782117</a> to cover this issue. Can you try applying this change manually to see if this works?</div><div> </div><div>22.03.2021, 11:25, "Oliver Wenz" <oliver.wenz@dhbw-mannheim.de>:</div><blockquote><p>Hi Dmitriy,<br />thanks for your answer! Yes, we do use swift and its use as glance backend is<br />intentional.<br /><br />I got the following from the swift-proxy-server logs in the swift container on<br />the infra host after taking a snapshot:<br /><br />Mar 22 08:43:43 infra1-swift-proxy-container-27169fa7 proxy-server[87]: Client<br />disconnected without sending last chunk (txn:<br />txa7c64547baf0450eb0034-006058588b) (client_ip: 192.168.110.<br />106)<br />Mar 22 08:43:43 infra1-swift-proxy-container-27169fa7 proxy-server[87]:<br />192.168.110.106 192.168.110.211 22/Mar/2021/08/43/43 PUT<br />/v1/AUTH_024cc551782f41e395d3c9f13582ef7d/glance_images/3ec63ec2-aa3b-4c3b-a904-b55d1a6ec878<br />-00001 HTTP/1.0 499 - python-swiftclient-3.10.1 gAAAAABgWFiKMz9R... 204800000 89<br />- txa7c64547baf0450eb0034-006058588b - 52.2991 - - 1616402571.623875856<br />1616402623.922997952 0<br /><br />On the swift host some services logs contain errors. E.g. the<br />swift-container-updater service:<br /><br />Mar 22 08:42:19 bc1bl12 systemd[1]: swift-container-updater.service: Main<br />process exited, code=exited, status=1/FAILURE<br />Mar 22 08:42:19 bc1bl12 systemd[1]: swift-container-updater.service: Failed with<br />result 'exit-code'.<br />Mar 22 08:42:21 bc1bl12 systemd[1]: swift-container-updater.service: Scheduled<br />restart job, restart counter is at 162982.<br />Mar 22 08:42:21 bc1bl12 systemd[1]: Stopped swift-container-updater service.<br />Mar 22 08:42:21 bc1bl12 systemd[1]: Started swift-container-updater service.<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: Traceback (most recent<br />call last):<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: File<br />"/openstack/venvs/swift-22.1.0/lib/python3.8/site-packages/swift/common/utils.py",<br />line 803, in config_fallocate_value<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: reserve_value =<br />float(reserve_value[:-1])<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: ValueError: could not<br />convert string to float: '1%'<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: During handling of the<br />above exception, another exception occurred:<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: Traceback (most recent<br />call last):<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: File<br />"/openstack/venvs/swift-22.1.0/bin/swift-container-updater", line 23, in<br /><module><br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]:<br />    run_daemon(ContainerUpdater, conf_file, **options)<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: File<br />"/openstack/venvs/swift-22.1.0/lib/python3.8/site-packages/swift/common/daemon.py",<br />line 304, in run_daemon<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]:<br />    utils.config_fallocate_value(conf.get('fallocate_reserve', '1%'))<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: File<br />"/openstack/venvs/swift-22.1.0/lib/python3.8/site-packages/swift/common/utils.py",<br />line 809, in config_fallocate_value<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: raise<br />ValueError('Error: %s is an invalid value for fallocate'<br />Mar 22 08:42:22 bc1bl12 swift-container-updater[50699]: ValueError: Error: 1%%<br />is an invalid value for fallocate_reserve.<br /><br />The same exit-code and traceback shows in the logs of swift-container-auditor,<br />swift-account-auditor and swift-account-reaper services. Does this tell you<br />anything useful?<br /><br />We didn't experience any problems when uploading files to containers, only when<br />taking snapshots of instances.<br /><br />Kind regards,<br />Oliver<br /><br /> </p><blockquote> ------------------------------<br /> <br /> Message: 4<br /> Date: Thu, 18 Mar 2021 12:44:47 +0200<br /> From: Dmitriy Rabotyagov <<a href="mailto:noonedeadpunk@ya.ru" rel="noopener noreferrer">noonedeadpunk@ya.ru</a>><br /> To: "<a href="mailto:openstack-discuss@lists.openstack.org" rel="noopener noreferrer">openstack-discuss@lists.openstack.org</a>"<br />         <<a href="mailto:openstack-discuss@lists.openstack.org" rel="noopener noreferrer">openstack-discuss@lists.openstack.org</a>><br /> Subject: Re: [glance][openstack-ansible] Snapshots disappear during<br />         saving<br /> Message-ID: <<a href="mailto:374941616064157@mail.yandex.ru" rel="noopener noreferrer">374941616064157@mail.yandex.ru</a>><br /> Content-Type: text/plain; charset=utf-8<br /> <br /> Hi Olver,<br /> <br /> Am I right that you're also using OpenStack Swift and it's intentional to<br /> store images there?<br /> Since the issue is related to the upload process into the Swift. So also<br /> checking Swift logs<br /> be usefull as well.<br /> </blockquote><p> </p></blockquote><div> </div><div> </div><div>-- <br />Kind Regards,</div><div>Dmitriy Rabotyagov</div><div> </div>