<div dir="ltr">Hi community,<div>need your help.</div><div><br></div><div><b>>>> Background <<<</b></div><div>I'm using kolla-ansible 8.0.0 to deploy a 1+3 "Stein" cluster.</div><div>Ceph is used as backend.</div><div><br></div><div>The configuration is a bit peculiar. The control runs on a VM hosted in a separate network compared to the one where the baremetal servers hosting the OS Compute services are.</div><div><br></div><div>On the Compute Hosts, we have the following services:</div><div>glance_api<br>neutron_metadata_agent<br>neutron_l3_agent<br>neutron_dhcp_agent<br>neutron_openvswitch_agent<br>openvswitch_vswitchd<br>openvswitch_db<br>nova_compute<br>nova_libvirt<br>nova_ssh<br>cinder_backup<br>cinder_volume<br>chrony<br>cron<br>kolla_toolbox<br>fluentd<br></div><div><br></div><div><br></div><div>Services APIs and Authentication run on the controller.</div><div><br></div><div>In a standard "lab configuration" everything works fine.</div><div><br></div><div><b>>>> Fault Scenario <<<</b></div><div>We are trying to verify possible issues (and the way to work around them) in case latency between Controller and Compuite increases.<br></div><div>And we have found one quite fast.</div><div><br></div><div>Basically, if you try to create a volume from a RAW image (stored in Ceph) it will fail.</div><div><br></div><div>From glance-api.log on the controller:</div><div><br></div><div><font face="monospace">2019-12-03 16:00:11.840 27 INFO eventlet.wsgi.server [req-225aae45-ad93-40f5-835d-027f93e3307d 615252134b844dbeb7acc34219e431e6 0049baebd0f742de915b11ec18509803 - default default] Traceback (most recent call last):<br>  File "/var/lib/kolla/venv/lib/python2.7/site-packages/eventlet/wsgi.py", line 572, in handle_one_response<br>    write(b''.join(towrite))<br>  File "/var/lib/kolla/venv/lib/python2.7/site-packages/eventlet/wsgi.py", line 518, in write<br>    wfile.writelines(towrite)<br>  File "/usr/lib64/python2.7/socket.py", line 334, in writelines<br>    self.flush()<br>  File "/usr/lib64/python2.7/socket.py", line 303, in flush<br>    self._sock.sendall(view[write_offset:write_offset+buffer_size])<br>  File "/var/lib/kolla/venv/lib/python2.7/site-packages/eventlet/greenio/base.py", line 401, in sendall<br>    tail = self.send(data, flags)<br>  File "/var/lib/kolla/venv/lib/python2.7/site-packages/eventlet/greenio/base.py", line 395, in send<br>    return self._send_loop(self.fd.send, data, flags)<br>  File "/var/lib/kolla/venv/lib/python2.7/site-packages/eventlet/greenio/base.py", line 382, in _send_loop<br>    return send_method(data, *args)<br>error: [Errno 104] Connection reset by peer</font><br></div><div><br></div><div><br></div><div><br></div><div>From the cinder-volume.log on the computes:</div><div><font face="monospace">:</font></div><div><font face="monospace">019-12-03 16:00:15.932 34 ERROR oslo_messaging.rpc.server     None, None)<br>2019-12-03 16:00:15.932 34 ERROR oslo_messaging.rpc.server   File "/var/lib/kolla/venv/lib/python2.7/site-packages/cinder/image/image_utils.py", line 410, in fetch<br>2019-12-03 16:00:15.932 34 ERROR oslo_messaging.rpc.server     reason=reason)<br>2019-12-03 16:00:15.932 34 ERROR oslo_messaging.rpc.server ImageDownloadFailed: Failed to download image 6e7bb902-917e-4c9e-ba9f-3ee811a2502a, reason: IOError: 32 Corrupt image download. Hash was 88b062103e34c9824d7172afaa9a80befd00e1bef86d16a362572f01bd887a0551c188e98526eecdeedca262d3364175d384352c10d203bdb6a5b87b0593f231 expected adc29d5ce6129337e1e9bf00cc3f0798682c021c6f1a0aab46213438a6de8c6b027180389aa21196e7f708214815221a9a0c6029a96badafefca624bf58e4bff</font><br></div><div><br></div><div><br></div><div><b>>>> Troubleshooting <<<</b></div><div>At a first glance it seems a problem related to the size of the image.</div><div>We have tried with:</div><div>Cirros Raw (39MB) => It works<br></div><div>Ubuntu18 QCOW2 (328MB) => It works</div><div>Ubuntu18 Raw (2.2GB) => IT FAILS !!!!</div><div><br></div><div><br></div><div><br></div><div>Any suggestion about where to address our effort?</div><div><br></div><div><br></div><div>Many thanks in advance</div><div><br></div><div>BR</div><div>/Giuseppe</div><div><br></div><div><br></div><div><br></div></div>