<div dir="ltr">I have a problem with I/O performance on Openstack block device HDD. <br><b>Environment:<br></b><i>Openstack version: Ussuri</i><br>- OS: CentOS8<br>- Kernel: 4.18.0-240.15.1.el8_3.x86_64<br>- KVM: qemu-kvm-5.1.0-20.el8<br><i>CEPH version: Octopus </i>

<i>15.2.8-0.el8.x84_64</i><br>- OS: CentOS8<br>- Kernel: 4.18.0-240.15.1.el8_3.x86_64<br>In CEPH Cluster we have 2 class:<br>- Bluestore<br>- HDD (only for cinder volume)<br>- SSD (images, cinder volume)<br><i>Hardware:</i><br>- Ceph-client: 2x10Gbps (bond) MTU 9000<br>- Ceph-replicate: 2x10Gbps (bond) MTU 9000<br><i>VM:</i><br>- Swapoff<br>- non LVM<br><b>Issue<br></b>When create VM on Openstack using cinder volume HDD, have really poor performance: 60-85 MB/s writes. And when tests with ioping have high latency.<br><b>Diagnostic</b><br>1.  I have checked the performance between Compute Host (Openstack) and CEPH, and created an RBD (HDD class) mounted on Compute Host. And the performance is 300-400 MB/s.<br>=>  So i think the problem is in the hypervisor<br>But when I check performance on VM using cinder Volume SSD, the result equals performance when test RBD (SSD) mounted on a Compute host.<br>2.  I already have to configure disk_cachemodes="network=writeback"(and enable rbd cache client) or test with disk_cachemodes="none" but nothing different.<br>3.  Push iperf3 from compute host to random ceph host still has 20Gb traffic.<br>4.  Compute Host and CEPH host connected to the same switch (layer2).<br>Where else can I look for issues?<br>Please help me in this case.<br>Thank you.</div>