<div dir="ltr">I am bad at containers, just starting to learn them, not sure how they are limited.<div><br></div><div>So you are using local hard drives. I guess it is one of the points for slow down, somehow.  I ask my developers to use heat to create more than 1 instance/resource.</div><div>Try checking CEPH speed. I think CEPH has the option to send "created" callback after 1 copy created/written to HDD, and then finish duplicating or tripling data in the background, what makes CEPH data not so reliable but MUUUCH faster. Need to google for that, I do not remember it.</div><div><br></div><div>sorry, yes my fault, not domiflist but domblklist:</div><div>virsh domblklist i<span style="color:rgb(80,0,80)">nstance-00000##</span></div><br><br>Generally, I have the same issue as you have, but on older version of OpenStack (Mitaka, Mirantis implementation).<div>I have difficulties when I have an instance, which is using CEPH based volume and sharing it over NFS in the instance1 in compute1 to another instance2 in another compute2. I receive around 13KB/s, if I reshare it on root drive, I get around 30KB/s still too low.</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 15 Aug 2019 at 09:35, Gregory Orange <<a href="mailto:gregory.orange@pawsey.org.au">gregory.orange@pawsey.org.au</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hello Ruslanas and thank you for the response. I didn't see it until now! I have given some responses inline...<br>
<br>
On 1/8/19 3:57 pm, Ruslanas Gžibovskis wrote:<br>
> when in newton release were introduced role separation, we divided memory hungry processes into 4 different VM's on 3 physical boxes:<br>
> 1) Networker: all Neutron agent processes (network throughput)<br>
> 2) Systemd: all services started by systemd (Neutron)<br>
> 3) pcs: all services controlled by pcs (Galera + RabbitMQ)<br>
> 4) horizon<br>
<br>
We have separated each control plane service (Glance, Neutron, Cinder, etc) onto its own VM. We are considering containers instead of VMs in future.<br>
<br>
<br>
> Gregory > do you have local storage for swift and cinder background?<br>
<br>
Our Cinder and Glance use Ceph as backend. No Swift installed.<br>
<br>
<br>
> also double check where _base image is located? is it in /var/lib/nova/instances/_base/* ? and flavor disks stored in /var/lib/nova/instances ? (can check on compute by: virsh domiflist instance-00000## )<br>
<br>
domiflist shows the VM's interface - how does that help?<br>
<br>
Greg.<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div>Ruslanas Gžibovskis<br>+370 6030 7030<br></div></div></div>