<div dir="ltr"><div>When the instance is migrated again from te second to the first it takes 10 seconds.</div><div>If first node has more loads on network or memory, it should take a long time in any case.</div><div>Keep in mind I am not using hugepages but default configuration.</div><div>
<div class="gmail-FFpbKc"><div><span class="gmail-gHNJvf"><span class="gmail-mgPWDe"><div><div><span></span></div></div></span></span></div></div><div><span class="gmail-gHNJvf"><span class="gmail-mgPWDe"><br></span></span></div><span aria-label="110 caratteri utilizzati su 5.000" role="img" class="gmail-ZTPlmc"><span></span></span><div class="gmail-nidPne"><span class="gmail-reACy"><span><div><div><span><div class="gmail-scLCMd"><div><span class="gmail-ita-kd-inputtools-div"></span></div></div></span></div></div></span></span></div><span class="gmail-rm1UF gmail-UnxENd gmail-dHeVVb"><div class="gmail-FFpbKc"><div class="gmail-nidPne"><span class="gmail-reACy"><span></span></span></div></div></span><span class="gmail-P6w8m gmail-BDJ8fb gmail-BLojaf" aria-labelledby="ucj-3" role="region"><div class="gmail-ZyvIDe"><div class="gmail-a8FIud gmail-X0rvP gmail-L6rCcb"><div><div><span></span></div></div></div></div></span><div class="gmail-dePhmb"><div class="eyKpYb"><div class="gmail-J0lOec"><span class="gmail-VIiyi" lang="en"><span class="gmail-JLqJ4b gmail-ChMk0b"><span class="gmail-Q4iAWc">I am convinced that it is about how the memory of an instance is managed after it runs for a long time on a node</span></span></span></div><div class="gmail-J0lOec"><span class="gmail-VIiyi" lang="en"><span class="gmail-JLqJ4b gmail-ChMk0b"><span class="gmail-Q4iAWc">Ignazio<br></span></span></span></div></div></div>

</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Il giorno ven 5 ago 2022 alle ore 11:45 Gorka Eguileor <<a href="mailto:geguileo@redhat.com">geguileo@redhat.com</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 05/08, Ignazio Cassano wrote:<br>
> Migrating again to a new node (COMPUTE C) it takes 10 sec.<br>
> The first migration from A to B (750 sec)  is slow in migrating memory :<br>
><br>
><br>
> *migration running for 30 secs, memory 89% remaining; (bytes<br>
> processed=1258508063, remaining=15356194816, total=17184923648)2022-08-05<br>
> 10:47:23.910 55600 INFO nova.virt.libvirt.driver<br>
> [req-ff02667e-9d38-4a08-9c63-013ed1064218 66adb965bef64eaaab2af93ade87e2ca<br>
> 85cace94dcc7484c85ff9337eb1d0c4c - default default] [instance:<br>
> d1aae4bb-9a2b-454f-9018-568af6a98cc3] Migration running for 60 secs, memory<br>
> 87% remaining; (bytes processed=1489083638, remaining=15035801600,<br>
> total=17184923648)08-9c63-013ed1064218 66adb965bef64eaaab2af93ade87e2ca<br>
> 85cace94dcc7484c85ff9337eb1d0c4c - default default] [instance:<br>
> d1aae4bb-9a2b-454f-9018-568af6a98cc3] Migration running for 90 secs, memory<br>
> 86% remaining; (bytes processed=1689004421, remaining=14802731008,<br>
> total=17184923648)*<br>
><br>
> and so on<br>
<br>
That sounds crazy to me.  Unless the first node has more load or more<br>
network usage than the others, or the VM isn't actually running on<br>
Compute B so the migration is not really of a running VM...<br>
<br>
<br>
<br>
><br>
> Il giorno ven 5 ago 2022 alle ore 11:18 Ignazio Cassano <<br>
> <a href="mailto:ignaziocassano@gmail.com" target="_blank">ignaziocassano@gmail.com</a>> ha scritto:<br>
><br>
> > Hi, this is the volume attached on netapp nfs about the vm I am migrating:<br>
> > qemu-img  info volume-002ff8af-9067-4f84-a01c-d147cdd1f70dqimage:<br>
> > volume-002ff8af-9067-4f84-a01c-d147cdd1f70d<br>
> > file format: raw<br>
> > virtual size: 40G (42949672960 bytes)<br>
> > disk size: 21G<br>
> ><br>
> > As you can see it is raw and it does not ha base image.<br>
> > Ignazio<br>
> ><br>
> ><br>
> ><br>
> > Il giorno ven 5 ago 2022 alle ore 10:49 Gorka Eguileor <<br>
> > <a href="mailto:geguileo@redhat.com" target="_blank">geguileo@redhat.com</a>> ha scritto:<br>
> ><br>
> >> On 05/08, Ignazio Cassano wrote:<br>
> >> > Hello, firstly let me to thank you for reply and sorry if I come back to<br>
> >> > ask why when I do the first migration from A to B it takes 20 minutes<br>
> >> and<br>
> >> > then, when I migrate from B to A it takes few seconds.<br>
> >> > I wonder if after the first migration memory is reorganized.<br>
> >> > In the first live migration it lost time to get memory pages ?<br>
> >> > Ignazio<br>
> >> ><br>
> >><br>
> >> Hi,<br>
> >><br>
> >> I work on Cinder, so my knowledge on live migrations is mostly limited<br>
> >> to the attach/detach flow of the volumes.<br>
> >><br>
> >> I thought that maybe if you were using ephemeral nova volumes<br>
> >> (non-cinder) maybe the volume had not yet been deleted from the old<br>
> >> node, or maybe it was using a qcow2 base file for multiple instances on<br>
> >> the source (each using a different chain on top of it) and this qcow2<br>
> >> was not originally present in the destination (hence the time to copy<br>
> >> it), so when we do a migration back since there are other instances that<br>
> >> were also using it on the destination (original location) only de<br>
> >> difference needs to be copied.<br>
> >><br>
> >> But these are just brainstorming ideas, since I don't really know how<br>
> >> Nova handles all this.<br>
> >><br>
> >> I would recommend setting Nova log to debug mode in both source and<br>
> >> destination nodes and look at where the time difference really is, in<br>
> >> case it's not where you think it is.<br>
> >><br>
> >> Cheers,<br>
> >> Gorka.<br>
> >><br>
> >><br>
> >> > Il giorno ven 5 ago 2022 alle ore 10:17 Gorka Eguileor <<br>
> >> <a href="mailto:geguileo@redhat.com" target="_blank">geguileo@redhat.com</a>><br>
> >> > ha scritto:<br>
> >> ><br>
> >> > > On 04/08, Ignazio Cassano wrote:<br>
> >> > > > HI,<br>
> >> > > > I am using cinder volumes.<br>
> >> > > > Ignazio<br>
> >> > > ><br>
> >> > ><br>
> >> > > Hi,<br>
> >> > ><br>
> >> > > In that case there is no volume data being copied for the instance<br>
> >> > > migration, and volume attach on the destination should not account for<br>
> >> > > more than 30 seconds of those 20 minutes, so not much improvement<br>
> >> > > possible there.<br>
> >> > ><br>
> >> > > Cheers,<br>
> >> > > Gorka.<br>
> >> > ><br>
> >> > > > Il giorno gio 4 ago 2022 alle ore 16:56 Gorka Eguileor <<br>
> >> > > <a href="mailto:geguileo@redhat.com" target="_blank">geguileo@redhat.com</a>><br>
> >> > > > ha scritto:<br>
> >> > > ><br>
> >> > > > > On 03/08, Ignazio Cassano wrote:<br>
> >> > > > > > Hello All,<br>
> >> > > > > > I am looking for a solution to speed up live migration.<br>
> >> > > > > > Instances where ram is used heavily like java application<br>
> >> servers,<br>
> >> > > live<br>
> >> > > > > > migration take a long time (more than 20 minutes for 8GB ram<br>
> >> > > instance)<br>
> >> > > > > and<br>
> >> > > > > > converge mode is already set to True in nova.conf.<br>
> >> > > > ><br>
> >> > > > > Hi,<br>
> >> > > > ><br>
> >> > > > > Probably doesn't affect your case, but I assume you are using<br>
> >> ephemeral<br>
> >> > > > > nova boot volumes.<br>
> >> > > > ><br>
> >> > > > > Have you tried using only Cinder volumes on the VM?<br>
> >> > > > ><br>
> >> > > > > Cheers,<br>
> >> > > > > Gorka.<br>
> >> > > > ><br>
> >> > > > ><br>
> >> > > > > > I also tried with post_copy but it does not change.<br>
> >> > > > > > After the first live migration (very solow) if I try to migrate<br>
> >> > > again it<br>
> >> > > > > is<br>
> >> > > > > > very fast.<br>
> >> > > > > > I presume the first migration is slow because memory<br>
> >> fragmentation<br>
> >> > > when<br>
> >> > > > > an<br>
> >> > > > > > instance is running on the same compute node for a long time.<br>
> >> > > > > > I am looking for a solution considering the on my computing<br>
> >> node I<br>
> >> > > can<br>
> >> > > > > have<br>
> >> > > > > > a little ram overcommit. Any case I am increasing the number of<br>
> >> > > compute<br>
> >> > > > > > nodes to reduce it.<br>
> >> > > > > > Thanks<br>
> >> > > > > > Ignazio<br>
> >> > > > ><br>
> >> > > > ><br>
> >> > ><br>
> >> > ><br>
> >><br>
> >><br>
<br>
</blockquote></div>