<div dir="ltr"><div>Hi Sean, I am going to test it.</div><div>At this time live migration interfaces are bonded on tow 10 Gbs nic but they are used also for tenant and providers networks.</div><div>I have a free nic (1gbs) on a vlan where there is no traffic....</div><div>Do you think I can try to switch on the above nic also if it only 1 gbs ?</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Il giorno ven 5 ago 2022 alle ore 12:34 Sean Mooney <<a href="mailto:smooney@redhat.com">smooney@redhat.com</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">one thing to be aware of is if the vm writes even a singel byte to a<br>
memory page during the migration then entire page needs to be<br>
transferred again.<br>
not just that one byte which gets expensive if you use hugepages as a<br>
one byte write gets amplified to at 2mb or 1GB page copy.<br>
<br>
even for the default 4k pages its expensive. post-copy adn auto<br>
converge help with that to a degree but yes<br>
it sounds like this might be memory related but it could still be a<br>
network bandwidth limitation.<br>
<br>
using jumbo frames on the migration network may help as well as<br>
disabling tcp slow start.<br>
<br>
im not sure if there is really anything that can be done to increase<br>
the initial migration time beyond that.<br>
<br>
On Fri, Aug 5, 2022 at 11:26 AM Radosław Piliszek<br>
<<a href="mailto:radoslaw.piliszek@gmail.com" target="_blank">radoslaw.piliszek@gmail.com</a>> wrote:<br>
><br>
> On Fri, 5 Aug 2022 at 12:00, Ignazio Cassano <<a href="mailto:ignaziocassano@gmail.com" target="_blank">ignaziocassano@gmail.com</a>> wrote:<br>
> ><br>
> > When the instance is migrated again from te second to the first it takes 10 seconds.<br>
> > If first node has more loads on network or memory, it should take a long time in any case.<br>
> > Keep in mind I am not using hugepages but default configuration.<br>
> ><br>
> > I am convinced that it is about how the memory of an instance is managed after it runs for a long time on a node<br>
><br>
> Just keep in mind the transfer rates you get are VERY LOW for anything<br>
> RAM-like. It's around 20 MiB/s - my old HDD could go faster than that<br>
> with mediocre fragmentation. ;-)<br>
> It's more likely it spends time waiting for something instead of doing<br>
> real work.<br>
><br>
> -yoctozepto<br>
><br>
<br>
</blockquote></div>