<p dir="ltr">Try to disable GRO on interfaces. It's well known bug, causing significant net performance drop in case of the GRE tunnels.</p>
<p dir="ltr">(Use ethtool)</p>
<div class="gmail_quote">On Nov 9, 2014 11:17 AM, "Alberto Molina Coballes" <<a href="mailto:alb.molina@gmail.com">alb.molina@gmail.com</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi,<br><div><br>Debian testing (jessie) is now frozen, so it seems a good time to use it as a base for an OpenStack deployment. Debian jessie provides OpenStack Icehouse packages from official repos, backported repos are no longer needed.<br><br></div><div>Installation procedure works fine in a setup with OVS and GRE tunnels, but a very low bandwidth is found between instances and routers. I know this is a frequently asked topic, but after reading some related threads and bugs, different causes and solutions where shown.<br><br></div><div>In order to find the problem, several test with iperf has been made and proposed solutions applied:<br><br></div><div>1. Bandwidth between two instances running on the same compute node: 2.77 Gbits/sec<br></div><div>2. Bandwidht between compute node and network node (Gigabith Ethernet used): 941 Mbits/sec
</div><div>3. Bandwidth between an instance and a router running on network node: 200 Kbits/sec !!!<br>4. After applying proposed solution setting instance MTU to 1454, identical result was obtained.<br></div><div>5. After applying proposed solution setting GRO off to physical interfaces (network and compute nodes), identical result was obtained.<br><br></div><div></div><div>A solution was found here: <a href="https://bugs.launchpad.net/fuel/+bug/1256289" target="_blank">https://bugs.launchpad.net/fuel/+bug/1256289</a><br><br></div><div>6. After setting tcp segmentation offload off in internal router interface:<br><br>ip netns exec qrouter-XXXXXX ethtool -K qr-14460da5-08 tso off<br><br></div><div>Bandwidth increased to 27 Mbits/sec<br><br></div><div>7. After setting  tcp segmentation offload off in the instance interface, a very good performance is achieved: 776 Mbits/sec.<br><br></div><div>Solution found :), but the question is: What's the best way to implement it? It isn't a practical solution to modify instance Ethernet configuration after an instance is launched. <br><br></div><div>Any tip on this?<br><br></div><div>Thanks!<br></div><div><br></div><div>Alberto<br></div><div><br></div><div><br></div><div><br></div><div><br><br></div></div>
<br>_______________________________________________<br>
Mailing list: <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
Post to     : <a href="mailto:openstack@lists.openstack.org">openstack@lists.openstack.org</a><br>
Unsubscribe : <a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack</a><br>
<br></blockquote></div>