<div dir="ltr">I'd definitely post this somewhere that Ubuntu kernel folks would read it. File a bug against that kernel. We're still on 3.13.0- stream so haven't seen this ourselves.</div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 23, 2016 at 3:53 AM, Sascha Vogt <span dir="ltr"><<a href="mailto:sascha.vogt@gmail.com" target="_blank">sascha.vogt@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all,<br>
<br>
I thought it might be of interest / get feedback from the operators<br>
community about an oddity we experienced with Intel 10 GbE NICs and LACP<br>
bonding.<br>
<br>
We have Ubuntu 14.04.4 as OS and Intel 10 GbE NICs with the ixgbe Kernel<br>
module. We use VLANS for ceph-client, ceph-data, openstack-data,<br>
openstack-client networks all on a single LACP bonding of two 10 GbE ports.<br>
<br>
As bonding hash policy we chose layer3+4 so we can use the full 20 Gb<br>
even if only two servers communicate with each other. Typically we check<br>
that by using iperf to a single server with -P 4 and see if we exceed<br>
the 10 Gb limit (just a few times to check).<br>
<br>
Due to Ubuntus default of installing the latest Kernel our new host had<br>
Kernel 4.2.0 instead of the Kernel 3.16 the other machines had and we<br>
noticed that iperf only used 10 Gb.<br>
<br>
> # cat /proc/net/bonding/bond0<br>
> Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)<br>
><br>
> Bonding Mode: IEEE 802.3ad Dynamic link aggregation<br>
> Transmit Hash Policy: layer3+4 (1)<br>
<br>
This was shown on both - Kernel 3.16 and 4.2.0<br>
<br>
After downgrading to Kernel 3.16 we got the iperf results we expected.<br>
<br>
Does anyone have a similar setup? Anyone noticed the same things? To us<br>
this looks like a bug in the Kernel (ixgbe module?), or are we<br>
misunderstanding the hash policy layer3+4?<br>
<br>
Any feedback is welcome :) I have not yet posted this to the Kernel ML<br>
or Ubuntus ML yet, so if no one here is having a similar setup I'll move<br>
over there. I just thought OpenStack ops might be the place were it is<br>
most likely that someone has a similar setup :)<br>
<br>
Greetings<br>
-Sascha-<br>
<br>
_______________________________________________<br>
OpenStack-operators mailing list<br>
<a href="mailto:OpenStack-operators@lists.openstack.org">OpenStack-operators@lists.openstack.org</a><br>
<a href="http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators" rel="noreferrer" target="_blank">http://lists.openstack.org/cgi-bin/mailman/listinfo/openstack-operators</a><br>
</blockquote></div><br></div>