<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:Wingdings;
panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
{font-family:Wingdings;
panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:"Segoe UI";
panose-1:2 11 5 2 4 2 4 2 2 3;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
pre
{mso-style-priority:99;
mso-style-link:"HTML Preformatted Char";
margin:0in;
margin-bottom:.0001pt;
font-size:10.0pt;
font-family:"Courier New";}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
span.HTMLPreformattedChar
{mso-style-name:"HTML Preformatted Char";
mso-style-priority:99;
mso-style-link:"HTML Preformatted";
font-family:"Courier New";}
.MsoChpDefault
{mso-style-type:export-only;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">Hi all,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I created 2 instances on the same compute node and tested the bandwidth between them, surprisingly iperf tells me I got 16.1Gbits/sec only. Then I changed the firewall from hybrid iptables to ovs, the bandwidth improved a little bit to
17.5Gbits/sec but still far from expected. <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><b><u>Ml2_config.ini config file<o:p></o:p></u></b></p>
<p class="MsoNormal"><o:p> </o:p></p>
<pre><span style="color:black">[root@nova-compute ~]# docker exec -t neutron_openvswitch_agent vi /var/lib/kolla/config_files/ml2_config.ini<o:p></o:p></span></pre>
<pre><span style="color:black">network_vlan_ranges =<o:p></o:p></span></pre>
<pre><span style="color:black"><o:p> </o:p></span></pre>
<pre><span style="color:black">[ml2_type_flat]<o:p></o:p></span></pre>
<pre><span style="color:black">flat_networks = physnet1<o:p></o:p></span></pre>
<pre><span style="color:black"><o:p> </o:p></span></pre>
<pre><span style="color:black">[ml2_type_vxlan]<o:p></o:p></span></pre>
<pre><span style="color:black">vni_ranges = 1:1000<o:p></o:p></span></pre>
<pre><span style="color:black">vxlan_group = 239.1.1.1<o:p></o:p></span></pre>
<pre><span style="color:black"><o:p> </o:p></span></pre>
<pre><span style="color:black">[securitygroup]<o:p></o:p></span></pre>
<pre><span style="color:black">firewall_driver = openvswitch<o:p></o:p></span></pre>
<pre><span style="color:black">#firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver<o:p></o:p></span></pre>
<pre><span style="color:black"><o:p> </o:p></span></pre>
<pre><span style="color:black">[agent]<o:p></o:p></span></pre>
<pre><span style="color:black">tunnel_types = vxlan<o:p></o:p></span></pre>
<pre><span style="color:black">l2_population = true<o:p></o:p></span></pre>
<pre><span style="color:black">arp_responder = true<o:p></o:p></span></pre>
<pre><span style="color:black"><o:p> </o:p></span></pre>
<pre><span style="color:black">[ovs]<o:p></o:p></span></pre>
<pre><span style="color:black">bridge_mappings = physnet1:br-ex<o:p></o:p></span></pre>
<pre><span style="color:black">ovsdb_connection = tcp:129.94.72.54:6640<o:p></o:p></span></pre>
<pre><span style="color:black">local_ip = 10.1.0.12<o:p></o:p></span></pre>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><b><u>ovs config<o:p></o:p></u></b></p>
<p class="MsoNormal"><o:p> </o:p></p>
<pre><span style="color:black">[root@nova-compute ~]# docker exec openvswitch_vswitchd ovs-vsctl show<o:p></o:p></span></pre>
<pre><span style="color:black">306d62c4-8e35-45e0-838e-53ebe81f1d06<o:p></o:p></span></pre>
<pre><span style="color:black"> Bridge br-ex<o:p></o:p></span></pre>
<pre><span style="color:black"> Controller "tcp:127.0.0.1:6633"<o:p></o:p></span></pre>
<pre><span style="color:black"> is_connected: true<o:p></o:p></span></pre>
<pre><span style="color:black"> fail_mode: secure<o:p></o:p></span></pre>
<pre><span style="color:black"> Port "eno50336512"<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface "eno50336512"<o:p></o:p></span></pre>
<pre><span style="color:black"> Port phy-br-ex<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface phy-br-ex<o:p></o:p></span></pre>
<pre><span style="color:black"> type: patch<o:p></o:p></span></pre>
<pre><span style="color:black"> options: {peer=int-br-ex}<o:p></o:p></span></pre>
<pre><span style="color:black"> Port br-ex<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface br-ex<o:p></o:p></span></pre>
<pre><span style="color:black"> type: internal<o:p></o:p></span></pre>
<pre><span style="color:black"> Bridge br-tun<o:p></o:p></span></pre>
<pre><span style="color:black"> Controller "tcp:127.0.0.1:6633"<o:p></o:p></span></pre>
<pre><span style="color:black"> is_connected: true<o:p></o:p></span></pre>
<pre><span style="color:black"> fail_mode: secure<o:p></o:p></span></pre>
<pre><span style="color:black"> Port patch-int<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface patch-int<o:p></o:p></span></pre>
<pre><span style="color:black"> type: patch<o:p></o:p></span></pre>
<pre><span style="color:black"> options: {peer=patch-tun}<o:p></o:p></span></pre>
<pre><span style="color:black"> Port "vxlan-0a01000b"<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface "vxlan-0a01000b"<o:p></o:p></span></pre>
<pre><span style="color:black"> type: vxlan<o:p></o:p></span></pre>
<pre><span style="color:black"> options: {df_default="true", in_key=flow, local_ip="10.1.0.12", out_key=flow, remote_ip="10.1.0.11"}<o:p></o:p></span></pre>
<pre><span style="color:black"> Port br-tun<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface br-tun<o:p></o:p></span></pre>
<pre><span style="color:black"> type: internal<o:p></o:p></span></pre>
<pre><span style="color:black"> Bridge br-int<o:p></o:p></span></pre>
<pre><span style="color:black"> Controller "tcp:127.0.0.1:6633"<o:p></o:p></span></pre>
<pre><span style="color:black"> is_connected: true<o:p></o:p></span></pre>
<pre><span style="color:black"> fail_mode: secure<o:p></o:p></span></pre>
<pre><span style="color:black"> Port int-br-ex<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface int-br-ex<o:p></o:p></span></pre>
<pre><span style="color:black"> type: patch<o:p></o:p></span></pre>
<pre><span style="color:black"> options: {peer=phy-br-ex}<o:p></o:p></span></pre>
<pre><span style="color:black"> Port "tapa26ee521-3b"<o:p></o:p></span></pre>
<pre><span style="color:black"> tag: 2<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface "tapa26ee521-3b"<o:p></o:p></span></pre>
<pre><span style="color:black"> Port patch-tun<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface patch-tun<o:p></o:p></span></pre>
<pre><span style="color:black"> type: patch<o:p></o:p></span></pre>
<pre><span style="color:black"> options: {peer=patch-int}<o:p></o:p></span></pre>
<pre><span style="color:black"> Port br-int<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface br-int<o:p></o:p></span></pre>
<pre><span style="color:black"> type: internal<o:p></o:p></span></pre>
<pre><span style="color:black"> Port "tap1f76851b-ea"<o:p></o:p></span></pre>
<pre><span style="color:black"> tag: 2<o:p></o:p></span></pre>
<pre><span style="color:black"> Interface "tap1f76851b-ea"<o:p></o:p></span></pre>
<pre><span style="color:black"><o:p> </o:p></span></pre>
<pre><span style="color:black"><o:p> </o:p></span></pre>
<pre><span style="color:black"><o:p> </o:p></span></pre>
<p class="MsoNormal"><b><u>Iperf results<o:p></o:p></u></b></p>
<pre><span style="color:black"><o:p> </o:p></span></pre>
<pre><span style="color:black">[centos@centos7 ~]$ iperf -c 192.168.1.105<o:p></o:p></span></pre>
<pre><span style="color:black">------------------------------------------------------------<o:p></o:p></span></pre>
<pre><span style="color:black">Client connecting to 192.168.1.105, TCP port 5001<o:p></o:p></span></pre>
<pre><span style="color:black">TCP window size: 45.0 KByte (default)<o:p></o:p></span></pre>
<pre><span style="color:black">------------------------------------------------------------<o:p></o:p></span></pre>
<pre><span style="color:black">[ 3] local 192.168.1.101 port 48522 connected with 192.168.1.105 port 5001<o:p></o:p></span></pre>
<pre><span style="color:black">[ ID] Interval Transfer Bandwidth<o:p></o:p></span></pre>
<pre><span style="color:black">[ 3] 0.0-10.0 sec 20.3 GBytes 17.5 Gbits/sec<o:p></o:p></span></pre>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><b><u>Ovs info<o:p></o:p></u></b></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">[root@nova-compute ~]# docker exec openvswitch_vswitchd modinfo openvswitch<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">filename: /lib/modules/3.10.0-514.el7.x86_64/kernel/net/openvswitch/openvswitch.ko<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">license: GPL<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">description: Open vSwitch switching datapath<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">rhelversion: 7.3<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">srcversion: B31AE95554C9D9A0067F935<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">depends: nf_conntrack,nf_nat,libcrc32c,nf_nat_ipv6,nf_nat_ipv4,nf_defrag_ipv6<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">intree: Y<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">vermagic: 3.10.0-514.el7.x86_64 SMP mod_unload modversions<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">signer: CentOS Linux kernel signing key<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">sig_key: D4:88:63:A7:C1:6F:CC:27:41:23:E6:29:8F:74:F0:57:AF:19:FC:54<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New";color:black">sig_hashalgo: sha256<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">As far as I know the communication is VM <span style="font-family:Wingdings">
ß</span>OVS<span style="font-family:Wingdings">à</span>VM and the linux bridge is not involved.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">What could be throttling the network traffic and what can I do to improve performance?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thank you very much<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><b><span style="color:#333333;background:white">Manuel Sopena Ballesteros </span></b><span style="color:#333333;background:white">|<b> </b>Big data Engineer</span><span style="color:#333333"><br>
<b><span style="background:white">Garvan Institute of Medical Research </span></b><br>
<span style="background:white">The Kinghorn Cancer Centre,<b> </b>370 Victoria Street, Darlinghurst, NSW 2010</span><br>
<b><span style="background:white">T:</span></b><span style="background:white"> + 61 (0)2 9355 5760 | <b>F:</b> +61 (0)2 9295 8507 | <b>E:</b> </span></span><span style="color:black"><a href="mailto:manuel.sb@garvan.org.au"><span style="color:blue">manuel.sb@garvan.org.au</span></a><o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div style="font-size:8pt; font-family: Arial">NOTICE</div>
<div style="font-size:8pt; font-family: Arial">Please consider the environment before printing this email. This message and any attachments are intended for the addressee named and may contain legally privileged/confidential/copyright information. If you are
not the intended recipient, you should not read, use, disclose, copy or distribute this communication. If you have received this message in error please notify us at once by return email and then delete both messages. We accept no liability for the distribution
of viruses or similar in electronic communications. This notice should not be removed.
</div>
</body>
</html>